БОРМИНЦЕВ АЛЕКСАНДР, SRAVNI.RU

JavaScript, логи и

роботы

OPTIMIZATION

2019

JS и

SEO

2 JAVASCRIPT, ЛОГИ И РОБОТЫ

OPTIMIZATION

2019

Продукты и команды

03 JAVASCRIPT, ЛОГИ И РОБОТЫ

OPTIMIZATION

2019

Вводные от поисковых систем

04

Поисковая система Рендерят JS при обходе?

Google Да

Яндекс Нет

Bing¯\_(ツ)_/¯

..вообще пофиг..Mail.ru

JAVASCRIPT, ЛОГИ И РОБОТЫ

OPTIMIZATION

2019

Большее кол-

во участников

процесса –

больше

вероятность

ошибки

JAVASCRIPT, ЛОГИ И РОБОТЫ05

OPTIMIZATION

2019

Что нужно делать

06 JAVASCRIPT, ЛОГИ И РОБОТЫ

OPTIMIZATION

2019

А нужно ли?

07 JAVASCRIPT, ЛОГИ И РОБОТЫ

OPTIMIZATION

2019

Внутренний инструмент для проверки

HTML страниц на ошибки

08 JAVASCRIPT, ЛОГИ И РОБОТЫ

OPTIMIZATION

2019

Для рендеринга JS - puppeteer

09 JAVASCRIPT, ЛОГИ И РОБОТЫ

“Puppeteer is a Node library which

provides a high-level API to

control Chrome or Chromium over

the DevTools Protocol.”

OPTIMIZATION

2019

Логи

10 JAVASCRIPT, ЛОГИ И РОБОТЫ

OPTIMIZATION

2019

Что это такое

JAVASCRIPT, ЛОГИ И РОБОТЫ011

OPTIMIZATION

2019

Как храним и работаем с логами

JAVASCRIPT, ЛОГИ И РОБОТЫ012

OPTIMIZATION

2019

Kibana

JAVASCRIPT, ЛОГИ И РОБОТЫ013

OPTIMIZATION

2019

Логи поисковых систем загружаютсяв систему управления SEO

JAVASCRIPT, ЛОГИ И РОБОТЫ014

OPTIMIZATION

2019

Графики в своей системе

JAVASCRIPT, ЛОГИ И РОБОТЫ015

OPTIMIZATION

2019

Расширение для браузера

JAVASCRIPT, ЛОГИ И РОБОТЫ016

OPTIMIZATION

2019

Валидация ботов

JAVASCRIPT, ЛОГИ И РОБОТЫ017

OPTIMIZATION

2019

Проверка гипотез, наблюдения

• Обращаются ли боты к страницам запрещенным в robots.txt

• Сканируются ли папки участвующие в формировании URL

• Стал ли Yandexbot активнее заходить на неканонические страницы

JAVASCRIPT, ЛОГИ И РОБОТЫ018

OPTIMIZATION

2019

Сканируются ли папки,участвующие в формировании URL

• /bank/

• */kredit/

• */otdelenie/

JAVASCRIPT, ЛОГИ И РОБОТЫ019

OPTIMIZATION

2019

Стал ли Yandexbot активнее заходить на неканонические страницы

JAVASCRIPT, ЛОГИ И РОБОТЫ020

OPTIMIZATION

2019

Проверка посещения конкретной страницы

JAVASCRIPT, ЛОГИ И РОБОТЫ021

OPTIMIZATION

2019

Не 200 коды ответа

JAVASCRIPT, ЛОГИ И РОБОТЫ022

OPTIMIZATION

2019

Страницы, которые обошли боты VS страницы на которых не было трафика

JAVASCRIPT, ЛОГИ И РОБОТЫ023

YandexBot

С трафиком Без трафика

83 %

Googlebot

С трафиком Без трафика

OPTIMIZATION

2019

Страницы с заходами, но без трафика

JAVASCRIPT, ЛОГИ И РОБОТЫ024

Адреса Обращений Трафик Код

/bank/devon-kredit/otdelenija/regiony/cheljabinsk/ 203 0 200

/bank/junikredit-bank/ipoteka/regiony/ob/ 74 0 200

/bank/pljus-bank/avtokredity/regiony/labinsk/ 73 0 200

/bank/tomskpromstrojbank/avtokredity/regiony/seversk/ 70 0 200

/bank/uralsib/karty/regiony/uchaly/ 68 0 200

/bank/jug-investbank/ipoteka/regiony/nadezhnaja/ 66 0 200

/bank/junikredit-bank/avtokredity/regiony/meleuz/ 65 0 200

/bank/mts-bank/karty/regiony/ilanskij/ 56 0 200

/bank/bmv-bank/avtokredity/regiony/kirovsk/ 54 0 200

/bank/sojuz/ipoteka/regiony/glazov/ 52 0 200

/ipoteka/gosudarstvennaja/orenburg/ 52 0 200

/bank/timer-bank/kredity/regiony/leninogorsk/ 50 0 200

/bank/vesta/debetovye-karty/paket-premium/ 50 0 200

OPTIMIZATION

2019

Количество обходов раздела VS трафик на этом разделе

JAVASCRIPT, ЛОГИ И РОБОТЫ025

0

20000

40000

60000

80000

100000

120000

140000

160000

180000

200000

/razdel-1/ /razdel-2/ /razdel-3/ /razdel-4/ /razdel-5/ /razdel-6/ /razdel-7/

YandexBot

Трафик Количество обходов

0

20000

40000

60000

80000

100000

120000

140000

160000

180000

200000

/razdel-1/ /razdel-2/ /razdel-3/ /razdel-4/ /razdel-5/ /razdel-6/ /razdel-7/

Googlebot

Трафик Количество обходов

OPTIMIZATION

2019

Приоритетные зоны сканирования

JAVASCRIPT, ЛОГИ И РОБОТЫ026

Названия строк Обращений Код

/osago/ 4053 200

/ 2491 200

/perevod-s-karty-na-kartu/ 1238 200

/vklady/ 1189 200

/kredity/ 1098 200

/bank/devon-kredit/avtokredity/ 530 200

/bank/khoum-kredit-ehnd-finans-bank/otdelenie/83391/ 368 301

/karty/ 330 200

/bank/vtb-24/ 328 200

/novosti/ 300 200

/bank/rosselkhozbank/otdelenija/ 254 200

/bank/binbank/ 245 200

/text/2019/7/2/5-obstojatelstv-kotorye-ne-osvobozhdajut-ot-vyplaty-kredita/ 219 200

/bank/khoum-kredit-ehnd-finans-bank/otdelenija/ 218 200

OPTIMIZATION

2019

Страницы, до которых боты не добираются

JAVASCRIPT, ЛОГИ И РОБОТЫ027

Страниц в

разделе

Googlebot YandexBot

ОбращенийПосетил уникальных

страницОбращений

Посетил уникальных

страниц

/razdel-1/ 345 1354 172 1339 146

/razdel-2/ 474 193 87 1794 393

/razdel-3/ 1647 2994 498 9897 1608

13391794

9897

345 474

1647

146 393

1608

199 81 390

2000

4000

6000

8000

10000

12000

/razdel-1/ /razdel-2/ /razdel-3/

YandexBot

Обращений Страниц в разделе Посетил страниц Не посетил

1354

193

2994

345474

1647

172 87

498

173387

1149

0

500

1000

1500

2000

2500

3000

3500

/razdel-1/ /razdel-2/ /razdel-3/

Googlebot

Обращений Страниц в разделе Посетил страниц Не посетил

OPTIMIZATION

2019

Борминцев Александр

Head of SEO, Sravni.ru

t.me/sashaborm

Спасибо!

28 JAVASCRIPT, ЛОГИ И РОБОТЫ