Google: объемы сканирования зависят от скорости доступа к сайту

В своих размышлениях Джон Мюллер в очередной раз подтвердил для кого-то вполне известную истину – чем быстрее ваш сервер отвечает на запрос GoogleBot, тем быстрее поисковый робот просканирует сайт. Причем в этом случае скорость имеет самое непосредственное отношение и к объему сканирования:
«… в целях ускорения сканирования сайта я бы побеспокоился о максимально быстром ответе сервера. Чем выше скорость сканирования с нашей стороны, тем больше контента в итоге мы способны просканировать в принципе».
Generally not. However, for sake of fast crawling, I'd still try to get that response as quickly as possible. The faster we can crawl, the more we can crawl.— John .o()o. (@JohnMu) 15 мая 2018 г.
Из этого следует, что скорость сайта (достигаемая быстротой серверов или грамотной оптимизацией кода) является важной не только для ваших конечных посетителей, но и для процесса сканирования его страниц со стороны Гуглбота. Обратная же сторона медали заключается в том, что медлительность ответа ресурса поисковому роботу Google ограничивает его передвижение по сайту. Со всеми вытекающими последствиями для поисковой оптимизации...
Напомним, вчера мы писали о том, что боты Google научены распознавать не все типы ссылок.

Также по теме: