В Яндекс.Вебмастере можно будет регулировать скорость обхода сайта ботом

Новую функцию можно найти в разделе Яндекс.Вебмастера «Индексирование» (см. скрин ниже). С помощью нового инструмента владелец сайта сможет регулировать частотность запросов к веб-ресурсу со стороны поисковой системы Яндекс, то есть фактически задавать скорость обхода сайта поисковыми ботами.
Как свидетельствует изображение, на выбор пользователя предлагается два варианта настройки скорости обхода сайта. Во-первых, если владелец ресурса имеет свои предпочтения к ограничению частоты запросов к сайту, то в этом случае можно задать индивидуальную скорость обхода для отдельно взятого проекта.
Во-вторых, если таких предпочтений нет, то тогда можно всецело положиться на поисковую систему, выбрав опцию «Доверить Яндексу». В этой ситуации (по умолчанию) поисковик будет автоматически устанавливать максимальную скорость обхода для конкретного сайта с учетом допустимых нагрузок на сервер.
Установить нужную вам скорость обхода сайта можно прямо сейчас. Однако Яндекс начнет учитывать ваши настройки только с 22 февраля 2018 года.
В завершении нужно отметить, что с запуском в Яндекс.Вебмастере этого инструмента отпала необходимость в поддержке аналогичной по своей сути директивы Crawl-delay в файле robots.txt. Следовательно, в Яндексе заявили, что отказываются от нее.

Также по теме: