В Яндекс.Вебмастере можно будет регулировать скорость обхода сайта ботом

Новую функцию можно найти в разделе Яндекс.Вебмастера «Индексирование» (см. скрин ниже). С помощью нового инструмента владелец сайта сможет регулировать частотность запросов к веб-ресурсу со стороны поисковой системы Яндекс, то есть фактически задавать скорость обхода сайта поисковыми ботами.
В Яндекс.Вебмастере можно будет регулировать скорость обхода сайта ботом
Как свидетельствует изображение, на выбор пользователя предлагается два варианта настройки скорости обхода сайта. Во-первых, если владелец ресурса имеет свои предпочтения к ограничению частоты запросов к сайту, то в этом случае можно задать индивидуальную скорость обхода для отдельно взятого проекта.
Во-вторых, если таких предпочтений нет, то тогда можно всецело положиться на поисковую систему, выбрав опцию «Доверить Яндексу». В этой ситуации (по умолчанию) поисковик будет автоматически устанавливать максимальную скорость обхода для конкретного сайта с учетом допустимых нагрузок на сервер.
Установить нужную вам скорость обхода сайта можно прямо сейчас. Однако Яндекс начнет учитывать ваши настройки только с 22 февраля 2018 года.
В завершении нужно отметить, что с запуском в Яндекс.Вебмастере этого инструмента отпала необходимость в поддержке аналогичной по своей сути директивы Crawl-delay в файле robots.txt. Следовательно, в Яндексе заявили, что отказываются от нее.
Stfw.Ru
Читайте также



Примечание: При комментировании материала просим соблюдать законы Российской Федерации. Пожалуйста, воздержитесь от оскорблений и токсичного поведения.

Сводка событий

03:12 Qualcomm хочет расширить перечень iPhone, которые запрещено продавать в Китае, а Apple игнорирует предыдущий запрет


03:12 Infiniti показала первое изображение электрического кроссовера, который представит уже на Детройтском автошоу в январе 2019 года


03:12 Лукашенко заподозрил Москву в попытках инкорпорировать Белоруссию в Россию


03:12 Глава МВД Франции подтвердил ликвидацию террориста в Страсбурге


03:12 Войска ДНР привели в полную боевую готовность


03:12 В ЛНР заявили о прибытии танков ВСУ и понтонов производства Великобритании к линии соприкосновения


03:12 Virgin Galactic заявила, что ее туристический корабль впервые достиг "космической высоты" (Аппарат SpaceShipTwo поднялся на отметку 82,7 км)


16:12 Archer C6 — экспресс-обзор роутера TP-Link


16:12 Припейд-абоненты Vodafone теперь могут зарегистрировать свой номер в онлайне с помощью ЭЦП или Mobile ID


16:12 В минувшем квартале за нарушение правил с YouTube было удалено 58 млн видео, 1,7 млн каналов и 224 млн комментариев


16:12 «Красные» снова без вождя. Новый глава AMD Radeon Technologies Group не проработал в компании и года


16:12 «123456, password и… donald». Опубликован рейтинг худших паролей 2018 года


16:12 Metro Exodus отправилась в печать и выйдет на неделю раньше, опубликован вступительный ролик


Основные этапы SEO оптимизации сайта для поисковой рекламы.