В Яндекс.Вебмастере можно будет регулировать скорость обхода сайта ботом

Новую функцию можно найти в разделе Яндекс.Вебмастера «Индексирование» (см. скрин ниже). С помощью нового инструмента владелец сайта сможет регулировать частотность запросов к веб-ресурсу со стороны поисковой системы Яндекс, то есть фактически задавать скорость обхода сайта поисковыми ботами.
В Яндекс.Вебмастере можно будет регулировать скорость обхода сайта ботом
Как свидетельствует изображение, на выбор пользователя предлагается два варианта настройки скорости обхода сайта. Во-первых, если владелец ресурса имеет свои предпочтения к ограничению частоты запросов к сайту, то в этом случае можно задать индивидуальную скорость обхода для отдельно взятого проекта.
Во-вторых, если таких предпочтений нет, то тогда можно всецело положиться на поисковую систему, выбрав опцию «Доверить Яндексу». В этой ситуации (по умолчанию) поисковик будет автоматически устанавливать максимальную скорость обхода для конкретного сайта с учетом допустимых нагрузок на сервер.
Установить нужную вам скорость обхода сайта можно прямо сейчас. Однако Яндекс начнет учитывать ваши настройки только с 22 февраля 2018 года.
В завершении нужно отметить, что с запуском в Яндекс.Вебмастере этого инструмента отпала необходимость в поддержке аналогичной по своей сути директивы Crawl-delay в файле robots.txt. Следовательно, в Яндексе заявили, что отказываются от нее.
Stfw.Ru
Читайте также



Примечание: При комментировании материала просим соблюдать законы Российской Федерации. Пожалуйста, воздержитесь от оскорблений и токсичного поведения.

Сводка событий

14:09 Альянс Renault-Nissan-Mitsubishi договорился о партнерстве с Google, в результате c 2021 года его автомобили получат новую инфотейнмент систему на основе Android


14:09 Google отказывается от контроля над стандартом AMP


14:09 На быстром канале опубликована сборка 17763, а на Skip Ahead 18242


14:09 Центризбирком рекомендует признать недействительными итоги губернаторских выборов в Приморском крае, заявила председатель ЦИК Элла Памфилова


14:09 Хаят Тахрир аль-Шам* и другие вооруженные группировки отклонили российско-трецкое соглашение о создании демилитаризованной зоны в Идлибе


14:09 Указ Порошенко о прекращении договора о дружбе с Россией вступил в силу


14:09 Раскол грядет внутри Константинополя: Варфоломея подставили. "Производить разделения в Церкви не меньшее зло, как и впадать в ереси... грех раскола не смывается даже мученической кровью" Иоанн Златоуст


14:09 Посольство РФ в Лондоне объяснило "загадочные инциденты" с россиянами в Великобритании


14:09 Германия опять раскалывается на ГДР и ФРГ


14:09 Состоялся анонс смартфона Meizu 16X на чипе Snapdragon 710


11:09 Телескоп TESS передал на Землю изображение первого света, сделанное при помощи всех четырех камер


11:09 Logitech представила клавиатуру стоимостью $70 для умных телевизоров


11:09 Huawei подала заявку на регистрацию торговой марки Watch X для новых умных часов


Основные этапы SEO оптимизации сайта для поисковой рекламы.