Участники РСЯ получили возможность управлять скоростью робота сети
2010-06-26Управление роботом РСЯ (рекламной сети Яндекса) возможно с помощью директивы Crawl-delay в файле robots.txt. Данная директива задает длительность паузы между загрузками страниц сайта роботом. По умолчанию длительность паузы составляет 2 секунды. По мнению специалистов «Яндекса», это наиболее оптимальный вариант. Он обеспечивает эффективную скорость индексации страниц сайта, при этом серверы и хостинг сайта не испытывают перегрузки.
При таком значении паузы робот РСЯ способен проиндексировать в течение суток сайт, количество страниц которого равняется нескольким тысячам. Владельцам более крупных сайтов рекомендуется установить значение директивы Crawl-delay менее двух секунд, это ускорит процесс загрузки страниц. Если же робот РСЯ создает значительную нагрузку на сайт и препятствует его работе, значение Crawl-delay может быть установлено более 2 секунд. Однако стоит помнить, что слишком большое значение этой директивы приведет к снижению качества рекламы и уменьшит монетизацию сайта.