Bingbot очень сильно ударит по моему сайту в течение нескольких часов каждый день и будет очень легким в течение оставшегося времени.
Я хотел бы либо сгладить его обходы, уменьшить его лимит скорости, либо полностью заблокировать его. Он действительно не отправляется через реальных посетителей.
Есть ли способ, с помощью которого можно сгладить сканирование или ограничить скорость?
В блоге веб-мастера говорится, что они поддерживают добавление параметра задержки сканирования в файл robots.txt для дросселирования bingbot.
User-agent: msnbot
Crawl-delay: 1
Там немного больше объяснений в часто задаваемые вопросы для веб-мастеров PDF
Эти другие ссылки также могут быть полезны:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
Вы можете запретить свой IP-адрес с помощью HTACCESS.
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
Подробнее о том, что вы можете найти здесь: Блог о блокировке ботов
Вы можете ограничить количество подключений от искателя до f.i. 5, установив такие IPTables (требуется root-доступ к брандмауэру):
настройка IP-таблиц: iptables -I INPUT -p tcp -m connlimit --ключить -выше 5 -j REJECT
Это ограничивает соединения с каждого IP-адреса не более чем на 5 одновременных подключений. Подобные соединения "рационы" и предотвращают одновременное попадание сканеров на сайт.