Crawl-delay dans robots.txt
Dernièrement j'avais un site qui faisait monter énormément la charge serveur lors du passage du robot crawler de bing. Il y a pas mal d'articles sur le web qui causent du comportement "chelou" de ce bot et des problèmes de charge qu'il engendre. Perso, j'ai appliqué la règle suivante dans le robots.txt du site et depuis ce jour mon serveur ne se fait plus harceler par ce le bot de Bing (qui avant lançait jusqu'à 7requêtes/seconde) :
calmer ce chacal de bingbot
http://www.bing.com/blogs/site_blogs/b/webmaster/archive/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot.aspx
User-agent: bingbot Crawl-delay: 1
http://www.lestaxinomes.org/robots.txt
Cela serait peut être intéressant d'ajouter cette règle au robots.txt de SPIP ?