Et un délais par défaut pour les autres

3 years ago · 967bf75e09
1 changed files with 2 additions and 0 deletions
--- a/robots.txt.html
+++ b/robots.txt.html
@ -17,6 +17,8 @@ Allow:    /sites/[(#URL_SITE_SPIP|replace{'www\.',''}|replace{'ww2\.',''}|replac

 Sitemap: #URL_SITE_SPIP/sitemap.xml

+Crawl-delay: 13
+
 User-agent: bingbot
 Crawl-delay: 29