Skip to content
Extraits de code Groupes Projets
Sélectionner une révision Git
  • 5f7c560c1ff329ba7c10583b9e973d79e787fff9
  • master par défaut protégée
  • v5
  • 6.4.24
  • 6.4.23
  • 6.4.22
  • 6.4.21
  • 6.4.20
  • 6.4.19
  • 6.4.18
  • 6.4.17
  • 6.4.16
  • 6.4.15
  • 6.4.14
  • 6.4.13
  • 6.4.12
  • 6.4.11
  • 6.4.10
  • 6.4.9
  • 6.4.8
  • 6.4.7
  • 6.4.6
  • 6.4.5
23 résultats

robots.txt.html

Blame
  • avatar de l'utilisateur
    real3t@gmail.com authored
    967bf75e
    Historique
    robots.txt.html 714 o
    #HTTP_HEADER{Content-Type: text/plain; charset=#CHARSET}
    
    # robots.txt
    # @url: #URL_SITE_SPIP
    # @generator: SPIP #SPIP_VERSION
    # @template: #SQUELETTE
    
    User-agent: *[(#CONFIG{soyezcreateurs_google/indexation,oui}|=={oui}|non)
    Disallow: /
    ][(#CONFIG{soyezcreateurs_google/indexation,oui}|=={oui}|oui)
    Allow:    /local/cache-css/
    Allow:    /local/cache-js/
    Disallow: /local/
    Disallow: /ecrire/
    Disallow: /sites/
    Allow:    /sites/[(#URL_SITE_SPIP|replace{'www\.',''}|replace{'ww2\.',''}|replace{'\.g2w\.fr',''}|replace{'http://',''}|replace{'https://',''})]
    
    Sitemap: #URL_SITE_SPIP/sitemap.xml
    
    Crawl-delay: 13
    
    User-agent: bingbot
    Crawl-delay: 29
    
    User-Agent: MJ12bot
    Crawl-Delay: 31
    
    ]