Mise a jour des Disallow/Noindex pour permettres aux robots sociaux d'acceder... (7534b22f) · Validations · spip / dist

Mise a jour des Disallow/Noindex pour permettres aux robots sociaux d'acceder aux images referencees dans les pages html, mais eviter aux robots d'indexation de parcourir ces memes dossiers. Au passage on bloque aussi les ?action= les *.api/ et la page de login

robots.txt.html

+9 −6

Numéro de ligne d'origine	Numéro de ligne de diff	Ligne de diff
		@@ -8,14 +8,17 @@
		User-agent: *
		Allow: /local/cache-css/
		Allow: /local/cache-js/
		Disallow: /local/
		Noindex: /local/
		Noindex: /plugins-dist/
		Noindex: /plugins/
		Noindex: /squelettes-dist/
		Noindex: /squelettes/
		Disallow: /ecrire/
		Disallow: /plugins-dist/
		Disallow: /lib/
		Disallow: /plugins/
		Disallow: /prive/
		Disallow: /squelettes-dist/
		Disallow: /squelettes/
		Disallow: /spip.php?action=*
		Disallow: /spip.php?page=login*
		Disallow: /*.api/
		Crawl-delay: 1

		Sitemap: #URL_SITE_SPIP/sitemap.xml