Affiner/retirer les disallow de robots.txt qui empêchent les sites SPIP de se référencer #3849

Open
opened 6 years ago by exomede · 4 comments
exomede commented 6 years ago

Bonjour, Google a apparemment mis à jour son algo et a besoin des CSS et JS pour juger la compatibilité des sites avec les mobiles
Ainsi les ressources bloquées (disallow) par le fichier robots.txt fourni avec SPIP sont négatives pour le SEO et provoquent des erreurs dans la console Google (Google Webmaster Tools)

J'ai regardé sur un site SPIP et ai déjà identifié les problèmes suivants, ressources bloquées par SPIP, dont Google a pourtant besoin :
/plugins/auto/typoenluminee/v3.5.8/css/enluminurestypo.css
/prive/javascript/jquery.form.js
/local/cache-gd2/
/local/cache-vignettes/
/squelettes-dist/css/spip.css
/squelettes/js/jquery-ui.js

Autres /plugins/
Autres /prives/
Autres tout

http://searchengineland.com/google-webmaster-guidelines-updated-warn-blocking-css-javascript-files-206714
https://moz.com/blog/why-all-seos-should-unblock-js-css

Bonjour, Google a apparemment mis à jour son algo et a besoin des CSS et JS pour juger la compatibilité des sites avec les mobiles Ainsi les ressources bloquées (disallow) par le fichier robots.txt fourni avec SPIP sont négatives pour le SEO et provoquent des erreurs dans la console Google (Google Webmaster Tools) J'ai regardé sur un site SPIP et ai déjà identifié les problèmes suivants, ressources bloquées par SPIP, dont Google a pourtant besoin : /plugins/auto/typoenluminee/v3.5.8/css/enluminurestypo.css /prive/javascript/jquery.form.js /local/cache-gd2/ /local/cache-vignettes/ /squelettes-dist/css/spip.css /squelettes/js/jquery-ui.js Autres /plugins/ Autres /prives/ Autres tout http://searchengineland.com/google-webmaster-guidelines-updated-warn-blocking-css-javascript-files-206714 https://moz.com/blog/why-all-seos-should-unblock-js-css
Owner

Sujet déjà évoqué sur #3592.

As tu activé la compression css et js ?

à l'époque, on a dit que les ressources placées en cache comme les vignettes n'avait pas besoin d'être référencés et qu'il fallait privilégier les fichiers origines placés dans IMG, ....
On avait autorisé au minimum les ressources qui permettaient d'évaluer si un site était responsive ou non.

Comme les demandes peuvent beaucoup varier sur ce sujet, on pourrait imager un plugin qui permet d'affiner et de gérer un robots.txt sur mesure à la demande.

Sujet déjà évoqué sur #3592. As tu activé la compression css et js ? à l'époque, on a dit que les ressources placées en cache comme les vignettes n'avait pas besoin d'être référencés et qu'il fallait privilégier les fichiers origines placés dans IMG, .... On avait autorisé au minimum les ressources qui permettaient d'évaluer si un site était responsive ou non. Comme les demandes peuvent beaucoup varier sur ce sujet, on pourrait imager un plugin qui permet d'affiner et de gérer un robots.txt sur mesure à la demande.
Poster

Merci pour ta réponse
Effectivement, je viens d'activer la compression et cela va régler la plupart des problèmes d'accès par Google

C'est quand même embêtant pour les sites qui n'activent pas la compression puisqu'elle n'est pas obligatoire, et aussi la compression ne compresse pas 100% des fichiers chez moi : http://forum.spip.net/fr_265551.html

Merci pour ta réponse Effectivement, je viens d'activer la compression et cela va régler la plupart des problèmes d'accès par Google C'est quand même embêtant pour les sites qui n'activent pas la compression puisqu'elle n'est pas obligatoire, et aussi la compression ne compresse pas 100% des fichiers chez moi : http://forum.spip.net/fr_265551.html
Owner

Version cible mise à 4.0

**Version cible mise à 4.0**
Owner

Le robots.txt est personalisable, c'est pas si urgent à traiter :)
Version cible mise à 4.2

Le robots.txt est personalisable, c'est pas si urgent à traiter :) **Version cible mise à 4.2**
Sign in to join this conversation.
No Milestone
No project
No Assignees
3 Participants
Notifications
Due Date

No due date set.

Dependencies

This issue currently doesn't have any dependencies.

Loading…
There is no content yet.