robots.txt
Le robots.txt est un fichier texte situé à la racine de votre domaine qui régit l’accès des robots d’exploration à votre contenu.En cliquant, vous acceptez les cookies de YouTube.
Définition
Le fichier robots.txt est le premier élément consulté par les crawlers (comme Googlebot) lors de leur visite. Il contient des directives (Allow/Disallow) indiquant quelles zones du site doivent être explorées ou ignorées, permettant ainsi de gérer efficacement le budget de crawl.
Pourquoi c’est important ?
- Impact direct sur la visibilité SEO : Empêche l’exploration de pages inutiles (admin, paniers, filtres) pour concentrer la puissance de Google sur vos pages stratégiques.
- Améliore l’expérience utilisateur : En évitant l’indexation de contenus privés ou de versions de test qui pourraient perdre le visiteur.
- Facilite l’indexation : Aide les moteurs à comprendre l’arborescence et à trouver rapidement le lien vers votre Sitemap XML.
Bonnes pratiques
- Appliquer la recommandation : Utiliser des règles simples et vérifier qu’aucune ressource importante (CSS, JS) n’est bloquée par erreur.
- Mesurer l’impact : Tester systématiquement vos règles avec l’outil de test du robots.txt dans la Google Search Console.
- Documenter les actions : Conserver un historique des modifications pour identifier l’origine d’une éventuelle chute d’indexation.
