Crawl Budget (Budget de Crawl)

Le Crawl Budget est le nombre de pages qu’un robot de moteur de recherche (comme Googlebot) décide d’explorer sur un site web dans un laps de temps donné.

Définition

Le Crawl Budget est déterminé par deux facteurs : la limite de capacité de crawl (vitesse de votre serveur) et la demande de crawl (popularité de vos pages). Si votre site est mal optimisé, Google risque de gaspiller ce budget sur des pages inutiles (404, paramètres d’URL, contenu dupliqué) au détriment de vos contenus stratégiques qui ne seront alors ni indexés, ni mis à jour.

Bonnes pratiques

• Implémenter progressivement : Nettoyer le maillage interne pour supprimer les redirections inutiles et bloquer les zones sans intérêt via le robots.txt.
• Mesurer avec la Search Console : Analyser le rapport "Statistiques d’exploration" pour identifier les types de fichiers (images, scripts, HTML) qui consomment le plus de ressources.
• Automatiser le monitoring : Surveiller les temps de réponse du serveur (TTFB) ; un serveur plus rapide permet à Google d’explorer plus de pages sans saturer vos ressources.

À éviter

• Chargements bloquants : Laisser des boucles de redirection (A -> B -> A) ou des chaînes de redirections trop longues qui découragent les robots.
• Assets non optimisés : Proposer des sitemaps XML contenant des URLs non indexables (404, 301, noindex), ce qui induit le robot en erreur.
• Modifications non mesurées : Lancer des milliers de nouvelles pages générées dynamiquement sans avoir vérifié au préalable la capacité du serveur à absorber ce volume de crawl supplémentaire.

ㅤ