Glossaire

Crawl budget (budget d'exploration)

Le crawl budget (budget d'exploration) est le volume d'URLs que Googlebot accepte d'explorer sur un site sur une période donnée, déterminé par deux facteurs combinés : la crawl capacity (ce que le serveur peut servir sans dégradation) et la crawl demand (l'intérêt de Google pour les URLs du site, basé sur popularité et fraîcheur).

Aussi appelé

  • crawl budget
  • budget d'exploration
  • budget de crawl

Le crawl budget devient critique au-delà de **~10 000 URLs indexables** sur un site. En dessous, Googlebot crawle généralement tout sans contrainte. Au-delà, certaines pages sont visitées trop rarement (parfois jamais), ce qui empêche leur indexation ou leur mise à jour dans l'index. Les sites les plus exposés : ecommerce avec millions de SKUs / facettes, sites pSEO avec milliers de pages générées, médias avec archives profondes.

Optimisations 2026 (officiel Google + études OnCrawl / Botify / SISTRIX) : (1) **bloquer dans robots.txt** les URLs sans valeur SEO (paginations infinies, paramètres de tri, calendriers), (2) **éviter les chaînes de redirections** (chaque 301 consomme du crawl), (3) **404 plutôt que soft 404** (Google ré-essaie indéfiniment les soft 404), (4) **sitemap propre** avec lastmod exact (Google priorise les URLs avec lastmod récent), (5) **server response time < 200 ms** (au-delà, Google réduit la crawl rate), (6) **internal linking depth ≤ 4 clics** depuis la home (au-delà, les pages reçoivent peu de crawl).

Conséquence sur le pSEO : publier 10 000 pages en bulk = très mauvaise idée ; Google va échantillonner et indexer 20-40 % du volume. Publier progressivement (50-200/semaine) avec sitemaps segmentés et lastmod précis = indexation typiquement de 70-90 % en 3-6 mois.

Dans le produit chatsocial.fr

chatsocial.fr expose des sitemaps segmentés par type de page (`/sitemap-glossaire.xml`, `/sitemap-comparer.xml`, `/sitemap-cas.xml`) avec lastmod précis pour optimiser la crawl prioritization, et publie ses nouvelles pages pSEO en cadence progressive plutôt qu'en bulk.

Questions fréquentes

  • À partir de quelle taille de site le crawl budget devient-il un sujet ?

    Seuil pratique : ~10 000 URLs indexables. En dessous, Googlebot crawle généralement tout sans contrainte significative. Entre 10k et 100k, l'optimisation crawl budget commence à compter. Au-delà de 100k (ecommerce, médias, pSEO mature), c'est un sujet first-class qui peut faire la différence entre 40 % et 90 % d'indexation.

  • Comment monitorer son crawl budget ?

    Search Console > Crawl Stats donne le volume de pages crawlées / jour et le temps de réponse moyen côté Googlebot. Pour aller plus loin : analyser les logs serveur (OnCrawl, Botify, Screaming Frog Log Analyzer) pour voir quelles URLs Googlebot visite vraiment vs lesquelles il ignore. Un audit log mensuel suffit pour un site de taille moyenne.