Derniers Articles
Trafic Google en baisse : Reddit va tester la connexion obligatoire pour accéder au site HubSpot perd 80 % de son trafic SEO : son CMO explique ce que l’entreprise mesure désormais à la place Google accusé de voler le trafic des sites web : la riposte est lancée ! IBOU : le moteur français s’ouvre au grand public avant l’arrivée de sa version conversationnelle Connected Apps Platform : Google ouvre Search et l’app Gemini aux développeurs via MCP ChatGPT Shopping : pourquoi un e-commerçant n’est pas classé de la même façon aux États-Unis et en Europe Google ne lit pas vos PDF, il les convertit en HTML Comment Google Discover décide que vos contenus sont périmés : le « SDF freshness » « Économisez votre énergie » : quand Google traite la fraîcheur des données de la Search Console avec (trop) de légèreté Spam UGC : Google cible désormais les outils qui génèrent des pages, des contenus et des web appsLire l'article complet : Crawl Budget : Google met à jour sa documentation
Publié le 23/07/2026 à 08:34:09 par Abondance
Crawl Budget : Google met à jour sa documentation
Ce qu'il faut retenir :
- Le tribunal reconnaît que Google a bien qualité pour agir sous le DMCA, rejetant l'argument de SerpApi selon lequel seul un propriétaire ou licencié exclusif de droits d'auteur pourrait porter plainte sur ce fondement.
- Tous les sites démarrent avec la même limite de capacité de crawl par défaut, volontairement conservatrice.
- Cette limite peut évoluer avec le temps si la demande de crawl augmente et si le site reste techniquement sain.
- La demande de crawl dépend de la taille du site, de sa fréquence de mise à jour, de la qualité et de la pertinence des pages, comparées aux autres sites.
- La capacité de crawl est partagée entre tous les robots Google : une forte demande d'un crawler (comme Googlebot-Image) peut réduire celle disponible pour les autres.
Google a expliqué avoir modifié sa documentation pour « améliorer la clarté, la cohérence terminologique et la fluidité » du texte. Selon Barry Schwartz, qui a relayé l'information sur Search Engine Roundtable après une trouvaille de Shauvik Kumar, la plupart des changements ne modifient pas le fonctionnement réel du crawl mais clarifient des notions déjà en place, notamment autour du terme crawl capacity limit, désormais utilisé de façon plus cohérente dans l'ensemble du document.
Parmi les ajouts les plus significatifs, Google précise que « chaque site démarre avec la même capacité de crawl par défaut, conservatrice. S'il existe une demande pour crawler davantage et que le site reste sain, les systèmes de Google ajusteront automatiquement cette limite au fil du temps. » Cette formulation confirme officiellement un point que beaucoup de professionnels du SEO supposaient sans disposer d'une confirmation aussi explicite.
Le document détaille également les facteurs qui influencent la demande de crawl pour Googlebot : la taille du site, sa fréquence de mise à jour, la qualité des pages et leur pertinence par rapport aux autres sites du web. Google indique ensuite les leviers sur lesquels les éditeurs peuvent réellement agir pour influer sur cette demande.
Un point technique mérite une attention particulière : la capacité de crawl, bien que la demande varie selon chaque robot, reste partagée entre l'ensemble des crawlers de Google. Concrètement, si Googlebot-Image sollicite davantage de ressources, cela peut mécaniquement réduire la capacité disponible pour Googlebot classique ou d'autres robots spécialisés. Cette précision éclaire un phénomène parfois observé sans explication claire par les équipes techniques et SEO.
Enfin, Google rappelle deux recommandations concrètes pour optimiser l'efficacité du crawl.
- La première consiste à améliorer la vitesse de chargement, en optimisant les temps de réponse serveur et le poids des ressources, afin que les pages se chargent plus rapidement.
- La seconde porte sur l'usage du cache HTTP, via la prise en charge des codes de statut 304 (Not Modified) : lorsqu'une page n'a pas changé depuis le dernier passage de Google, ce code indique au moteur de recherche qu'il peut réutiliser la version déjà en cache, ce qui économise de la bande passante et des ressources serveur.
