Derniers Articles
Comment les IA choisissent leurs sources : retour sur le concours GEO GreenRed HubSpot AEO : un nouvel outil pour booster votre visibilité dans les résultats de recherche IA Google prêt à revoir sa politique anti-parasite SEO pour les éditeurs de presse européens Success Marketing : -30 % sur les billets jusqu’au 22 mai Microsoft Bing nous nous parle de l’évolution de son index Microsoft Bing nous parle de l’évolution de son index Google met fin au support des FAQ rich results Google teste un nouveau protocole pour distinguer les bons bots des imposteurs SEO agentique : 4 workflows pour transformer vos recommandations en actions avec EdgeSEO Ses clics Google ont été divisés par deux : l’éditeur de Minecraft.fr face à l’impact de l’IALire l'article complet : Goossips SEO : Crawler, Lazy Loading, Core Web Vitals
Publié le 26/08/2025 à 06:00:00 par Abondance
Goossips SEO : Crawler, Lazy Loading, Core Web Vitals
Quelques infos sur Google (et Bing parfois) et son moteur de recherche, glanées ici et là de façon officieuse ces derniers jours, avec au programme cette semaine quelques réponses à ces questions : comment distinguer le bon du mauvais crawler ? Pourquoi est-il important de bien configurer son lazy loading ? Pour quelle raison CrUX et Search Console ne présentent-ils pas les mêmes résultats ?
Voici comment distinguer le bon du mauvais crawler
Martin Splitt et Gary Illyes ont récemment mis en avant les attributs indispensables pour un bon crawler :
Attributs d’un bon crawler selon Martin Splitt
- Supporter HTTP/2 pour une meilleure performance et efficacité.
- Déclarer clairement son identité via le user-agent.
- Respecter robots.txt pour ne pas crawler les zones interdites.
- Réduire la fréquence de crawling si le serveur ralentit.
- Prendre en compte les directives de cache.
- Avoir des mécanismes de retry raisonnables si une requête échoue.
- Suivre les redirections correctement.
- Gérer les erreurs de manière élégante.
Bonnes pratiques issues du document IETF (relayées par Gary Illyes)
- Les crawlers doivent absolument supporter et respecter le Robots Exclusion Protocol (robots.txt).
- Ils doivent être identifiables facilement via la chaîne user-agent.
- Leur activité ne doit pas perturber le fonctionnement normal du site.
- Le respect des directives de cache est obligatoire.
- Les crawlers doivent exposer leurs plages d’IP de façon standardisée.
- Une page dédiée doit expliquer comment sont utilisées les données collectées et comment bloquer le crawler.
Source : Search Engine Roundtable
Taux de fiabilité : 
On est d'accord !
Vous l’aurez compris : il y a bon crawler et le mauvais crawler. Le bon est celui qui se montre respectueux, transparent, identifiable et suit les normes techniques telles que robots.txt et les directives de cache. L'autre, eh bien, c'est le mauvais crawler !