Voici comment distinguer le bon du mauvais crawler

Martin Splitt et Gary Illyes ont récemment mis en avant les attributs indispensables pour un bon crawler :

Attributs d’un bon crawler selon Martin Splitt

• Supporter HTTP/2 pour une meilleure performance et efficacité.
• Déclarer clairement son identité via le user-agent.
• Respecter robots.txt pour ne pas crawler les zones interdites.
• Réduire la fréquence de crawling si le serveur ralentit.
• Prendre en compte les directives de cache.
• Avoir des mécanismes de retry raisonnables si une requête échoue.
• Suivre les redirections correctement.
• Gérer les erreurs de manière élégante.

Bonnes pratiques issues du document IETF (relayées par Gary Illyes)

• Les crawlers doivent absolument supporter et respecter le Robots Exclusion Protocol (robots.txt).
• Ils doivent être identifiables facilement via la chaîne user-agent.
• Leur activité ne doit pas perturber le fonctionnement normal du site.
• Le respect des directives de cache est obligatoire.
• Les crawlers doivent exposer leurs plages d’IP de façon standardisée.
• Une page dédiée doit expliquer comment sont utilisées les données collectées et comment bloquer le crawler.

Source : Search Engine Roundtable

Vous l’aurez compris : il y a bon crawler et le mauvais crawler. Le bon est celui qui se montre respectueux, transparent, identifiable et suit les normes techniques telles que robots.txt et les directives de cache. L'autre, eh bien, c'est le mauvais crawler !