Le paradigme des grands modèles de langage grand public modifie en profondeur les enjeux de visibilité sur internet. Que ce soit pour la recherche d’information, la création de contenus ou même l’évaluation de l’audience web, il est important comprendre quels robots d’exploration (bots) viennent collecter votre contenu, dans quel but, et avec quelles répercussions potentielles sur votre présence dans les réponses générées par les LLMs (Large Language Models). Dans cet article, nous vous présentons une cartographie des principaux bots à surveiller.

Pourquoi suivre les bots des LLMs dans vos logs ?

Traditionnellement, le suivi des crawlers (Googlebot, Bingbot…) se limitait au référencement classique. Aujourd’hui, la plupart des grands modèles linguistiques (GPT-4, Claude, Cohere, Mistral, etc.) disposent de leur propre robot d’exploration pour alimenter leurs corpus d’entraînement, leurs bases de connaissance ou pour enrichir leurs réponses en temps réel.

Il existe deux grandes catégories de bots :

• Les bots collecteurs conçus pour l’entraînement : ils parcourent le web massivement pour extraire des textes bruts, constituer des corpus de données et alimenter les prochaines versions des modèles.
• Les bots collecteurs en temps réel : lors d’une requête utilisateur, certains modèles utilisent des agents qui vont chercher en direct sur le web quelques sources pertinentes, puis inclure des extraits ou citations dans la réponse.

Traquer ces bots dans vos logs permet de :

• Savoir si votre contenu est pris en compte par les LLMs, que ce soit pour l’entraînement ou pour la génération de réponses immédiates.
• Mesurer l’impact réel de votre stratégie de contenu sur votre visibilité dans ChatGPT (OpenAI), Gemini (Google), Copilot (Microsoft), Claude (Anthropic), etc.
• Adapter la gestion de vos contenus : autoriser ou bloquer ces bots selon que vous privilégiez la citation, le trafic, ou la protection de votre matériel propriétaire.

1. Bots d’entraînement des modèles génératifs

Ces robots explorent le web pour alimenter les corpus d’entraînement des LLMs. Si vous donnez accès à votre contenu, ce dernier peut se retrouver, parfois mot pour mot, dans la prochaine mise à jour du modèle.

Voici la liste complète des bots d’entraînement à suivre de près :

AI2Bot

• Opérateur : Allen Institute for AI (AI2), institut de recherche à but non lucratif
• Mission : Collecte de données web accessibles au public pour alimenter la recherche et le développement de modèles de langage open source. AI2Bot s’inscrit dans une démarche de transparence et d’éthique dans la collecte de données pour l’IA.
• Identification : Mozilla/5.0 (compatible; AI2Bot; +https://allenai.org/policies/ai2bot)
• Respect de robots.txt : Oui
• Stratégie : Les propriétaires de sites peuvent aisément contrôler l’accès de ce bot via robots.txt. Si la visibilité dans l’écosystème IA ouvert vous importe, laissez-le crawler. Pour un contenu sensible ou propriétaire, bloquez-le.
• À retenir : AI2Bot est un acteur clé pour la constitution de corpus ouverts, avec une politique de transparence affichée.

AI2Bot-Dolma

• Opérateur : Allen Institute for AI
• Mission : Spécifiquement dédié à la construction du corpus Dolma, un jeu de données ouvert utilisé pour entraîner des modèles comme OLMo. Le bot indexe des contenus web accessibles, en mettant l’accent sur l’éthique et la documentation transparente des sources.
• Identification : Mozilla/5.0 (compatible; AI2Bot-Dolma; +https://allenai.org/crawler)
• Respect de robots.txt : Oui
• Stratégie : Comme pour AI2Bot, le contrôle est aisé via robots.txt. À privilégier si vous souhaitez contribuer à la recherche ouverte, à bloquer si vos contenus sont sensibles.
• À retenir...