Et si le fichier robots.txt avait un cousin dédié aux intelligences artificielles génératives ? C’est exactement l’idée derrière le LLMs.txt, une proposition de Jeremy Howard qui pourrait bien redessiner les règles d’accès des IA aux contenus du web. Ni panique, ni euphorie, juste une évolution à suivre de près.

LLMs.txt : un nouveau panneau de signalisation pour les IA

Pourquoi ce fichier change la donne ?

Les moteurs de recherche ont leurs règles. Depuis les années 90, le fichier robots.txt permet aux sites web d’indiquer ce qu’ils acceptent – ou non – de voir indexé. C’est simple, efficace, un peu vieillot. Mais les IA génératives comme ChatGPT ou Claude ? Elles n’obéissent pas forcément aux mêmes codes.

Le fichier LLMs.txt vise à combler ce flou. En clair, il offrirait aux éditeurs un moyen de dire : “Tu peux lire ça, mais pas ça.” Ou même : “Tu ne touches à rien.” Une sorte de contrat de courtoisie numérique, taillé pour les modèles d’IA.

Un robots.txt pour l’ère des LLMs ?

La comparaison est tentante, mais pas tout à fait exacte. Là où robots.txt est respecté (plus ou moins) par Googlebot et consorts, LLMs.txt s’adresse directement aux crawlers IA, ceux utilisés pour entraîner les modèles linguistiques. On parle ici de Common Crawl, LAION, ou même des collecteurs d’OpenAI ou d’Anthropic.

Concrètement, à quoi ça ressemble ?

Une syntaxe simple, mais efficace

Le fichier LLMs.txt serait placé à la racine d’un site, tout comme son aîné. À l’intérieur, des instructions lisibles par des crawlers IA :

• User-Agent : pour identifier un modèle ou un crawler spécifique
• Disallow / Allow : pour autoriser ou bloquer l’accès à certaines sections
• LLM-Access : une directive pour indiquer si le contenu peut être utilisé pour l'entraînement

C’est clair, lisible, et potentiellement très utile. Mais rien d’obligatoire à ce stade. On est encore dans le domaine du volontariat.

Un exemple sur le site d'Anthropic pour voir à quoi ça ressemble en vrai.

Et l’impact légal dans tout ça ?

C’est là que les choses deviennent plus floues. Ce fichier n’a pas encore de statut juridique solide. Il s’agit d’un standard proposé par la communauté tech (notamment via Hugging Face), mais son respect dépendra du bon vouloir des acteurs de l’IA.

Alors oui, sur le papier, c’est séduisant. Mais on a vu ce que ça donnait avec robots.txt : tout le monde ne joue pas le jeu.

Vers un nouveau contrat social numérique ?

Qui a le droit de lire quoi ?

C’est un peu la grande question du moment. Les éditeurs s’inquiètent. Voir leur contenu aspiré, digéré, remixé sans autorisation – parfois même sans mention – ça passe moyen. Et on les comprend.

Avec LLMs.txt, l’idée serait de rééquilibrer les forces. Donner aux créateurs un peu plus de contrôle. Un minimum de consentement dans un écosystème souvent trop vorace.

Des questions sans réponse (pour l’instant)

On en est encore...