Si vous pensez que le Markdown est un langage utile pour les moteurs de recherche, bonne chance pour travailler chez Google.

Et voilà pourquoi.

La scène se passe dans l’épisode 111 de Search Off the Record, le podcast de l’équipe Search Relations de Google.

John Mueller y mène un faux entretien d’embauche de son collègue Martin Splitt (comme il est taquin !), sur une question que les deux entendent à répétition : faut-il convertir son site en Markdown, ou publier un fichier llms.txt, pour faciliter la tâche des modèles de langage ?

Si on écoute John et Martin : ceux qui misent sur le Markdown pour bien se positionner « ne devraient peut-être pas l’utiliser ».

Mais ils disent aussi pourquoi.

Un des concepteurs de llms.txt explique que cela n’est pas fait pour faciliter l’indexation dans les moteurs de recherche

Le llms.txt est un fichier texte placé à la racine d’un site, qui liste ses pages jugées importantes pour qu’un modèle de langage les repère.

La proposition a été formulée en septembre 2024 par Jeremy Howard. Mueller affirme avoir échangé avec l’une des personnes à l’origine de cette proposition, sans la nommer, et en livre une lecture sévère : l’intention initiale n’était pas d’aider les moteurs ou les LLM (large language models, les modèles de langage) à découvrir un contenu, mais de servir un système qui connaît déjà le site et cherche à savoir ce qu’il contient.

Utiliser llms.txt comme levier de visibilité « n’a aucun sens », selon lui.

La raison est structurelle : un fichier rempli par le propriétaire d’un site revient à proclamer que l’on possède le meilleur site, avec la liste des pages que tout le monde devrait visiter.

Un système d’IA ne peut, par construction, accorder le moindre crédit à cette autodéclaration pour départager des sites concurrents. Le fichier n’expose aucun mécanisme de découverte. C’est exactement la limite que chez Neper on pointe depuis longtemps : si un site est correctement structuré, ce type de béquille devient inutile.

Le vrai langage à utiliser reste le HTML, y compris pour l’entraînement des IA

Le point de bascule du podcast est là.

Le HTML (HyperText Markup Language, le langage de balisage natif des pages web) n’est pas présenté comme une option héritée que l’IA rendrait caduque, mais comme la base.

John Mueller va jusqu’à le qualifier de chose primordiale à mettre en place pour être correctement exploré et indexé, et même pour qu’un système d’IA puisse réutiliser le contenu lors de son entraînement.

L’argument repose sur l’histoire de l’infrastructure :

• Les crawlers (robots qui parcourent et téléchargent les pages) traitent le HTML depuis des décennies.
• Convertir du HTML en texte brut est une opération triviale, prise en charge par de nombreuses bibliothèques logicielles.
• Aucun moteur ne pouvait se permettre d’ignorer le web existant pour n’ingérer que des fichiers Markdown.

Autrement dit, le problème que le Markdown prétend résoudre a déjà été réglé, et depuis longtemps.

Martin Splitt complète d’une remarque utile : le Markdown (format texte léger créé en 2004 par John Gruber et Aaron Swartz, qui balise titres, listes et liens avec quelques symboles) reste un excellent format de travail en amont.
Lui-même publie ses sites en Markdown depuis 2012, mais via un générateur de site statique qui produit du HTML. Personne ne s’en aperçoit, et c’est précisément le but: le Markdown est utile au milieu de la chaîne de production de l’information, pas à sa sortie vers le grand public.

Le « cruft » que l’on veut supprimer est justement un signal très très utile

L’attrait du Markdown auprès des praticiens de l’IA tient à sa sobriété : moins de balises, moins de tokens (unités de texte que traite un modèle, et qui pèsent dans son coût de calcul).

Un fichier...