Trois chercheurs de Google DeepMind, dont Donald Metzler, une figure reconnue de la recherche d’information, se sont penchés sur une situation en train de devenir la norme dans les moteurs modernes : un modèle de langage classe les résultats, un autre modèle évalue leur pertinence, et de plus en plus, le contenu lui-même a été rédigé par un modèle.

Leur article, présenté à la conférence SIGIR 2025, apporte selon eux la première preuve empirique qu’un juge automatique fondé sur un LLM favorise systématiquement les systèmes de classement eux aussi fondés sur des modèles (tiens tiens…).

Surtout, il met en garde contre une boucle circulaire dont les effets, à terme, pourraient appauvrir la diversité de ce que les moteurs mettent en avant.

Voyons un peu ce que ce papier révèle, et pourquoi ce sujet concerne directement le référencement.

Trois rôles pour un même outil

Le point de départ des auteurs tient en une observation simple : les grands modèles de langage (ou LLM, des modèles entraînés à prédire du texte et capables de nombreuses tâches linguistiques) occupent désormais trois fonctions distinctes dans la chaîne de l’information.

• Ils classent, en tant que systèmes de reclassement (le fait de réordonner une première liste de résultats pour remonter les plus pertinents).
• Ils évaluent, selon le paradigme du juge LLM (en anglais LLM-as-a-judge), où un modèle estime la pertinence d’un document par rapport à une requête, à la place ou en appui d’annotateurs humains.
• Ils assistent la production de contenu, du simple correcteur jusqu’à la rédaction d’articles entiers.

Chacun de ces rôles a déjà été étudié séparément. La nouveauté du papier est de regarder leur interaction.

La question centrale : lorsqu’un modèle classe les résultats et qu’un contenu a été écrit par un modèle, le juge LLM reste-t-il capable d’évaluer correctement la pertinence ?

Pour y répondre, les auteurs s’appuient sur un dispositif classique de récupération puis reclassement, où un premier étage rapide sélectionne des documents candidats, ensuite réordonnés par un modèle plus lourd mais plus fin.

Le biais qui inverse le classement

Le résultat le plus frappant concerne le biais des juges en faveur des classeurs LLM. Pour l’isoler proprement, les auteurs introduisent une méthode astucieuse : des classifieurs oracles, c’est-à-dire des classements construits à partir des jugements humains de référence, puis dégradés de façon contrôlée. Le meilleur d’entre eux, baptisé Perfect, représente le classement idéal à l’intérieur des cent premiers résultats récupérés. Toutes les différences entre ces oracles sont statistiquement significatives selon les humains, ce qui en fait un étalon fiable.

Les tests portent sur les collections TREC Deep Learning 2019 et 2020, adossées au corpus MS MARCO (8,8 millions de passages), avec la mesure NDCG@10 (un indicateur de qualité de classement qui récompense la présence de résultats pertinents en tête de liste). Les juges sont quatre variantes du modèle Gemini.

Le constat est net. Sur 2019, les juges humains placent l’oracle Perfect à 0,892, loin devant le meilleur classeur à base de LLM, à 0,747.

Mais...