John Mueller a commenté le 16 juillet dernier, dans un épisode de son podcast Search Off the Record intitulé « How to read the Indexing Report », le rapport Pages de la Google Search Console.

Et au passage, a fourni une confirmation à propos des causes du statut « Explorée, actuellement non indexée« . Les plus sagaces d’entre vous avaient deviné que les causes techniques souvent invoquées comme à l’origine de ce statut n’étaient pas les seules causes possibles.

Et bien, c’est confirmé.

Et cela explique pourquoi certains remèdes échouent le plus souvent à changer quoi que ce soit :

• La soumission d’un sitemap temporaire,
• La resoumission d’URL
• L’optimisation du maillage interne
• etc.

L’éditeur d’outil Indexing Insight mesure que sur 1,7 million de pages surveillées, 70 à 80 % des URL portant ce statut avaient déjà été indexées par le passé. Cela implique que dans l’immense majorité des cas, les urls rangées sous ce statut ne sont pas des pages en attente d’indexation.

Ce sont des pages retirées de l’index.

De là à dire qu’il faudrait renommer le statut « explorée, précédemment indexée » il n’y a qu’un pas. Mais ce ne serait pas exact : ce n’est pas vrai pour toutes les urls, et même, compte tenu de la variabilité des causes pour ce statut, de tout les sites. C’est juste un comportement ultra-répandu.

Deux statuts que tout oppose

La Search Console range sous deux libellés voisins deux étapes distinctes du traitement.

Détectée, actuellement non indexée signifie que Google connaît l’URL, par un lien ou par un sitemap, et ne l’a jamais visitée. Aucun jugement n’a été porté sur son contenu, pour la bonne raison que ce contenu n’a jamais été téléchargé. Les causes possibles sont la charge serveur, la profondeur de l’arborescence, la découvrabilité.

Explorée, actuellement non indexée signifie que Googlebot a récupéré la page, l’a analysée, et ne l’a pas retenue. La décision a été prise en connaissance de cause.

La fiche d’aide en français de Google reste très avare d’explications sur ce second cas. Elle indique que la page a été explorée sans être indexée, que ce statut pourra évoluer, et qu’il est inutile de resoumettre l’URL. C’est tout

Une partie du rapport relève par ailleurs du bruit normal et ne demande aucune action :

• les URL de flux du type /feed/,
• la pagination,
• les URL portant des paramètres de tri ou de filtre,
• les variantes non canoniques,
• etc.

Le compteur brut n’a donc aucune valeur de diagnostic tant qu’il n’a pas été filtré pour isoler les urls indexables, canoniques qui devraient être indexées et ne le sont pas.

Ce que Mueller a dit le 16 juillet, et ce qu’il n’a pas dit

Le passage commence à 20:32 de l’épisode. Martin Splitt demande à John Mueller si le statut signale souvent un problème de qualité, ou seulement parfois. La réponse commence par « parfois », et cette réserve n’est pas une figure de style.

Mueller décrit ensuite un mécanisme d’allocation de ressources. Quand les systèmes doutent sérieusement de la qualité d’ensemble d’un site, il devient inutile pour Google d’y consacrer du temps machine. L’exploration baisse, l’indexation baisse, et les deux statuts de non-indexation gonflent. Il ajoute que ces lignes ne sont pas un problème technique à corriger, et que...