Google a réécrit le 17 juillet 2026 la fiche d’aide Merchant Center consacrée aux blocages du crawler StoreBot.

La procédure de correction qu’elle propose comporte une sonnerie avec un s comme dans crocodile : elle demande aux marchands d’autoriser Googlebot et Googlebot-image dans leur robots.txt, sans jamais nommer le seul jeton qui commande réellement l’accès de StoreBot.

Ballot !

Une réécriture repérée par Search Engine Roundtable

Barry Schwartz a signalé le 17 juillet la mise à jour de la page « How to fix: Google StoreBot crawler can’t access your in-store product page ». La nouvelle version détaille désormais (utilement) cinq causes de blocage :

• le fichier robots.txt (fichier texte placé à la racine d’un site qui indique aux robots d’exploration les zones qu’ils peuvent parcourir),
• la commutation de user-agent (chaîne d’identification qu’un client HTTP envoie au serveur) par un dispositif de détection de bots,
• le filtrage par adresses IP ou pare-feu,
• le fingerprinting (construction d’une empreinte comportementale à partir du user-agent, de l’IP et de variables JavaScript de l’environnement navigateur),
• et la lenteur de chargement provoquant des expirations de délai côté crawler.

La fiche ajoute un parcours de remise en service dans Merchant Center, via les options « Request website check » et « Fetch now » de l’onglet Diagnostics, ainsi qu’un délai indicatif de 12 à 48 heures avant réapprobation des produits une fois l’accès rétabli. Elle nomme aussi explicitement Cloudflare, ce qui reste rare dans une aide en ligne Google.

Le jeton manquant : Storebot-Google

C’est la section robots.txt qui pose problème. Google y écrit :

Add ‘User-agent: Googlebot’ and ‘User-agent: Googlebot-image’ followed by ‘Disallow:’ to grant access.

Or la référence officielle des crawlers Google, mise à jour le 14 juillet 2026, est sans ambiguïté : le jeton robots.txt de StoreBot est Storebot-Google, et c’est son unique jeton. Googlebot-Image accepte Googlebot comme jeton de repli, Googlebot-Video et Googlebot-News également. StoreBot, non. Aucune règle écrite pour Googlebot ne s’applique à lui.

Les conséquences pratiques sont directes :

• Un marchand qui applique la fiche à la lettre n’écrit jamais la directive qui concerne StoreBot.
• Une règle Disallow: / posée sous User-agent: Storebot-Google survit intégralement à la correction recommandée par Google.
• Inversement, un site qui interdit Googlebot sur son tunnel d’achat ne bloque pas StoreBot pour autant, ce qui rend le diagnostic par lecture du robots.txt trompeur dans les deux sens.

La directive correcte tient en deux lignes :

user-agent: Storebot-Google
disallow:

Second flottement, à prendre avec plus de prudence : la fiche affirme que StoreBot peut utiliser des adresses IP différentes de celles du crawler de recherche. StoreBot figure pourtant dans la liste des common crawlers, qui partagent le fichier common-crawlers.json et le masque DNS inverse crawl-*.googlebot.com. L’hypothèse la plus plausible tient aux listes d’autorisation construites depuis l’ancien fichier googlebot.json, devenues obsolètes après la réorganisation des références Google. Google ne le précise pas.

Un crawler incompatible avec la détection comportementale

Ce fail dépasse un peu la simple coquille éditoriale.

StoreBot n’explore pas des pages, il traverse un tunnel d’achat. La fiche « About the Google StoreBot crawler » précise qu’il parcourt la page produit, le panier et la page de paiement, remplit les formulaires par apprentissage automatique avec des adresses de livraison, et collecte prix, frais de port, validité des coupons, moyens de paiement et délais logistiques. Il apparaît dans les journaux...