Robots.txt : pourquoi Google peut ignorer vos règles de blocage

Un utilisateur Reddit gérait un client Shopify dont la barre de recherche interne se faisait exploiter par du spam : des requêtes de spammeurs généraient des URLs de résultats de recherche pointant vers des sites tiers. Le client avait bloqué /search via disallow dans le robots.txt, mais Google continuait d'indexer ces pages malgré tout.

John Mueller a examiné le fichier robots.txt du site en question et identifié la cause : le fichier contenait à la fois une section user-agent: Googlebot et une section user-agent: * (pour tous les robots), avec des règles différentes dans chacune.

Le point clé qu’il met en exergue : avec le robots.txt, la règle la plus spécifique l'emporte toujours. Si un fichier contient une section dédiée à Googlebot, ce dernier n'appliquera que les règles de cette section précise, il ignorera complètement celles définies sous user-agent: *, même si elles semblaient censées s'appliquer à tous les robots, Googlebot inclus.

John Mueller propose une solution pratique : si on veut appliquer les mêmes règles à plusieurs user-agents, il faut soit dupliquer les règles dans chaque section, soit lister tous les user-agents concernés ensemble au-dessus d'un même bloc de règles partagées.

Source : Search Engine Journal

Comme rappelé dans l’article de Search Engine Journal, le fichier robots.txt ne contrôle pas le crawl, mais l’indexation, d’où l’intérêt d’utiliser plutôt une directive noindex.