Derniers Articles
Favicon : Google simplifie sa documentation pour les utiliser correctement ! La mort de Google : une chute orchestrée en interne ? Meta AI : l’assistant intègre désormais les résultats de recherche de Google et Bing Goossips SEO : Code 503, hébergeur, tirets, sites multiples, API d’indexation Google met fin au support des données structurées pour le carrousel vidéo Comment les Core Updates modifient-ils subtilement l’intention de l’utilisateur ? Answer with AI : le nouveau moteur de recherche IA de Brave ! [Test] Recherche avancée sur Google : 33 opérateurs et syntaxes pour hacker votre recherche Neuro de Yandex : La nouvelle ère de la recherche intelligente commence en Russie Sécurité renforcée sur Google Search Console : Tout sur la nouvelle gestion des jetons de propriété !Lire l'article complet : Encore un nouvel User-agent chez Google
Publié le 22/05/2023 à 13:43:28 par Neper
Encore un nouvel User-agent chez Google
Après l’annonce du User Agent « GoogleOther » le 26 avril dernier, voici que Google annonce encore une nouvelle signature pour l’un de ses bots.
Pour ceux qui auraient raté l’annonce de GoogleOther, nous en avions parlé ici :
Cette fois-ci, il s’agit d’un nouvel User-Agent destiné à identifier les visites de quelques crawlers spécialisés utilisés dans deux outils de test.
- L’outil de test des Rich Results
- et l’outil d’inspection d’url de la Google Search Console
Qu’est-ce que ça change ?
Ces deux outils de test étant utiles, ce n’est pas une bonne idée de les bloquer via une directive du fichier robots.txt
De toute façon, c’est juste la signature « full string » qui change. Le « user agent token » reste le même (Googlebot). Or c’est le token qui est utilisé pour identifier les bots dans les directives du robots.txt. Bref techniquement : vous ne pouvez pas bloquer le crawl de ces outils sans bloquer Googlebot.
Par contre, ce changement n’est pas forcément sans conséquences pour l’outil d’inspection d’url. En effet, si vous aviez un comportement spécifique lors d’une visite de Googlebot, il était (relativement) facile de le détecter avec cet outil.
Maintenant, si vous avez un script qui détecte le User-Agent Googlebot (dans sa version « full string », impossible de le voir avec ce nouveau comportement).
Il faudra donc essayer avec un outil permettant de simuler le User-Agent Googlebot pour détecter un cloaking sur User Agent.
La liste à jour des user-agents des crawlers de Google peut-être trouvée sur cette page :
L’article Encore un nouvel User-agent chez Google est apparu en premier sur Neper.