Nous avons déjà consacré un article à la détection de Googlebot, dans lequel nous expliquions comme exploiter les fichiers fournis par Google (et Bing) pour identifier à coup sûr leurs robots et leurs programmes.

Je vous invite à le relire si les méthodes de détection fiables des visites de Googlebot vous intéressent.

Jusqu’ici, les fichiers étaient mis à jour toutes les semaines et comme la liste des plages d’IP utilisées par Google était assez stable dans le temps, cela ne posait pas de problèmes majeurs.

Mais il y’a quelques semaines, des changements dans ces plages d’IP ont déclenché des impacts en cascade pour les outils qui se basaient sur ces IP pour laisser passer les visites de Googlebot. Les outils de protection de certains CDN ont bloqué les visites des crawlers de Google en pensant qu’il s’agissait d’attaques de spammers ou de hackers.

Google a donc décidé de mettre à jour dorénavant ces fichiers de plages d’IP quotidiennement.

L’information a été fournie par Gary Illyes dans ce post Linkedin

https://www.linkedin.com/posts/garyillyes_googlebot-and-other-google-crawler-verification-activity-7307327296997130241-8L51

Si vous avez des outils qui utilisent les fichiers JSON listant les plages d’IP, vous pouvez donc aussi adopter une mise à jour quotidienne.

L’article La liste des IP de Googlebot est désormais mise à jour tous les jours est apparu en premier sur Neper.