Le 1er juillet dernier, Cloudflare a annoncé sur son blog qu’il déployait officiellement un nouveau service : « Pay per Crawl ».

« Pay per Crawl » est tout simplement un paywall que les clients de Cloudflare peuvent activer pour contrôler l’accès à leurs contenus par les différents crawlers.

Si vous souscrivez à ce service, vous pourrez contrôler plus finement quels bots IA vous autorisez, quels bots vous bloquez, et quels bots vous laissez paisser en échange d’une rémunération.

Oui, vous avez bien compris, Cloudflare vous propose de jouer les percepteurs pour vous, et de faire cracher au bassinet les propriétaires de bot IA : Google, Microsoft, Open AI, Apple et tous ceux qui vous bombardent de requêtes pour aspirer votre contenu à des fins que vous approuvez… ou non.

Evidemment, cette initiative voit le jour aujourd’hui parce que beaucoup de propriétaires de sites considèrent que le contrat implicite entre eux et les propriétaires de bots n’est plus équilibré.

En clair, jusqu’à une époque récente, les bots des moteurs de recherche crawlaient vos contenus pour les exploiter pour fabriquer des pages de résultats. Mais en échange, vous receviez du trafic. C’était donnant donnant.

Mais avec les LLMs : ils récupèrent toujours vos contenus, et ne vous envoient du trafic que de manière marginale.

Cloudflare a également révélé en juin que si Google crawlait une page 10 fois plus que le nombre de visites qu’il générait, ce ratio « crawls/referrals » grimpait à 1600 pour ChatGPT et 71000 pour Anthropic.

Concrètement, cela signifie que pour que Claude d’Anthropic génère une visite sur une page de votre site (et donc un HIT sur votre serveur), il va générer 73000 HITS pour explorer votre contenu. En clair, le coût du crawl par les bots IA est devenu disproportionné.

Techniquement, Cloudflare a (presque) tout prévu.

« Pay per Crawl » est encore en « bêta test », mais fonctionne déjà.

Laisser passer un crawler ou le bloquer était déjà une fonctionnalité disponible dans certaines versions de Cloudflare.

Pour ce service, ils ont ajouté une solution technique pour identifier à coup sûr les bots que vous voulez faire payer. Sans cela, il serait facile à un bot bloqué de se faire passer pour un bot ayant un accès gratuit.

Cloudflare propose donc de passer par son protocole « Web Bot Auth », qui prévoit un échange de clés cryptés pour authentifier l’identité des crawlers autorisés à explorer vos pages.

C’est déjà un premier écueil, car qui, dans les acteurs majeurs, va obéir à cette contrainte imposée par Cloudflare dans son coin ?

Le code 402 remis au goût du jour

Si un bot appelle une page, et qu’il doit payer son écot pour la télécharger, il se prendra un code 402 « Payment Required » en retour dans le header, accompagné du prix à payer (non, cet article n’a pas été rédigé un premier avril).

Ce code était bien prévu dans la liste des codes http réservés, mais (à ma connaissance) n’a jamais été utilisé jusqu’ici. Donc aucun bot sur Terre n’a...