Cloudflare bloquera par défaut les robots d'exploration web à usage mixte à partir de septembre 2026

Cloudflare vient de donner à l'industrie de l'IA une date limite ferme : séparez vos robots d'exploration web d'ici septembre 2026. À compter de cette date, l'entreprise actionnera un commutateur dans ses paramètres par défaut, bloquant automatiquement tout robot d'exploration qui mélange l'indexation de recherche, les services d'agents et la formation d'IA pour accéder à des pages qui comportent des publicités. L'annonce a été faite mercredi.

Ce que cela signifie en pratique : à moins que le propriétaire d'un site ne modifie délibérément ses paramètres, ces robots dits à usage mixte seront verrouillés par défaut. Les nouveaux paramètres par défaut s'appliquent à tous les nouveaux clients de Cloudflare, à tous les nouveaux sites mis en place par des clients existants et à tous les comptes gratuits existants.

Cette décision pourrait ébranler les fournisseurs de modèles d'IA qui dépendent du scraping du web ouvert pour les données de formation et pour alimenter les outils d'agents. Cloudflare souligne que la plupart des propriétaires de sites veulent être trouvés via la recherche et même via les services d'IA, mais ils ne veulent pas donner leur propriété intellectuelle gratuitement.

Cloudflare lance une pique à peine voilée à Google, le plus grand moteur de recherche au monde, notant qu'il a accès à « environ 2 fois plus d'informations » que les autres entreprises d'IA. La raison, selon Cloudflare : Google rend difficile pour les clients de rester découvrables sans être également utilisés pour l'IA.

Google a répondu à cette caractérisation. Il pointe vers un robot appelé Google Extended qui permet aux propriétaires de sites de refuser que leur contenu soit utilisé pour la formation d'IA ou des produits comme Gemini Apps et Vertex API, sans affecter leur classement dans Google Search. Néanmoins, le robot phare de Google, Googlebot, explore bien pour des fonctionnalités d'IA comme AI Overviews et AI Mode.

« Maintenant que la majorité du trafic sur Internet n'est pas humain, nous devons aller plus loin et agir plus rapidement pour qu'un écosystème durable puisse émerger », a déclaré Matthew Prince, cofondateur et PDG de Cloudflare, faisant référence au récent jalon où les robots ont dépassé les humains en ligne pour la première fois, un changement qui n'était pas attendu avant l'année prochaine.

Prince a ajouté : « Les nouveaux outils et partenariats de Cloudflare offrent aux propriétaires de sites web une visibilité accrue et des opportunités commerciales, et profitent aux entreprises d'IA qui ont des robots avec une intention claire et transparente. Nous espérons que nos changements par défaut proposés encourageront les robots d'exploration à usage mixte à séparer la recherche de l'utilisation par les agents et de la formation. »

Cloudflare a déployé une gamme d'outils pour donner aux éditeurs plus de contrôle à l'ère de l'IA. L'année dernière, il a lancé un marché où les sites peuvent facturer les robots d'IA pour le scraping, appelé Pay Per Crawl. Cette initiative évolue maintenant vers Pay Per Use, qui permet aux éditeurs de facturer les entreprises d'IA lorsque leur contenu crée réellement de la valeur, pas seulement lorsqu'il est récupéré.

Ce changement pourrait également économiser de la bande passante et des ressources de calcul. Les données de Cloudflare suggèrent que plus de 50 % du trafic d'exploration des robots d'IA est consacré à la récupération de pages qui n'ont pas changé.

Pour commencer, Cloudflare travaille avec deux partenaires : Ceramic.ai et You.com. Lorsqu'un éditeur s'inscrit, il est payé lorsque son contenu apparaît dans les résultats de recherche IA de Ceramic ou lorsque You.com accède à un élément de son contenu premium. Cloudflare indique que d'autres entreprises d'IA peuvent personnaliser ce modèle pour leurs propres besoins.