Cloudflare bloque par défaut les robots d'IA d'entraînement et fait payer les éditeurs à l'usage plutôt qu'au crawl
Le 1er juillet 2026, Cloudflare, qui protège plus de 20 % des domaines du web, a durci sa politique face aux robots d'indexation des sociétés d'IA. L'entreprise classe désormais ces robots en trois usages, recherche, agent et entraînement, et bloquera par défaut, à compter du 15 septembre 2026, les robots d'entraînement et d'agent sur les pages monétisées des nouveaux domaines et des comptes gratuits, seuls les robots de recherche restant autorisés. Cloudflare fait aussi évoluer son péage pay per crawl, lancé un an plus tôt, vers un modèle pay per use : les éditeurs sont rémunérés lorsque leur contenu est effectivement exploité ou cité dans une réponse d'IA, et non plus à chaque requête de collecte, un mécanisme adossé aux réponses HTTP 402 et mis en oeuvre avec les sociétés Ceramic.ai et You.com. La démarche prolonge la coalition d'éditeurs, dont Associated Press, Time, The Atlantic, Condé Nast et Gannett, réunie par Cloudflare dès 2025 pour faire payer l'accès aux contenus.

