Cloudflareは、2026年9月15日より、広告掲載ページにおいて、従来の検索目的とAIエージェント・学習目的を混同したウェブクローラー（「混合利用クローラー」）のアクセスをデフォルトでブロックする新ポリシーを導入します。

この変更は、新規顧客、既存顧客の新設サイト、および全ての無料顧客に適用されます。

これにより、AIモデル提供者が学習目的やエージェントサービスのためにウェブコンテンツへアクセスする方法に影響が出る可能性があります。

Cloudflareは、多くのウェブサイト所有者が検索やAIサービスでの発見可能性を望む一方で、知的財産が無断で利用されることへの保護を求めていると指摘しています。

特にGoogleは、AI企業よりも多くの情報にアクセスできるが、それは顧客がAIに利用されることなく発見されることを困難にしていると批判しています。Googleは、AI学習・製品利用を拒否できる「Google Extended」を提供していますが、GooglebotはAI機能にも利用されているのが現状です。

CloudflareのCEO、Matthew Prince氏は、インターネットトラフィックの過半数が非人間（ボット）になった現状を踏まえ、持続可能なエコシステムのために、AI企業には明確で透明性のある意図を持つボットを求め、混合利用クローラーに検索とAI利用・学習の分離を促すとしています。

Cloudflareは、AIボット対策として「Pay Per Crawl」（クローリングごとの支払い）や「Pay Per Use」（利用ごとの支払い）といった、パブリッシャーがAI企業にコンテンツ利用料を請求できるツールを提供しています。

これにより、AIクローラーによる変更のないページの再取得などの無駄なトラフィックを削減し、パブリッシャーの帯域幅や計算リソースの節約にも繋がると期待されています。

初期段階では、Ceramic.aiやYou.comといったパートナーと協力し、パブリッシャーがコンテンツ利用に対して報酬を得られる仕組みを構築します。他のAI企業も、このモデルをカスタマイズして利用できるとのことです。