Cloudflare launches a marketplace that lets websites charge AI bots for scraping | TechCrunch
ウェブの20%にサービスを提供するクラウドインフラプロバイダーのCloudflareが新たに発表した「Pay per Crawl（クロールごとの支払い）」というと呼ばれ、Cloudflareは火曜日にこの「実験」をプライベートベータ版で開始します。
このマーケットプレイスは、ウェブサイトの所有者がAIボットに対してコンテンツのスクレイピングに料金を設定できる仕組みを提供します。
このサービスは、ウェブサイトのオーナーがAI企業との関係を再構築し、自らのコンテンツに対するコントロールを強化することを目的としています。
Cloudflareは、過去1年間にわたり、AIクローラーの急増に対処するためのツールを導入しており、これにはAIボットを一括でブロックする機能や、クローラーの訪問状況を確認できるダッシュボードが含まれています。
「Pay per Crawl」は現在プライベートベータ版として実験的に開始され、ウェブサイトの所有者はAIクローラーが自サイトをスクレイピングする際に、個別に料金を設定することができます。
これにより、ウェブサイトの所有者は、AIクローラーが自サイトをどのように利用しているかを把握し、必要に応じて無料でのアクセスを許可したり、完全にブロックしたりすることが可能です。
このマーケットプレイスの導入は、特にニュースパブリッシャーにおいて重要な意味を持ちます。Google検索からのトラフィックが減少し、AIチャットボットの人気が高まる中、パブリッシャーは新たな収益モデルを模索しています。
Cloudflareは、パブリッシャーが自らの条件で価格を設定できる持続可能なシステムを構築することを目指しています。
さらに、Cloudflareは新たに設定されたウェブサイトに対してデフォルトで全てのAIクローラーをブロックする機能を導入しました。
これにより、サイトの所有者は特定のAIクローラーに対してのみアクセスを許可することが求められます。
このアプローチは、コンテンツの許可に基づく新たなクローリングの枠組みを支持するものであり、すでに多くの大手パブリッシャーがこの方針に賛同しています。
Cloudflareのデータによると、AI時代においては、パブリッシャーが受け取るトラフィックの質が低下している可能性があり、AIクローラーがウェブサイトを訪れる頻度がGoogleのクローラーよりもはるかに高いことが示されています。
OpenAIとGoogleは、ユーザーに代わってウェブサイトを訪問し、情報を収集し、それを直接ユーザーに返すように設計されたAIエージェントを開発しています。
Cloudflare は、クロールごとの課金の「真の可能性」は「エージェント」の将来に現れる可能性があると指摘しています。
このような状況下で、Cloudflareの「Pay per Crawl」は、AI企業と出版者の双方にとって新たなビジネスチャンスを提供する可能性を秘めていますが、しかし、パブリッシャーにとって有利な条件が保証されているわけではなく、AI企業が現在コンテンツを無料で収集していることを考えると、参加を説得するのは困難かもしれません。
それでも、Cloudflare はこのようなマーケットプレイスを実現できる立場にある数少ない企業の 1 つであるようです。
Introducing pay per crawl: enabling content owners to charge AI crawlers for access
https://blog.cloudflare.com/introducing-pay-per-crawl/
