英国の競争市場庁（CMA）は、Googleの「戦略的市場地位（SMS）」に関する重要な協議を開始した。この調査は、検索の巨人がその支配力をどのように利用して生成AIサービスを強化しているかに焦点を当てている。議論の中心にあるのは「Googlebot」だ。これは従来の検索エンジンに情報を登録するインデックス作成と、リアルタイムのAI回答機能である「AI Overviews」の両方に使われるデータを収集する、二役を担うクローラーである。

デジタルパブリッシングにおいて、検索トラフィックは運営の生命線である。そのため、サイト所有者は検索順位を維持するために、事実上Googleによるコンテンツのスクレイピング（情報の自動収集）を許可せざるを得ない状況にある。実際にCloudflareが公開したデータによると、GooglebotがアクセスするユニークURLの数は、ClaudeBotやGPTBotといった競合を圧倒しており、その差は最大で1,800倍にも及ぶ。こうした「全か無か」の構図が、出版者がデータの価値を適切に交渉できない不公平な市場を生んでいる。

この問題を解決するため、Cloudflareはクローラーの強制的な分離を提唱している。これはGoogleに対し、クローリング活動を検索用とAI用の別々のボットに分けるよう義務付けるというものだ。これにより、出版者は検索結果への露出を維持しつつ、AIの学習や推論（Inference）へのコンテンツ利用のみを拒否することが可能になる。この施策が実現すれば、クリエイターはWeb上での視認性を犠牲にすることなく、自身の知的財産に対するコントロールを取り戻せるようになるだろう。

英国の競争市場庁（CMA）は、Googleの「戦略的市場地位（SMS）」に関する重要な協議を開始した。この調査は、検索の巨人がその支配力をどのように利用して生成AIサービスを強化しているかに焦点を当てている。議論の中心にあるのは「Googlebot」だ。これは従来の検索エンジンに情報を登録するインデックス作成と、リアルタイムのAI回答機能である「AI Overviews」の両方に使われるデータを収集する、二役を担うクローラーである。

デジタルパブリッシングにおいて、検索トラフィックは運営の生命線である。そのため、サイト所有者は検索順位を維持するために、事実上Googleによるコンテンツのスクレイピング（情報の自動収集）を許可せざるを得ない状況にある。実際にCloudflareが公開したデータによると、GooglebotがアクセスするユニークURLの数は、ClaudeBotやGPTBotといった競合を圧倒しており、その差は最大で1,800倍にも及ぶ。こうした「全か無か」の構図が、出版者がデータの価値を適切に交渉できない不公平な市場を生んでいる。

この問題を解決するため、Cloudflareはクローラーの強制的な分離を提唱している。これはGoogleに対し、クローリング活動を検索用とAI用の別々のボットに分けるよう義務付けるというものだ。これにより、出版者は検索結果への露出を維持しつつ、AIの学習や推論（Inference）へのコンテンツ利用のみを拒否することが可能になる。この施策が実現すれば、クリエイターはWeb上での視認性を犠牲にすることなく、自身の知的財産に対するコントロールを取り戻せるようになるだろう。