本文へ移動
  • BTC $61,882 −3.3%
  • ETH $1,752 −3.3%
  • SOL $71.35 −5.0%
  • BNB $570.13 −3.9%
  • XRP $0.9488 −4.4%
  • DOGE $0.0567 −5.0%
  • ADA $0.1467 −5.6%

CloudflareがAIクローラーをブロック: オンラインコンテンツ保護における革命

Cloudflareから画期的な展開が到来しました。インターネットの巨人は、オンラインコンテンツを守るために主要なAIクローラーをブロックします。

この記事は人工知能(AI)システムを用いて作成され、Amelia Tomasicchio の編集責任のもとで公開されています。 編集方針

cloudflare ai bot crawler

Cloudflareから画期的な転機が訪れました。インターネットインフラの巨人が主要なAIクローラーをブロックし、オンラインコンテンツを守ります。この決定は、クリエイター、テクノロジー企業、消費者の間のバランスを再定義し、ウェブ上のデータの管理と保護を革命的に変えることを約束します。

AIクローラーとの戦い: Cloudflareの決定

Cloudflareは、7月1日から、許可なくウェブサイトからデータを収集する主要な人工知能企業に対する攻勢を開始しました。同社の発表によれば、AIクローラーは、Cloudflareを採用するすべての新しいサイトでデフォルトでブロックされ、所有者が明示的な許可を与えない限り許可されません。過去には、サイトの管理者が自分のデータ収集からAIボットを積極的に除外する必要がありました。

この論理の逆転は、Cloudflareの顧客によってカバーされているウェブの20%以上を保護し、OpenAIのGPTBotやAnthropicのClaudeBotのようなAIの大手名のボットからの自動化された要求の異常な流れによって引き起こされる遅延やサービス障害の増加する報告に対応しています。

AIクローラーの影響: 現象の数値

AIクロールボットによって生成されるトラフィックの量は、印象的なレベルに達しています。例えば、GoogleBotは、クラウドホスティングサービスのVercelがこれらのソフトウェアから月に45億以上のリクエストを受け取っていることを検出しました。通常の検索エンジンクローラーとは異なり、AIボットはサーバーに対して攻撃的な扱いをし、数時間のうちに同じページを何度も訪れたり、1秒間に数百のリクエストでサイトを爆撃したりします。

結果は? サイトが遅くなる、実際のユーザーにとってアクセスが困難になる、そして規則も報酬もないままにコンテンツが「抽出」されているという広範な感覚です。The Associated PressからCondé Nast、Ziff Davisに至るまで、多くの出版社や企業が、AIを利用したビッグテックによる無許可の大量収集を非難しています。

コンテンツを守るための新しいルールと技術

Cloudflareの動きは表面的な禁止にとどまりません。同社は、いわゆる「シャドウスクレーパー」、つまり従来のブロックを回避しようとする偽装されたボットを見つけるために、機械学習と行動分析の利用を発表しました。この方法により、宣言されたクローラーだけでなく、より洗練されたスクレイピングの試みも検出されます。

さらに、AIのベンダーは、アルゴリズムのトレーニングや単純な検索機能のための使用目的を明確に示し、データにアクセスする前に許可を求める必要があります。Cloudflareはこのようにして、パブリッシャーに自分の情報とやり取りできる相手を決定する能力を返します。

主要な出版社グループの抗議は、この新しい政策の誕生を促しました。従来のrobots.txtのような現在の除外システムは、AIボットによって無視されることが多く、デジタル知的財産の尊重に関する規範に従わずにウェブを「採掘」する傾向があります。

Pay Per Crawl: コンテンツのための新しい経済モデルへ

Cloudflareによる革命は、もう一つの新しい要素を導入します: プログラムPay Per Crawl。このシステムは、現在プライベートベータ段階にあり、出版社がAIトレーニング目的で彼らのコンテンツを使用したい人々に対してアクセス料金を設定することを可能にします。アクセスは支払いがあった場合にのみ許可され、そうでない場合は拒否されます。

技術的な観点から、Cloudflareは有効化されていないクローラーに返されるコードHTTP 402 “Payment Required”を使用します。既存のウェブシステムとの互換性のおかげで、実装の準備が整っている潜在的に効果的なソリューションです。

AIの世界からの反応と規制の課題

Cloudflareの決定は、これまでライセンスや報酬の支払いに消極的だったAI企業に直接影響を与えます。Nicholas Thompson、The AtlanticのCEOは、これまで企業が罰せられることなく行動できたが、今後は交渉し、コンテンツの所有権を認めなければならないと強調しました。一方で、MetaのNick Cleggのような技術界の一部のリーダーは、厳しい制約の導入がAI分野の成長とイノベーションを危険にさらす可能性があると警告しています。

ディベートは規制の面にも広がっています。Copyright Officeの報告書は、ある種の生成技術の使用が「変革的」であると認めました。しかし、同意なしの大規模な収集はフェアユースと見なすことはできません。この立場は、トランプ政権による知的財産局の責任者の即時交代を含む、重大な制度的影響をもたらしました。

オンラインコンテンツ保護の未来

Cloudflareのイニシアチブは、オンラインコンテンツを作成する人と利用する人の間のバランスを再構築します。データへのアクセスをブロックし、収益化する能力は、パブリッシャーに自分の作品がどこでどのように使用されるかについての実際の力を提供します。その結果、多くのAI企業はデータ取得の戦略とプロセスを再編成し、出版業界との透明性と協力をより一層推進する必要があります。

デジタルエコシステムがこのパラダイムシフトに適応する中で、他の大手インフラストラクチャー企業もCloudflareの例に倣う可能性があります。これにより、価値を生み出す者が奨励され保護されるデジタル権利の新しい時代が始まる可能性があります。Pay Per Crawlモデルの採用のタイミングと方法、そしてそれが人工知能の発展に与える影響についての疑問は依然として残っています。

絶えず変化する状況の中で、AI対策戦略の進化を監視し、議論に積極的に参加することは、関係するすべての現実にとって重要です。無許可のボットに対する戦いは、webを集団的かつ持続可能な資産として評価するための新しいシーズンの始まりに過ぎないかもしれません。

Satoshi Voice

この記事は人工知能の支援を受けて作成され、正確さと品質を保証するために我々の記者チームによってレビューされた。

Satoshi Voiceの記事一覧