AIツール2026年10月更新

Cloudflare Pay Per Use(旧Pay Per Crawl)とは?9月15日デフォルトブロックの実際とAI無断学習規制を完全解説【2026年10月最新】

公開日: 2026/07/04
更新日: 2026/10/29
Cloudflare Pay Per Use(旧Pay Per Crawl)とは?9月15日デフォルトブロックの実際とAI無断学習規制を完全解説【2026年10月最新】

この記事のポイント

Cloudflare Pay Per Use(旧Pay Per Crawl)は、AI企業が「何に使うか」と価格を示してオファーし、サイト運営者が承諾すると利用ごとに対価を受け取れる仕組みで、2026年9月30日にベータが始まりました。9月15日に実装された「Disallow AI Training」でGooglebotを止めずに学習だけ拒否する方法、新規・既存ドメインの初期設定、Pay Per Crawl・Monetization Gatewayとの違いまで整理します。

Cloudflare Pay Per Use(ペイ・パー・ユース)は、AI企業がコンテンツの「用途」と「価格」を示してオファーし、サイト運営者が承諾すると、AIが実際に使った分だけ対価が支払われる仕組みです。2026年9月30日にベータが始まり、その前の9月15日には、Googlebotなどの検索は止めずに「AIの学習だけ」を拒否できる新設定「Disallow AI Training」が全プランで使えるようになりました。

2026年7月1日の発表時点では「9月15日から学習・エージェント用のAIクローラーをデフォルトでブロックし、学習を止めるとGooglebotまで止まる」と説明されていました。しかし9月に実際に出た仕様は、この予告とかなり違います。7月時点の情報のままの解説記事も多いため、注意が必要です。

この記事でわかること

  • Pay Per Use(旧Pay Per Crawl)の仕組みと、2026年9月30日に始まったベータの中身
  • 7月の予告と9月15日の実装の違い(Googlebotは止まるのか)
  • 学習(Training)の4つの設定と、それぞれが検索に与える影響
  • 新規ドメインの初期設定と、既存ドメインの自動移行の内容
  • Pay Per Crawl・Pay Per Use・Monetization Gatewayの違いと料金(最低$0.001/クロール)
  • 自社サイトで今やること、サイトの種類別のおすすめ設定

想定している読者は、Cloudflareでメディア・ブログ・EC・企業サイトを運営している方、SEO/コンテンツ担当者、AIの無断学習や著作権の動きを追っている経営者・法務担当者です。

Cloudflare Pay Per Useとは

Cloudflareが発表したContent Independence Day(コンテンツ独立記念日)の告知イメージ

出典: Cloudflare公式ブログ「Content Independence Day: no AI crawl without compensation」

Pay Per Use は、「AIがページを取得した回数」ではなく「取得したコンテンツをAIがその後どう使ったか」に対して支払いが発生する、Cloudflareのコンテンツ収益化の仕組みです。 公式ブログは、Pay Per Crawl を「アクセスに課金する(charges for access)」もの、Pay Per Use を「その後に起きたことに支払う(pays for what happens next)」ものと説明しています(Cloudflare公式ブログ 2026年9月30日)。

項目

内容(2026年10月時点)

正式名称

Cloudflare Pay Per Use(Pay Per Crawl を発展させた仕組み)

提供元

Cloudflare, Inc.

発表

2026年7月1日「Content Independence Day」

提供状況

2026年9月30日にベータ開始("Pay Per Use is now in beta.")

価格を決める人

AI企業(買い手)が用途ごとに提示。運営者は承諾か辞退を選ぶ

精算

Cloudflare が買い手に請求し、運営者へ月次で支払う

運営者側の作業

ダッシュボードの「Monetize → Pay Per Use」でオファーを確認・承諾。オリジン(自社サーバー)の改修は不要

7月発表時の初期パートナー

You.com、Ceramic.ai(9月30日の公式ブログには社名の記載なし)

関連する大きな変更

2026年9月15日に学習だけを拒否できる「Disallow AI Training」と新しい初期設定を導入

具体的な単価・手数料

公式には非公開

Cloudflareが問題にしているのは、クロールの回数と実際の価値が比例していない点です。7月の公式ブログはこう書いています。

A single page might be crawled once and then cited in thousands of answers, or crawled over and over and never used at all.

(1ページが1回だけクロールされて数千の回答で引用されることもあれば、何度もクロールされたのに一度も使われないこともある)

「クロール=価値」とは言えないので、価値が生まれたタイミングで支払う形に寄せよう、というのが Pay Per Use の考え方です。

7月の発表から何が変わったかを時系列で確認

大きく変わったのは「学習を止めるとGooglebotまで止まる」という前提です。9月15日の実装では、検索用のクローラーを残したまま学習だけを拒否する設定が追加されました。 時系列で整理すると次のとおりです。

日付

出来事

出典

2025年7月1日

初回の Content Independence Day。Pay Per Crawl をプライベートベータで開始(HTTP 402 を利用)

Cloudflare公式ブログ

2026年6月16日

Pay Per Crawl に、URIパターン単位で課金を外す設定と動的価格を追加

AI Crawl Control changelog

2026年7月1日

2回目の Content Independence Day。Pay Per Use、検索/エージェント/学習の3分類、9月15日の初期設定変更を予告

プレスリリース

2026年9月15日

「Disallow AI Training」、Bot Preference Sync、「Accountable」区分、新規ドメインの初期設定を実装。旧「Block AI Bots」「Managed Robots.txt」は廃止予定に

Cloudflare公式ブログ

2026年9月30日

Pay Per Use のベータ開始。Monetization Gateway のクローズドベータ開始

Birthday Week 2026 まとめ

7月の予告と9月の実装の主な違いは次の3点です。

論点

7月の予告

9月15日の実装

学習の止め方

学習用ボットをブロック

「Disallow AI Training」が登場。robots.txt で学習拒否を表明し、学習専用クローラーをブロック

Googlebot等への影響

検索と学習を兼ねるボットは、学習を止めると検索も止まり得る

Disallow AI Training なら Googlebot・Applebot・Bingbot は検索用として許可されたまま

既存ドメイン

設定を変えていない既存のFree顧客にも適用と案内

旧設定から自動移行。公式は「ほぼすべての場合、何もしなくてよい」と説明

海外メディアのPPC Landは、この変更を「Googlebotを止める計画の撤回」と整理しています(PPC Land)。日本語では Impress Watch が9月18日に報じています(Impress Watch)。

Pay Per Useが登場した背景

Pay Per CrawlでコンテンツオーナーがAIクローラーに課金できることを示すCloudflareの告知イメージ

出典: Cloudflare公式ブログ「Introducing pay per crawl」

背景には、Webのトラフィックの半分以上がすでに人間以外になっていることと、AI企業がコンテンツを対価なしに学習・利用してきたことへの反発があります。

Cloudflareが2026年7月に出したレポートでは、次のような数字が示されています(Cloudflare公式ブログ)。

  • インターネットのトラフィックの半分超が人間以外
  • クローラーのリクエストのうち学習目的の割合は、2025年春の22%から2026年6月には52%へ増加
  • 検索と学習を兼ねる「混在型」クローラーが、クローラーの活動の36%超を占める
  • 2023年以降、出版社とAI企業の間で結ばれたコンテンツ契約は50件超

7月のプレスリリースでは、AIクローラーのクロールの50%超が、内容の変わっていないページの再取得だったとも説明されています。サイト側はサーバー負荷だけを負い、生成AIの回答が増えるほど読者は元のサイトを訪れなくなります。広告や購読につながる参照トラフィックが減り、そのことがメディア・出版社の収益を圧迫してきました。

CEOのMatthew Prince氏はこう述べています。

Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge.

(インターネットのトラフィックの大半が人間以外になった今、持続可能なエコシステムを生むために、より踏み込んで、より速く動かなければならない)

Cloudflareは、こうした流れの中で、2025年7月にプライベートベータで始まった Pay Per Crawl を2026年に Pay Per Use へ発展させました。学習データの扱いを含めた生成AIの全体像は「生成AIとは」で、メディア業界での受け止め方は「メディア・出版業のAI活用事例」で整理しています。

AIボットの3分類(検索・エージェント・学習)

Cloudflareは、AIボットを「検索(Search)」「エージェント(Agent)」「学習(Training)」の3つに分け、それぞれ別々に許可・拒否を設定できるようにしました。 Search/Training/Agent の個別設定は、Freeプランを含む全プランで使えます(Cloudflare公式ブログ 2026年9月15日)。

分類

英語

何をするか

運営者にとっての見返り

選べる設定

検索

Search

後で質問に答えるためにコンテンツを集めて索引化する

参照トラフィックが期待できる

Allow/Block など

エージェント

Agent

人の代わりにリアルタイムで動く(チャットからのページ取得、ブラウザ操作など)

直接の見返りは小さい

Allow/Block on pages with ads/Block

学習

Training

モデルの学習・微調整のために取得し、恒久的に取り込む

対価なしに資産が取り込まれる

Allow/Disallow AI Training/Block on pages with ads/Block

公式はエージェントについて「多くの場合、向こう側で人が待っている(often there's a human waiting on the other end)」と説明しています。エージェントには、エージェント向けの確立したrobots.txtの書き方がまだないため、「Disallow」にあたる設定がありません。公式は、ai-prefs などの標準化を待って検討するとしています。

ChatGPTのページ取得や、利用者の代わりにブラウザを操作するAIは「エージェント」に入ります。エージェントがWebを使う仕組みは「AIエージェントとは」、AI専用ブラウザの例は「Cloudflare Kitesurfとは」、自社サイトがエージェントからどう読まれるかの指標は「Cloudflare Agent Readiness Scoreとは」で解説しています。

自社でAIエージェントを作り、外部のWebページを読ませる業務を組む企業は、取得先のサイトでエージェントがブロックされたり、HTTP 402で支払いを求められたりする場面を想定しておく必要があります。試すだけでなく、自社の業務で承認・停止・再実行まで含めて動かすときに何を作り足すかは「AIエージェントの本番導入で追加する開発範囲」にまとめています。

2026年9月15日デフォルトブロックの中身

検索に表示されたままAIの学習だけを拒否できる設定を紹介するCloudflare公式ブログのイメージ

出典: Cloudflare公式ブログ「Have it both ways: stay discoverable in search while disallowing AI training」

9月15日に入ったのは、「学習だけを拒否する」新しい選択肢と、サイトの稼ぎ方に応じた初期設定です。広告で稼ぐ新規ドメインでは、学習は「Disallow AI Training」、エージェントは「広告ページでブロック」、検索は「許可」が初期値になりました。

学習(Training)の4つの設定と検索への影響

同じ「学習を止める」でも、選ぶ設定によってGoogle検索に残るかどうかが変わるため、次の表がいちばん大事です。

学習の設定

何が起きるか

Googlebot・Applebot・Bingbot

Allow

すべて許可(他の設定やWAFで止めていない限り)

許可

Disallow AI Training

Bot Preference Sync が robots.txt に学習拒否を書き込む。検索と学習を兼ねる「Accountable」なクローラーは検索用として許可し、それ以外の学習用クローラー(Amazon・Anthropic・Meta・OpenAIの学習専用クローラーなど)はブロック

許可(検索に残る)

Block on pages with ads

広告を出していると判定されたページだけ、兼用型も含めてブロック。robots.txtでは表現できないため Disallow 版はない

広告ページでは止まる

Block

兼用型を含めてすべてブロック

止まる(検索からも消える)

公式ブログは Block について「Applebot、Bingbot、Googlebot がサイトに来なくなる。検索も含めて(search included)」とはっきり書いています。学習だけを止めたいなら「Disallow AI Training」を選び、「Block」は選ばないのが基本です。PPC Landは、Bingbotを止めるとYahoo!やCopilotからも外れると指摘しています。

新規ドメインの初期設定

9月15日以降に追加したドメインには、収益の得方に応じて次の初期設定がすすめられます(Cloudflare公式ブログ)。

項目

広告で稼がないサイト

広告で稼ぐサイト

Bot Preference Sync

有効

有効

検索(Search)

Allow

Allow

学習(Training)

Allow

Disallow AI Training

エージェント(Agent)

Allow

Block on pages with ads

「広告を出しているページ」をどう判定するのかは、公式に詳しい説明がありません("pages detected as serving an ad" という表現のみ)。

既存ドメインの自動移行

9月15日より前からCloudflareを使っているドメインは、それまでの設定に応じて自動で移行されました。

9月15日より前の設定

9月15日以降

旧「Block AI bots」が無効

検索/学習/エージェント = Allow/Allow/Allow

旧「Block AI bots」が Block または Block on pages with ads

Allow/Disallow AI Training/Block on pages with ads

個別設定で学習を Block または Block on pages with ads にしていた

学習は Disallow AI Training に移行。検索とエージェントはそのまま

公式は既存顧客に必要な対応を「ほぼすべての場合、何もない(Nothing, in almost every case)」としています。7月のプレスリリースには「設定を変えていない既存のFree顧客にも適用」とありましたが、9月15日の公式ブログはこの移行表で説明しており、Freeプランだけを別扱いする記述はありません。

Disallow AI Training はドメイン全体に適用される点に注意が必要です。以前「広告ページだけ学習を止める」設定にしていたサイトは、移行後は学習専用クローラーをドメイン全体で止める形に変わっています。意図と違う場合は、ダッシュボードで設定し直してください。

旧「Block AI Bots」「Managed Robots.txt」は廃止予定

9月15日に、旧来の「Block AI Bots」と「Managed Robots.txt」は廃止予定(deprecated)になりました。代わりに、検索・学習・エージェントの個別設定と、robots.txt に意思表示を書き込む Bot Preference Sync を使います。なお、開発者向けドキュメント(Manage AI crawlers、2026年7月28日更新)には、10月時点で9月の変更がまだ反映されていません。この記事では、新しい情報である9月15日・9月30日の公式ブログを優先しています。実際の画面はダッシュボードで確認してください。

Googlebot・Applebot・Bingbotはどう扱われるのか

Google・Apple・Microsoftの3社は「Accountable(説明責任のある)」クローラーと位置づけられ、Disallow AI Training を選んでも検索用としては許可されます。 Cloudflareは「Apple、Google、Microsoftはこれを尊重すると約束した」としています。

Accountable と認められる条件は、次の4つを満たしているか、満たすと約束していることです。

  1. robots.txt などでAIの学習を拒否できる
  2. AIによる要約への表示を拒否できる(各社の画面で直接。Cloudflare経由での一括設定は2027年初めが目標)
  3. どのURLが学習に使われうるかをURL単位で確認でき、検索での表示状況の指標もある
  4. 学習を拒否しても通常の検索結果に影響しないと保証する

会社

学習を拒否する方法

9月15日時点の状況

Google

robots.txt の Google-Extended

生成AI検索から外す設定はウェブマスター向け画面にある。URL単位の確認ツールは「数週間以内」に提供予定とされていた

Apple

robots.txt の Applebot-Extended

AI要約は nosnippet で制御。URL単位のツールは来年予定

Microsoft

現状は NOARCHIVE メタタグ

robots.txt でのドメイン単位の学習拒否は2027年初めが目標

ここから、2つの注意点が出てきます。

  • Bingには2027年初めまで robots.txt 経由の学習拒否が届かない。 Disallow AI Training を選んでも、それまではBingに対しては NOARCHIVE メタタグを使う必要があります。
  • AI Overviews(AIによる概要)への表示は Disallow AI Training では止まらない。 Search Engine Journal によると、Google-Extended はGeminiの学習を制御するもので、AI Overviews や AI Mode への表示は Search Console 側の別の設定です(Search Engine Journal)。Google-Extended は検索の掲載や順位には影響しないとされています。

AI Overviews の動きは「Google AI Overviews 専門家アドバイス機能とは」、GoogleのAI検索とオプトアウトをめぐる議論は「GoogleのAI検索強制とDuckDuckGo急増まとめ」でも扱っています。

Pay Per Useベータの仕組みと参加の流れ

AIがコンテンツを使ったときに対価を支払うPay Per Useを紹介するCloudflare公式ブログのイメージ

出典: Cloudflare公式ブログ「Pay Per Use: When AI uses your work, you should get paid」

Pay Per Use では、価格を決めるのはAI企業です。運営者はダッシュボードに届いたオファーを見て、承諾するかどうかを選びます。 9月30日の公式ブログに書かれた流れは次のとおりです(Cloudflare公式ブログ)。

  1. AI企業(買い手)が、コンテンツの用途と価格を決めてオファーを出す
  2. 運営者はダッシュボードの「Monetize → Pay Per Use」で、オファー(会社名・用途・価格)を確認して承諾する。あとから参加をやめることもできる
  3. 運営者側でオリジンを改修したり、AI企業ごとに技術的な連携をしたりする必要はない("There is no origin change or technical integration with each AI company.")
  4. 買い手は承諾済みのドメイン一覧を取得し、コンテンツを使うたびに、時刻・URL・イベントIDを JSON Lines 形式で報告する
  5. Cloudflareが集計して買い手に請求し、運営者へ月次で支払う。推定収益や利用回数は、買い手別・ドメイン別にダッシュボードで見られる

今後は、利用ごとに検索語・トピック・商品などの文脈も共有する予定です(個人データは含めないとしています)。

一方で、ベータ段階ならではの制約もあります。

  • 利用の報告は買い手の自己申告。 規約で完全な報告を義務づけていますが、仕組みとしては申告ベースです("Usage is self-reported")
  • 運営者は価格を決められない。 承諾か辞退かを選ぶだけです
  • 単価、Cloudflareの手数料、参加している買い手の一覧は公開されていない
  • 参加の条件(全プランか申請制か、日本から参加できるか)は明記されていない。 公式は買い手や参加運営者と直接やり取りしながら進めるとしており、現時点では限られた範囲で始まっていると見られます

You.com・Ceramic.aiとの連携(7月発表時点)

Pay Per Useの初期パートナーとして発表されたYou.comの公式イメージ

出典: You.com 公式サイト

7月1日の発表では、You.com と Ceramic.ai が初期パートナーとして名前を挙げられ、それぞれ次のような形が紹介されていました。

パートナー

7月発表時のモデル

内容

Ceramic.ai

pay-per-query

コンテンツがCeramicのAI検索結果に表示されるたびに支払う。どの検索語で使われたか、使われたページ、平均掲載順位などのレポートも提供

You.com

オンデマンド購入

エージェントが必要なコンテンツを、事前契約なしにその都度買う

ただし、9月30日の Pay Per Use の公式ブログには両社の名前が出てきません。Ceramic.ai は、同じ日に始まった Monetization Gateway の「固定料金」の例として登場しています。両社が今も Pay Per Use のパートナーなのかは公式に確認できないため、この2社の連携内容は「7月時点の発表」として受け止めてください。AI検索の回答のなかで引用されることの価値は「AI検索エンジン比較おすすめ」でも解説しています。

このツールを自社のシステムや業務にどう組み込むか、ご提案します

初回相談は無料・30分(オンライン)。要件が決まっていなくても大丈夫です。改修100万円〜・PoC300万円〜(税別)

Pay Per Crawl と Pay Per Use の違い

HTTP 402でAIエージェントに課金するMonetization Gatewayのベータを紹介するCloudflare公式ブログのイメージ

出典: Cloudflare公式ブログ「Monetization Gateway beta: Charge AI agents for consumption with HTTP 402」

違いは課金のタイミングと、価格を決める側です。Pay Per Crawl は「取得するたびに」運営者が決めた価格で、Pay Per Use は「使われたときに」AI企業が提示した価格で支払われます。 同じ日に始まった Monetization Gateway も並べて比較します。

比較項目

Pay Per Crawl

Pay Per Use

Monetization Gateway

課金のタイミング

ページの取得(HTTP 200の成功)ごと

AIが取得後にコンテンツを使ったとき

リクエストごと

価格を決める人

運営者

AI企業(買い手)がオファー

運営者(固定・オリジンが価格を返す方式・変動)

向いている資源

Webページ

一度取得して何度も使われる価値の高いコンテンツ

API・MCPツール・データセットなど、リクエストそのものが利用にあたるもの

技術的な仕組み

HTTP 402+価格ヘッダー

買い手の利用報告(JSON Lines)

HTTP 402+x402

決済

Cloudflare が Merchant of Record

Cloudflare が請求し、月次で支払い

USDC(Base)。Coinbase の x402 Facilitator を利用

提供状況(2026年10月)

クローズドベータ

ベータ

クローズドベータ(米国の適格な売り手・買い手のみ)

Pay Per Use は Pay Per Crawl を置き換えるものではなく、取得ごとの課金の上に「利用ごとの支払い」を重ねたものと考えると整理しやすいです(Monetization Gateway 公式ブログ)。

課金と決済の仕組み(HTTP 402 と3択ポリシー)

Pay Per Crawl では、運営者がAIクローラーごとに「Allow(無料で許可)」「Charge(課金して許可)」「Block(拒否)」を選びます。 課金には、これまでほとんど使われてこなかったHTTPステータスコード「402 Payment Required(支払いが必要)」を使います。

Allow / Charge / Block の3択

  • Allow(許可):これまでどおり無料でアクセスさせる
  • Charge(課金):価格を示し、支払いに同意したクローラーにだけ配信する
  • Block(ブロック):アクセスを拒否する

課金フローは2パターン

1. 先にアクセスしてから価格を知る型

課金対象のページにクローラーが来ると、サイトは HTTP 402 Payment Required と価格を返します。クローラーが crawler-exact-price ヘッダーで同意して再リクエストすると、コンテンツが配信されます。

2. 先に支払いの意思を示す型

クローラーが最初から crawler-max-price(払える上限)を付けてリクエストし、価格が上限以下なら HTTP 200 OK でそのまま配信されます。

価格設定の新機能(2026年6月〜)

2026年6月16日の更新で、価格の付け方が柔軟になりました(AI Crawl Control changelog)。

  • URIパターン単位で課金を外せる:一部のページを無料にできる
  • 動的価格:オリジンが crawler-price レスポンスヘッダーを返す、またはWorkerで価格を設定する

クローラーの種類ごとに別の価格を付けられるかどうかは、公式に明確な記載がありません。

なりすまし防止と精算

クローラーはCloudflareに登録し、リクエストに署名(Web Bot Auth)を付けてなりすましを防ぎます。支払いに関わる crawler-exact-price や crawler-max-price ヘッダーは、署名の対象に含める必要があります。取引はCloudflareが集約し、クローラー側に請求して運営者へ支払います(Merchant of Record)。

課金されないケース・制約

  • 課金されるのは取得に成功したレスポンスだけ。エラーは課金対象外
  • WAFや Bot Management のルールが先に適用される。これらで止めたクローラーは、支払う意思があってもアクセスできない
  • Cloudflareを通して配信していないサイトでは使えない

料金はいくらかかるのか

Cloudflare Pay Per Crawlの申し込みページの公式イメージ

出典: Cloudflare公式「Pay Per Crawl」申し込みページ

AIクローラーの許可・拒否の設定は、Freeプランを含めて追加料金なしで使えます。Pay Per Crawl の最低価格は1クロールあたり$0.001(0.1セント)で、Pay Per Use の単価は公開されていません。

項目

2026年10月時点の情報

出典

検索/学習/エージェントの個別設定

全プラン(Free含む)で利用可。ドメインの Security Settings で設定

公式ブログ

Pay Per Crawl の提供状況

クローズドベータ(申請フォーム。Enterprise はアカウント担当経由)

What is Pay Per Crawl

Pay Per Crawl の最低価格

$0.001 USD/クロール(1ドル=150円換算で約0.15円)

Set a pay per crawl price

Pay Per Crawl の価格の付け方

既定の価格+必要に応じて動的価格。URIパターンで課金を外せる

changelog

Pay Per Use の価格

買い手が用途ごとに提示。単価・手数料は非公開

公式ブログ

Pay Per Use の精算

月次

同上

Monetization Gateway

クローズドベータ(米国のみ)。USDCで決済

公式ブログ

ブロック時の応答内容の変更

有料プランのみ

Manage AI crawlers

7月時点の解説では最低価格を「$0.01」と紹介するものがありましたが、現行の公式ドキュメントでは $0.001 です。円換算は為替で変わるので、目安としてお考えください。

自社サイトで許可・課金・ブロックをどう選ぶか

多くのサイトにとって、まず決めるべきは「学習を拒否するかどうか」です。拒否するなら「Disallow AI Training」、拒否しないなら「Allow」を選び、検索まで止まる「Block」は避けるのが基本です。 課金(Pay Per Crawl/Pay Per Use)はベータ段階のため、参加できるかどうかを確かめてから検討します。

設定を確認する手順

  1. Cloudflareダッシュボードで対象ドメインを開き、Security Settings の検索/学習/エージェントの設定を確認する
  2. 学習が「Block」になっていないか確かめる(Googlebot等まで止まり、検索から消える)
  3. 自分のサイトの /robots.txt を実際にブラウザで開き、Bot Preference Sync による学習拒否の記述が意図どおり入っているか確認する(自分で書いた robots.txt と並ぶ形になるため、配信後の中身を見るのが確実です)
  4. Bingにも学習拒否を伝えたい場合は、2027年初めまでは NOARCHIVE メタタグを検討する
  5. AI Overviews への表示を避けたい場合は、Search Console 側の設定を確認する(Cloudflare側の設定では止まらない)
  6. 課金に関心があれば、Pay Per Crawl の申請フォームや「Monetize → Pay Per Use」の画面を確認する

サイトの種類別のおすすめ設定

サイトの種類

学習

エージェント

課金の検討

理由

ニュース・専門メディア(独自取材・分析)

Disallow AI Training

Block on pages with ads

Pay Per Use・Pay Per Crawl に積極的に

資産価値が高く、無断学習の損失が大きい。検索流入は残したい

大規模ナレッジ・Q&A

Disallow AI Training

状況に応じて

Pay Per Use

何度も使われるコンテンツで、利用ごとの支払いと相性がよい

企業サイト・製品情報

Allow

Allow

基本は不要

AIに正しく引用されるほど認知や指名検索に有利

EC

Allow〜Disallow AI Training

Allow を基本に検討

不要

購入を手伝うエージェントを止めると売上機会を失う可能性がある

個人ブログ・アフィリエイト

好みで Allow か Disallow AI Training

広告収益が中心なら Block on pages with ads

まずは不要

検索流入を最優先。Block は選ばない

会員制・有料コンテンツ

Disallow AI Training または Block

Block

Pay Per Crawl

もともと無料で公開していない資産を守る

「学習は止めたいが、AIに引用されて認知を広げたい」という場合は、学習を Disallow AI Training、検索を Allow にしておくと両立しやすくなります。AIに関わる情報管理全般は「生成AIのセキュリティリスクとは」も参考にしてください。

こんなサイトにおすすめ / おすすめしない

独自性の高いコンテンツを持ち、AIに無断で使われたときの損失が大きいサイトほど、Disallow AI Training や Pay Per Use の恩恵を受けやすくなります。

導入・活用をおすすめするサイト

  • 独自取材・独自分析・専門データを持つニュースメディアや専門メディア
  • Q&Aやナレッジを大量に蓄積したコミュニティ・データベース型のサイト
  • 有料・会員制コンテンツを提供し、無断学習をはっきり拒否したい事業者
  • 検索流入は保ったまま、AIの学習だけを拒否したいサイト
  • AI企業からの利用料という新しい収益源を試したいパブリッシャー

おすすめしない(慎重に考えたい)サイト

  • AIに引用されること自体を認知拡大の機会と考えている企業サイト・製品サイト
  • コンテンツ量が少なく、課金の対象としての価値がまだ小さい個人ブログ
  • Cloudflareを使っておらず、当面インフラを移す予定もないサイト
  • すぐに確実な収益を見込みたいサイト(Pay Per Use はベータで、単価も参加条件も非公開)
  • 日本国内だけで決済・契約を完結させたい事業者(Monetization Gateway は米国限定、Pay Per Use の地域条件は未公表)

AI無断学習規制の転換点としての位置づけ

9月15日の変更と Pay Per Use は、「robots.txtでお願いするだけ」だった学習拒否を、ネットワーク側での制御と対価の受け取りへ近づける動きです。 ただし9月の実装では、Googlebotを止めるような強い手段は取らず、検索大手3社の協力を得る形に落ち着きました。

robots.txt には強制力がありません。PPC Landは TollBit の調査を引き、欧州ではAIのページ取得ボットの15%が、拒否されたURLにもアクセスしていたと伝えています。PPC Landによると、Cloudflare自身も robots.txt の指示だけでは解決できないとして、ルールを守らないクローラーはネットワーク側で見分けてブロックし、Cloudflare Radarで公表するとしています。Cloudflareは世界のWebサイトの約20%で使われており(Press Gazette)、この立場があるからこそ実際に止められる、という点が従来のやり方との大きな違いです。

公式の数字では、検索クローラーをブロックしているサイトは1%未満なのに対し、何らかの方法で学習をブロックしているサイトは17%あります。「検索には出たいが、学習には使われたくない」というサイトの希望に合わせた設計といえます。Press Gazette によると、Cloudflare の Stephanie Cohen 氏は「希少性をつくることで、有利な契約を結べる」と話しています。

AIの学習と著作権をめぐっては、訴訟や和解も続いています。代表的な例は「Anthropic著作権訴訟で15億ドル和解」で解説しています。Pay Per Use は、こうした法的な議論とは別に、技術と取引の面から出てきた一つの答えです。

一方で、Pay Per Use の単価や参加条件が非公開であること、利用報告が自己申告であること、Bingや AI Overviews には別の対応が必要なことなど、まだ不確定な部分も残っています。過度に期待も心配もせず、まずは自社サイトの設定を確認するところから始めるのが現実的です。

よくある質問(FAQ)

Q. 9月15日に、自分のサイトのGoogle検索の順位が下がる心配はありますか?

自動移行では、学習は Allow か Disallow AI Training になり、Googlebot は検索用として許可されたままです。ただし、自分で学習を「Block」に変えた場合はGooglebotも止まるため、検索から消えるおそれがあります。

Q. AI Overviews に自分のサイトが出ないようにできますか?

Cloudflareの Disallow AI Training では止まりません。AI Overviews や AI Mode への表示は、Google の Search Console 側の設定で扱います。Cloudflare経由でAI要約を一括で拒否できるようにする計画は、2027年初めが目標とされています。

Q. 自分で書いた robots.txt があっても使えますか?

使えます。Bot Preference Sync は robots.txt に学習拒否の記述を書き込む仕組みです。自前の記述との並び方を確かめるため、設定後に /robots.txt を開いて中身を確認しておくと安心です。

Q. Pay Per Use で、自分で価格を決めることはできますか?

できません。価格はAI企業(買い手)が用途ごとに提示し、運営者は承諾か辞退を選びます。自分で価格を決めたい場合は、運営者が価格を設定する Pay Per Crawl が対象になります(クローズドベータ)。

Q. 日本のサイトでも Pay Per Use に参加できますか?

2026年10月時点で、Pay Per Use の地域条件は公表されていません。Monetization Gateway は米国の適格な売り手・買い手に限ると明記されています。参加を考える場合は、ダッシュボードの「Monetize」メニューや Cloudflare の窓口で確認してください。

Q. 旧来の「Block AI bots」を有効にしたままでも大丈夫ですか?

9月15日に、検索/学習/エージェントの個別設定へ自動で移行されています。「Block AI bots」は廃止予定のため、今後は新しい個別設定で管理するのが確実です。

まとめ

Cloudflare Pay Per Use(旧Pay Per Crawl)は、AIが実際にコンテンツを使った分だけ運営者に支払われる仕組みで、2026年9月30日にベータが始まりました。その前の9月15日には、検索を止めずに学習だけを拒否できる設定が全プランに入り、7月の予告より穏やかな形で実装されています。

  • Pay Per Crawl は「取得ごと」に運営者が決めた価格で、Pay Per Use は「利用ごと」にAI企業が提示した価格で支払われる
  • 9月15日から、学習の「Disallow AI Training」なら Googlebot・Applebot・Bingbot を止めずに学習だけ拒否できる
  • 学習を「Block」にすると、検索からも消える
  • 広告で稼ぐ新規ドメインの初期値は、学習=Disallow AI Training、エージェント=広告ページでブロック、検索=許可
  • 既存ドメインは自動移行で、ほとんどの場合は対応不要
  • Bing(2027年初めまで)と AI Overviews には、Cloudflareの設定とは別の対応が必要
  • Pay Per Crawl の最低価格は $0.001/クロール。Pay Per Use の単価・手数料・参加条件は非公開

まずはダッシュボードで学習の設定が「Block」になっていないかを確認し、自社のコンテンツの価値に合わせて「許可・学習拒否・課金」のどれを選ぶか決めましょう。仕様はベータ段階で変わる可能性があるため、最新の条件は Cloudflare の公式ブログとダッシュボードで確認してください。

このツールを自社のシステムや業務にどう組み込むか、ご提案します

この記事の著者

AI革命

AI革命

編集部

AI革命株式会社の編集部です。最新のAI技術動向から実践的な導入事例まで、企業のデジタル変革に役立つ情報をお届けしています。豊富な経験と専門知識を活かし、読者の皆様にとって価値のあるコンテンツを制作しています。

AI・システム開発は、開始価格を公開しています

既存システムの改修 100万円〜・PoC 300万円〜(税別)。相談内容を送っていただくと、2営業日以内に担当者からご返信します