Cloudflare Pay Per Use（旧Pay Per Crawl）とは？9月15日デフォルトブロックとAI無断学習規制を完全解説

Cloudflare Pay Per Use（ペイ・パー・ユース）は、AI企業がWebサイトのコンテンツを実際に利用したときに、サイト運営者（パブリッシャー）が対価を受け取れるようにする仕組みです。 2026年7月1日の「Content Independence Day（コンテンツ独立記念日）」で、従来の Pay Per Crawl（ペイ・パー・クロール）を発展させた新方式として発表されました。あわせて、2026年9月15日から新規ドメインなどで「学習」「エージェント」用のAIクローラーをデフォルトでブロックする方針も打ち出されています。

この記事では、Pay Per Crawl から Pay Per Use への進化点、9月15日のデフォルトブロックの中身、AIボットの3分類（検索／エージェント／学習）、課金の技術的な仕組み、You.com・Ceramic.ai との連携、そしてサイト運営者が「許可・課金・ブロック」のどれを選ぶべきかまでを、2026年7月時点の最新情報で整理します。

この記事でわかること：

Pay Per Use（旧Pay Per Crawl）が何を解決する仕組みなのか
2026年9月15日から始まるデフォルトブロックの対象と適用範囲
AIボットの3分類と、それぞれの扱いの違い
HTTP 402を使った課金フローと技術仕様
You.com・Ceramic.ai 連携によるパブリッシャー収益化の中身
自社サイトで「許可／課金／ブロック」のどれを選ぶべきか
Googlebot など混在型クローラーによるSEO副作用の注意点

こんな方向けの記事です： メディア・ブログ・EC・企業サイトの運営者、SEO/コンテンツ担当者、AIと著作権・無断学習の動向を追う経営者・法務担当者。

Cloudflare Pay Per Useとは — 30秒で理解する

Cloudflareが発表したContent Independence Day（コンテンツ独立記念日）とPay Per Useの告知イメージ

出典：Cloudflare公式ブログ「Content Independence Day: no AI crawl without compensation」

Pay Per Use は、「AIがコンテンツを取得した回数」ではなく「AIが実際にそのコンテンツを使って価値を生んだとき」に課金する、Cloudflareの新しいコンテンツ収益化の仕組みです。旧来の Pay Per Crawl（クロール1回ごとに課金）を一歩進め、AI検索の回答表示や引用といった「利用」に対価を結びつけます。

項目	内容
正式名称	Cloudflare Pay Per Use（旧 Pay Per Crawl）
提供元	Cloudflare
発表	2026年7月1日「Content Independence Day」
目的	AIによるコンテンツ利用にパブリッシャーが課金・収益化できるようにする
課金の主体	Cloudflare が Merchant of Record（記録上の販売者＝決済代行の主体）
連携パートナー	You.com、Ceramic.ai（各社が独自にモデルをカスタマイズ）
関連する大きな変更	2026年9月15日から新規ドメイン等で学習・エージェントbotをデフォルトブロック
料金体系（Pay Per Use）	具体的な料金・収益分配率は現時点で未開示
ステータス	Pay Per Crawl は現在クローズドベータ（限定招待制）

Cloudflareが問題視しているのは、クロール回数と実際の価値がまったく比例していない点です。公式は次のように表現しています。

A single page might be crawled once and then cited in thousands of answers, or crawled over and over and never used at all.
（1ページが1回だけクロールされて数千の回答で引用されることもあれば、何度もクロールされたのに一度も使われないこともある）

つまり「クロール＝価値」という前提が崩れているため、価値が生まれたタイミングに課金を寄せていこう、というのが Pay Per Use の発想です。

なぜ今この仕組みが登場したのか — 背景

Pay Per Crawlがコンテンツ所有者にAIクローラーへの課金を可能にすることを示すCloudflareの告知イメージ

出典：Cloudflare公式ブログ「Introducing pay per crawl」

背景にあるのは、Webトラフィックの過半数がすでに人間ではなくボットになっているという現実と、AI企業がコンテンツを対価なしに学習・利用してきた構造への反発です。

Cloudflareによると、自動エージェントやボットは今やWebトラフィックの50%超を占めます。さらに「良質なボット」によるクロールの半分以上が、内容が変わっていないページの再取得（re-fetch）に費やされており、パブリッシャー側は無駄なサーバー負荷だけを負っている状態でした。

一方で、生成AIの回答や要約が普及するほど、利用者は元サイトを訪問しなくなり、パブリッシャーは参照トラフィック（＝広告収益や購読の入口）を失っていきます。「コンテンツは使われるが、対価もトラフィックも返ってこない」構造が、メディア・出版社の持続性を脅かしていたわけです。

CEOのMatthew Prince氏は、この状況をこう述べています。

Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge.
（インターネットのトラフィックの大半が非人間になった今、持続可能なエコシステムを生むために、より踏み込んで、より速く動かなければならない）

こうした問題意識のもと、2025年7月にプライベートベータで登場した Pay Per Crawl を、2026年7月に Pay Per Use へと格上げしたのが今回の発表です。生成AIそのものの全体像は「生成AIとは何か」なども合わせて押さえておくと、この動きの意味がより立体的に見えてきます。

AIボットの3分類 — 検索・エージェント・学習

Cloudflareは、AIボットを「検索（Search）」「エージェント（Agent）」「学習（Training）」の3つに分類し、それぞれ扱いを分けます。 この分類が、9月15日のデフォルトブロックの前提になります。

分類	英語	何をするか	運営者にとっての価値	9/15以降のデフォルト（広告表示ページ）
検索	Search	後で質問に答えられるようコンテンツを収集・インデックスする	参照トラフィックや報酬が期待できる	許可（Allow）
エージェント	Agent	ユーザーに代わり、多くはリアルタイムで「今すぐ何かを実行」する	直接の見返りが乏しい	ブロック（Block）
学習	Training	モデルの学習・微調整のためにコンテンツを取得。AIに恒久的に吸収される	対価なしに資産が取り込まれる	ブロック（Block）

ポイントは、「検索」は許可され続けるが、「学習」と「エージェント」はデフォルトでブロックされるという線引きです。検索エンジンのようにトラフィックを返してくれるボットは歓迎し、コンテンツを吸い上げるだけのボットは止める、という考え方が反映されています。

エージェント型のボットには、ChatGPT-User や Gemini・Claude などが利用者に代わって動くブラウザエージェントも含まれます。エージェントが自律的にWebを操作する動き全体については「AIエージェントとは何か」も参考になります。

2026年9月15日デフォルトブロックの中身

2026年9月15日から、Cloudflareは新規ドメインなどに対し、広告表示ページ上で「学習」と「エージェント」のAIクローラーをデフォルトでブロックする新設定を導入します。「検索」は従来どおり許可されます。

適用される対象

デフォルトブロックが自動で適用されるのは、次のケースです。

Cloudflareの新規顧客
既存顧客が新しく設定するサイト
すべての既存の無料（Free）プラン顧客

とくに無料プラン利用者は、自分で何もしなくても新しいデフォルトが適用される点に注意が必要です。多くの中小サイト・個人ブログがこれに該当します。

いつでもオプトアウトできる

Cloudflareは「顧客の選択が最優先」という姿勢を明確にしており、サイト運営者は9月15日より前に、いつでも設定を手動調整・オプトアウトできます。「変更なし（no changes）」を選べば、従来どおり学習クローラーのアクセスを維持することも可能です。

適用範囲は「広告表示ページ」

今回のデフォルトブロックは、主に広告で収益化しているページ（ad-supported / 広告表示ページ）を対象とした表現になっています。全ページ一律なのか広告ページ限定なのかの厳密な線引きは、公開直前に Cloudflare の公式ブログ（Content Independence Day のAIオプション解説）で最終確認することをおすすめします。

Pay Per Crawl と Pay Per Use の違い

大きな違いは課金のタイミングです。Pay Per Crawl は「取得（クロール）ごと」に、Pay Per Use は「実際に使われたとき」に課金します。

比較項目	Pay Per Crawl（旧）	Pay Per Use（新）
課金の基準	ページを取得（クロール／フェッチ）するたび	コンテンツがAIの回答表示・引用など実際に使われたとき
発想	アクセス量に対する課金	生み出した価値に対する課金
課金フロー	HTTP 402 を使ったクローラー単位の取引	パートナー（You.com/Ceramic等）ごとのモデル
料金の明確さ	最低 $0.01/クロールなど価格設定が可能	具体的な料金・収益分配は未開示
主な狙い	無断クロールに課金・ブロック	AI検索・回答時代の収益化とレポート活用

Pay Per Use は Pay Per Crawl を置き換えるというより、その上に「利用ベースの収益化」というレイヤーを重ねるものと捉えると理解しやすいでしょう。課金・決済の基盤（Merchant of Record）としては、引き続き Cloudflare が取引を集約・精算します。

課金と決済の仕組み — HTTP 402 と3択ポリシー

サイト運営者は、AIクローラーごとに「Allow（無料で許可）」「Charge（課金して許可）」「Block（拒否）」の3択でポリシーを設定します。 課金には、あまり使われてこなかったHTTPステータスコード「402 Payment Required（支払いが必要）」が活用されます。

Allow / Charge / Block の3択

Allow（許可）：これまで通り無料でアクセスを許す
Charge（課金）：価格を提示し、支払いに同意したクローラーにだけ配信する
Block（ブロック）：アクセスを拒否する

設定はCloudflareダッシュボードのセキュリティ画面から行い、課金価格はゾーン（ドメイン）単位で設定します。なお、このAIクローラー制御（AI Crawl Control）の設定機能自体は、無料プランを含む全顧客に開放されています。

課金フローは2パターン

1. リアクティブ型（Discovery-First）
課金対象コンテンツにクローラーがアクセスすると、サイトが HTTP 402 Payment Required を返し、crawler-price ヘッダーで価格を提示します。クローラーが crawler-exact-price ヘッダーで同意して再リクエストすると、コンテンツが配信されます。

2. プロアクティブ型（Intent-First）
クローラーが事前に crawler-max-price（支払える上限）を提示し、価格が上限以下であれば HTTP 200 OK で即配信、crawler-charged ヘッダーで取引が確定します。

なりすまし防止と精算

クローラーはCloudflareに登録し、Ed25519の公開鍵を提供します。リクエストには HTTP Message Signatures（メッセージ署名） を含め、なりすましを防ぎます。取引イベントはCloudflareが集約し、クローラー側に課金してパブリッシャーへ分配します（Merchant of Record）。

課金されないケース・制約

課金は成功レスポンス（200系）のみ。エラーレスポンスは課金対象外
/robots.txt /sitemap.xml /security.txt /.well-known/security.txt /crawlers.json は課金対象外（無料パス）
WAF・Bot Management が優先。これらでブロックされたクローラーは、支払い能力があってもアクセス不可
クローラーごとの価格差別化は不可。Charge価格はゾーン単位の単一価格のみ

料金 — いくらかかるのか

出典：Cloudflare公式「Pay per crawl signup」ページ

Pay Per Crawl の最低価格は1クロールあたり$0.01（およそ1〜2円）とされていますが、Pay Per Use の具体的な料金・収益分配率は現時点で公開されていません。

項目	現時点の情報
Pay Per Crawl 最低価格	1クロールあたり $0.01 USD（約1〜2円）とされる ※公式FAQ単体では未明記
価格設定の粒度	ゾーン（ドメイン）単位で単一価格。クローラーごとに個別価格は不可
Pay Per Use の料金	未開示（You.com・Ceramic.ai が各社モデルをカスタマイズ）
AIクローラー制御の利用	無料プランを含む全顧客に開放

$0.01/クロールという水準は複数の二次情報で確認できますが、公式FAQページ単体では明示されていないため、実際に設定する際は Cloudflare の公式ドキュメント（Set a pay per crawl price）で最終確認してください。為替により円換算は変動するため、あくまで目安です。

You.com・Ceramic.ai 連携 — 収益化の実像

出典：You.com公式サイト

Pay Per Use の「利用ベース課金」は、連携パートナーごとに異なるモデルで実装されます。現時点で公表されているのは You.com と Ceramic.ai の2社です。

パートナー	課金モデル	内容
Ceramic.ai	pay-per-query（ペイ・パー・クエリ）	コンテンツがCeramicのAI検索結果に表示されるたびにパブリッシャーへ支払う
You.com	オンデマンド購入	エージェントが必要なプレミアムコンテンツを、事前契約なしに都度購入して支払う

Ceramic連携の付加価値：回答エンジン最適化

Ceramic連携では、パブリッシャーは単に支払いを受けるだけでなく、どのクエリが流入を生んだか・実際に使われたページやスニペット・平均掲載順位などのレポートを取得できます。これは、AI検索の回答内で自社コンテンツがどう扱われているかを可視化するもので、いわゆる「回答エンジン最適化（Answer Engine Optimization）」の入口になり得ます。

AI検索が従来の検索をどう置き換えつつあるかは「AI検索エンジンのおすすめ比較」も参考になります。従来のSEOに加えて、AIの回答内での露出をどう最適化するかが、今後のコンテンツ運営の論点になっていきます。

なお「他のAI企業も自社向けにカスタマイズ可能」とされていますが、2026年7月時点で具体名が公表されているのはこの2社のみです。

SEOへの副作用 — 混在型クローラーに注意

見落とされがちですが、Googlebot・Applebot・BingBot のように「検索」と「学習」を兼ねる混在型（Multi-Purpose）クローラーの扱いには注意が必要です。

これらのボットは、その全挙動に応じて許可／ブロックが判定されます。つまり、学習をブロックする設定にした場合、検索エンジンのボットまでブロック対象になり得るのです。結果として、検索インデックスへの登録や検索露出（＝オーガニック流入）に悪影響が出るリスクがあります。

「AIの無断学習は止めたいが、Google検索の流入は失いたくない」というサイトにとって、これは重要なトレードオフです。ブロック設定を行う前に、対象クローラーが自社の検索流入にどう関わっているかを必ず確認してください。生成AI全般のセキュリティ・情報管理の観点は「生成AIのセキュリティ」もあわせて確認しておくと安心です。

自社サイトはどうすべきか — 許可・課金・ブロックの判断

判断の起点は「AIにコンテンツを使われることで、自社が得るもの（トラフィック・ブランド認知）と失うもの（対価・独自性）のどちらが大きいか」です。サイトの性質別に、おおまかな指針を整理します。

サイトの性質	推奨スタンス	理由
ニュース・専門メディア（独自取材・分析が中心）	Charge（課金）または一部Block	コンテンツ資産の価値が高く、無断学習の損失が大きい
大規模ナレッジ・Q&A（Stack Overflow型）	Charge（課金）	利用量が多く、対価化の合理性が高い
企業サイト・製品情報	Allow（許可）中心	AIに正しく引用されるほど認知・指名検索に有利
個人ブログ・アフィリエイト	Allow〜一部調整	まず検索流入を優先。無料プランは9/15の自動適用に注意
会員制・有料コンテンツ	Block または Charge	そもそも無料開放していない資産を守る

判断のステップとしては、次の順で考えると整理しやすくなります。

9月15日の自動適用対象か確認する（新規ドメイン・無料プランは要注意）
検索流入への依存度を確認する（依存が高いなら混在型クローラーのブロックは慎重に）
コンテンツの独自性・資産価値を評価する（高いほどCharge／Block寄り）
AIからの引用による認知メリットを評価する（高いほどAllow寄り）
必要なら Pay Per Crawl / Pay Per Use への参加を検討する（現状クローズドベータのため申請が必要）

現時点で Pay Per Crawl は限定招待制（クローズドベータ）です。参加にはサインアップページまたはアカウント担当者経由での申請が必要で、誰でもすぐに課金を始められる段階ではない点に留意してください。

こんなサイトにおすすめ / おすすめしない

独自性の高いコンテンツ資産を持ち、AIによる無断利用の損失が大きいサイトほど、Pay Per Use / デフォルトブロックの恩恵を受けやすくなります。

導入・活用が向いているサイト

独自取材・独自分析・専門データを持つニュース／専門メディア
大量のQ&Aやナレッジを蓄積したコミュニティ・データベース型サイト
有料・会員制コンテンツを提供し、無断学習を明確に拒否したい事業者
AI検索での露出データ（クエリ・順位）を収益化と最適化に活かしたいパブリッシャー

慎重に検討すべき（すぐには向かない）サイト

検索エンジンからの流入に強く依存し、混在型クローラーのブロックがSEOを直撃するサイト
AIに引用されること自体を認知拡大の機会と捉えている企業・製品サイト
コンテンツ量が少なく、課金対象としての価値がまだ小さい個人ブログ
Cloudflareを使っておらず、当面インフラ移行の予定もないサイト

いずれの場合も、無料プランや新規ドメインでは9月15日にデフォルト設定が変わる可能性があるため、「意図せず学習クローラーをブロック／許可してしまっていないか」を一度点検しておくことをおすすめします。

AI無断学習規制の転換点としての位置づけ

Pay Per Use と9月15日のデフォルトブロックは、「robots.txtによるお願いベース」から「インフラレベルでの強制と対価化」へと、AIとコンテンツの関係を変える象徴的な動きです。

これまで、AIクローラーを止める主な手段は robots.txt でした。しかしこれはあくまで「紳士協定」であり、無視するボットを技術的に止める力はありませんでした。Cloudflareは世界のWebトラフィックの大きな割合を仲介する立場を活かし、ネットワークレベルで実際にブロック・課金できる点で、従来の仕組みと決定的に異なります。

先行事例として、Stack Overflow が Cloudflare と組んで pay-per-crawl モデルを採用したことも報じられており、TechCrunch・Forbes・The Next Web など大手メディアは、この動きを「AI企業にコンテンツ対価の支払いを迫る転換点」と評価しています。AIによる学習と著作権・データ利用の議論は各国で進行中であり、Pay Per Use はその実装面での一つの回答と位置づけられます。

一方で、料金・収益分配の具体像が未開示であること、混在型クローラーのSEO副作用、クローズドベータという提供段階など、実運用に踏み込むには不確定要素も残ります。過度な期待も過度な不安も持たず、まずは自社サイトの設定状況を確認するところから始めるのが現実的です。

よくある質問（FAQ）

Q. Pay Per Use と Pay Per Crawl はどう違いますか？
Pay Per Crawl は「ページを取得（クロール）するたび」に課金する仕組み、Pay Per Use は「コンテンツが実際に使われた（AIの回答表示・引用など）とき」に課金する仕組みです。後者はクロール回数と価値が比例しない問題への対応として登場しました。

Q. 9月15日以降、何もしないと自分のサイトはどうなりますか？
新規ドメインや無料プランの場合、広告表示ページ上で「学習」「エージェント」用のAIクローラーがデフォルトでブロックされます。「検索」は許可されたままです。従来通りにしたい場合は、9月15日より前に「変更なし」を選んでオプトアウトできます。

Q. AIクローラーをブロックすると、Google検索にも影響しますか？
可能性があります。Googlebot・Applebot・BingBot などは「検索」と「学習」を兼ねる混在型クローラーで、学習をブロックする設定では検索用の挙動まで止まり得ます。検索流入への依存が高いサイトは、ブロック設定を慎重に判断してください。

Q. 課金はいくらに設定できますか？
Pay Per Crawl では1クロールあたり最低 $0.01（約1〜2円）程度からとされ、価格はゾーン（ドメイン）単位で設定します。クローラーごとに異なる価格は設定できません。Pay Per Use 側の具体的な料金・分配率は未開示です。

Q. すぐに課金を始められますか？
現時点で Pay Per Crawl はクローズドベータ（限定招待制）です。参加にはサインアップまたはアカウント担当者経由の申請が必要で、一般提供ではありません。ステータスは変わり得るため、公式ドキュメントで最新情報を確認してください。

Q. Cloudflareを使っていないサイトでも利用できますか？
Pay Per Use / Pay Per Crawl は Cloudflareのネットワークを前提とした仕組みです。利用するにはサイトを Cloudflare 経由で配信している必要があります。

まとめ

Cloudflare Pay Per Use（旧Pay Per Crawl）は、AIによるコンテンツ利用に対価を結びつける仕組みで、2026年9月15日のデフォルトブロックとあわせて、AIとWebコンテンツの関係を「お願いベース」から「インフラでの強制と対価化」へと大きく動かす転換点です。

Pay Per Crawl は「取得ごと」、Pay Per Use は「利用されたとき」に課金する
9月15日から新規ドメイン・無料プランで学習・エージェントbotがデフォルトブロックされる（検索は許可）
課金は Allow / Charge / Block の3択と HTTP 402 で実装される
You.com・Ceramic.ai と連携し、利用ベースの収益化とレポート活用が可能になる
混在型クローラー（Googlebot等）のブロックはSEO副作用に注意が必要

料金・分配の具体像やクローズドベータという提供段階など、未確定な部分も残ります。まずは自社サイトが9月15日の自動適用対象かを確認し、「許可・課金・ブロック」のどれが自社の価値に合うかを見極めることから始めましょう。最新の正確な条件は、必ず Cloudflare の公式ブログ・ドキュメントで確認してください。