AIツール2026年10月更新

AIエージェントがサイトでブロックされるのはなぜ?遮断している主なサイト一覧と、使う人・運営者の対処法【2026年10月】

公開日: 2026/10/18
AIエージェントがサイトでブロックされるのはなぜ?遮断している主なサイト一覧と、使う人・運営者の対処法【2026年10月】

この記事のポイント

2026年9月以降、Amazon・JPMorgan・Schwab・航空会社などが無許可のAIエージェントを締め出しています。理由はセキュリティと事前の合意がないことです。遮断しているサイトの一覧、使う人が止められたときの対処、運営者がrobots.txt・Cloudflare・署名の検証で遮断/許可する方法を公式情報で整理しました。

2026年9月以降、Amazon・米大手銀行・航空会社などが、利用者の代わりにログインや購入をする外部のAIエージェントを締め出しています。主な理由は、顧客アカウントを第三者のAIに操作されるセキュリティ上の不安と、エージェント側と事前の合意がないことです。

サイト側の止め方は robots.txt だけでは済みません。ChatGPT-User や Google-Agent のように利用者の指示で動くアクセスには、robots.txt が適用されないと各社が公式に書いています。そのためサイト側は、WAF(Webアプリケーションファイアウォール)・利用規約・署名の検証を組み合わせ、身元を確かめた相手だけを通す方向に動いています。

この記事でわかること

  • AIエージェントがサイトでブロックされる理由
  • 遮断している主なサイトと、遮断の範囲・理由・代わりの手段(2026年10月時点の一覧)
  • 学習用クローラーとAIエージェントの違い(robots.txt が効く相手・効かない相手)
  • Meta Muse・OpenAI dots・Grok などを使っていて止められたときの対処と、やってはいけないこと
  • サイト運営者が遮断・許可を決めるための判断表と、robots.txt・Cloudflare の設定
  • 遮断に代わる「身元を確かめて許可する」仕組み(Web Bot Auth・Personal Agent Protocol)

この記事の対象読者

AIエージェントに買い物や予約を頼んだらエラーで止まった方と、自社サイトにAIエージェントからのアクセスを入れるか決めたいサイト運営者・情報システム担当者に向けて書いています。事実関係は、2026年10月18日時点で OpenAI・Anthropic・Google・Cloudflare の公式ドキュメントと、TechCrunch・ITmedia・Fortune・American Banker の報道で確認できた範囲です。報道や利用者の報告しか根拠がない情報は、そのつど明記しています。

AIエージェントのブロックは何を・なぜ・どう止めているのか

AIエージェントからのアクセスを暗号署名で見分ける仕組みを紹介するCloudflare公式ブログのイメージ

出典: Cloudflare 公式ブログ

AIエージェントの遮断は、学習用クローラーの遮断とは別の問題です。「読むだけ」のボットではなく、「ログインして操作する」エージェントをどう扱うかが論点になっています。

項目

現時点の事実

何が止められているか

外部のAIエージェントによる代理購入・ログイン・口座の操作。閲覧だけのアクセスより、アカウントや決済に触れる操作が強く制限されている

なぜ止めるのか

顧客の認証情報を第三者のAIが預かることへの懸念、エージェントが名乗らずにアクセスしていること、事前の提携がないこと

どう止めているか

利用規約での禁止、WAF・CAPTCHA などのボット対策、Cloudflare の設定。robots.txt は利用者の指示で動くエージェントには効かない場合がある

これからの流れ

一律の遮断から、署名(Web Bot Auth)や OAuth で身元を確かめ、許可した相手だけを通す方式へ移りつつある

AIエージェントそのものの仕組みから知りたい方は、AIエージェントとは?仕組み・種類・活用事例・代表ツールを先に読むと全体がつかみやすくなります。

AIエージェントがサイトでブロックされる理由

サイトがAIエージェントを止める理由は、大きく4つに分けられます。どれか1つではなく、複数の理由が重なっているのが一般的です。

1. 顧客アカウントを第三者に操作される不安

いちばん大きい理由はセキュリティです。ITmedia(2026年9月22日、GeekWire の報道を引用)によると、Amazon は Meta の Muse について次の点を問題にしました。

  • Meta から事前の連絡がなかった
  • Muse は閲覧時にAIエージェントであることを名乗っていない
  • 顧客の認証情報を保存しているとみられ、プライバシーとセキュリティのリスクがある
  • 注文履歴やアカウントページにも入れるため、Amazon が把握していない第三者がアカウントを操作する状態になる

銀行も同じ論点で動いています。JPMorgan Chase の Jamie Dimon CEO は10月中旬の決算説明会で、外部のエージェントが顧客の認証情報で口座にログインしたり、口座を操作したりすることは認めないと述べました(Fortune、2026年10月15日)。Charles Schwab の Rick Wurster CEO も「外部のエージェントが顧客に代わってログインするのは安全ではない」と説明しています(American Banker、2026年10月15日)。

2. エージェント側と事前の合意がない

Delta は「第三者のエージェントにフライト予約を許す提携はない」、United は「書面の事前許可がないロボット・自動化手段は利用規約で禁止している」と TechCrunch(2026年10月6日)に回答しています。技術的には動いても、サイトとエージェント提供者の間に取り決めがないため、規約上は認められないという整理です。

3. もともとのボット対策に引っかかる

サイトが意図して止めているとは限りません。Muse の提携先である Walmart では購入が失敗する例がありましたが、Walmart は「意図したものではない。人間確認ボタンの処理が途中で切れて失敗している」と説明しています(TechCrunch・NBC)。Zillow も、利用者の代理で動くエージェントは許可しているものの、スクレイピング対策で一部が止まることがあると認めています。

ブラウザを操作するタイプのエージェントは、人間のブラウザとも悪質なスクレイパーとも見分けにくいため、CAPTCHA やレート制限に巻き込まれやすいのです。

4. データと顧客接点を守りたい

Yelp は、有料のデータライセンスプログラムに参加しているエージェントだけを許可しています(TechCrunch)。広告やレビューのデータで稼ぐサイトにとって、エージェントが情報だけを持っていく状態は収益に直結します。Schwab が自社のAIアシスタント「Charley」へ顧客を案内しているように、顧客との接点を自社で持ち続けたいという事情もあります。

一方 Meta は「パーソナルエージェントを断ることは、その後ろにいる顧客を断ることだ」と反論しており(TechCrunch)、サイトとエージェント提供者の主張は平行線のままです。

AIエージェントを遮断している主なサイトと対応一覧【2026年10月時点】

報道とサイト側の回答で確認できた対応を、遮断の範囲と代わりの手段で並べました。「全面禁止」のサイトは少なく、ログイン・決済・資金移動など、守りたい操作を絞って止めているサイトが多いことがわかります。

サイト・企業

業種

対応

止めている範囲

理由(サイト側の説明)

代わりに認めている手段

出典

Amazon

EC

遮断

Muse による代理購入(利用規約違反の警告を表示)

事前連絡なし、名乗らない、認証情報の扱い

なし(Perplexity Comet とは訴訟中)

ITmedia 9/22

JPMorgan Chase

銀行

遮断

外部エージェントによるログイン・口座操作

安全性(「ならず者のエージェントは困る」)

Plaid などのオープンバンキングで残高・取引データを共有(送金・支払いは不可)

Fortune 10/15

Charles Schwab

証券

遮断

認証情報やブラウザの自動操作による侵入

代理ログインは安全でない

ChatGPT など一部の外部LLMとの接続(資金移動は不可)、自社AI「Charley」

American Banker 10/15

Delta

航空

提携なし

第三者エージェントによる予約

無許可の自動操作から顧客を守る

なし

TechCrunch 10/6

United

航空

規約で禁止

書面の許可がない自動化手段全般

利用規約

なし(Muse を遮断しているかは回答せず)

TechCrunch 10/6

Yelp

レビュー

条件付き許可

ライセンス未参加のエージェント

データの価値

有料データライセンスへの参加

TechCrunch 10/6

eBay

EC

条件付き許可

無許可のエージェント、自動スクレイピング、モデル学習

不正利用の防止

第三者のショッピングエージェントを一律には禁止していない

TechCrunch 10/6

Zillow

不動産

許可(一部停止あり)

スクレイピング対策に引っかかった通信

スクレイピング対策

消費者の代理で動くエージェント

TechCrunch 10/6

Walmart

EC

許可(Muse と提携)

意図した遮断はなし(人間確認の処理で失敗する例)

―

Muse との提携

TechCrunch・NBC

Shopify

ECプラットフォーム

許可

―

―

全ストアで Shop Pay による Muse の決済に対応(9/21発表)

ITmedia 9/22

Pizza Hut・Adidas・Cars.com・Amtrak などでも止められたという声がありますが、利用者の報告にとどまり、サイト側は遮断を認めていません。Grok・OpenAI dots・Instinct の利用者からも同様の報告が出ていますが、どのサイトで何が止まったかは特定できていません。

日本のサイトでも使えなくなっている?

現時点で、楽天・Yahoo!ショッピング・国内航空会社・国内銀行などが外部のAIエージェントを遮断したという公式発表や報道は見つかっていません。 遮断が話題になっている Meta Muse は米国・カナダでの提供で、日本での提供予定は発表されていません。ただし国内のサイトにも、利用規約で自動アクセスを禁止しているところや、CAPTCHA などのボット対策を入れているところは多くあります。日本で使えるエージェントでも、操作の途中で止まることは起こりえます。

遮断が広がった経緯

日付

出来事

2025年5月

Cloudflare がエージェントの身元を署名で確かめる Web Bot Auth を発表

2025年7月1日

Cloudflare が学習用クローラーの既定ブロックと Pay Per Crawl を開始

2025年8月28日

Cloudflare が「signed agents(署名付きエージェント)」の区分を新設

2025年11月

Amazon が Perplexity の Comet に代理購入の停止を求め、のちに提訴

2026年8月

米連邦第9巡回区控訴裁判所が、Amazon 対 Perplexity の仮差止めを取り消したと報道(訴訟は継続)

2026年9月8日

Meta が Muse を米国で提供開始

2026年9月15日

Cloudflare が新規ドメイン向けの初期設定を変更(広告ありのサイトはエージェントを広告ページで遮断)

2026年9月20日

Amazon が Muse の代理購入を遮断

2026年9月21日

Shopify が全ストアで Muse の決済に対応すると発表

2026年10月6日

Sierra と Meta が、エージェントが企業にサインインするための Personal Agent Protocol を発表

2026年10月中旬

JPMorgan・Schwab が無許可エージェントの口座操作を認めない方針を説明

Amazonに代理購入を遮断されたMetaのパーソナルAIエージェントMuseの公式イメージ

出典: Meta 公式ニュースルーム

当事者のエージェントについては、Meta Museとは?できること・料金・日本での提供状況と、Amazon と訴訟になっているPerplexity Cometとは?で詳しく扱っています。

学習用クローラーとAIエージェントの違い

OpenAIのクローラーとユーザーエージェントの一覧ページを示す公式ドキュメントのイメージ

出典: OpenAI 公式ドキュメント

AIのボットは「検索」「学習」「エージェント」の3種類に分けて考えると整理しやすくなります。Cloudflare も2026年9月15日の公式ブログで、AIのアクセスを Search・Training・Agent の3つに分けています。robots.txt が効くかどうかは、この区分で大きく変わります。

区分

何をするか

主なbot名(運営元)

robots.txt の扱い(公式の説明)

学習(Training)

モデルの学習用にページを集める

GPTBot(OpenAI)、ClaudeBot(Anthropic)、CCBot(Common Crawl)、Bytespider(ByteDance)、Meta-ExternalAgent(Meta)。Google の学習可否は Google-Extended で指定

従う。拒否すれば今後の学習に使わないという意思表示になる

検索(Search)

AI検索の回答に出すためにインデックスする

OAI-SearchBot(OpenAI)、Claude-SearchBot(Anthropic)、PerplexityBot(Perplexity)

従う。拒否するとAI検索の回答に表示されにくくなる(OpenAI は「表示されない」と明記)

エージェント(Agent)

利用者の指示で、その場でページを開く・操作する

ChatGPT-User(OpenAI)、Claude-User(Anthropic)、Perplexity-User(Perplexity)、Google-Agent(Google)、Meta-ExternalFetcher(Meta)

ChatGPT-User は「適用されない場合がある」、Google-Agent は「原則として無視する」と公式に記載。 Claude-User は robots.txt に従うと Anthropic は説明

検索と学習を兼ねる

通常の検索エンジン用のクロール

Googlebot(Google)、Bingbot(Microsoft)

従う。止めると検索エンジンからの流入も止まる

ブラウザを直接操作するタイプのエージェントは、そもそも bot名を名乗らないことがあります。Amazon が問題にしたのもこの点で、Muse 専用のUser-Agent(UA)を Meta が公開しているかは確認できていません。

また Google は、UA文字列は偽装できるので、IPアドレスなどで確認してから信頼するよう注意を呼びかけています。UAを詐称したアクセスの実例と見分け方は、ClaudeBot偽装の大規模脆弱性スキャンが横行|なりすましの見分け方にまとめています。

AIエージェントを使う人へ:止められたときの対処と注意点

止められたときは、サイトの公式アプリや提携先を使うか、その操作だけ自分で行うのが現実的な対処です。CAPTCHA を突破させるなど、遮断をすり抜ける方法はおすすめできません。

止められたときに起きていること

エラーの出方で、だいたいの原因を見分けられます。

症状

考えられる原因

どうするか

「利用規約違反」の警告が出る(Amazon など)

サイトが意図してエージェントの操作を拒否している

そのサイトではエージェントに操作させない。自分で操作する

人間確認(CAPTCHA)で止まる、購入ボタンの後で失敗する

ボット対策に引っかかっている(意図した遮断ではない場合もある)

確認や決済の手順だけ自分で行う。エージェントのアプリが「引き継ぎ」に対応していれば使う

ページが開けない(403エラーなど)

WAF や Cloudflare の設定でエージェントの通信を止めている

別のサイトや提携先を使う

ログインを求められて先に進めない

銀行・証券などが代理ログインを認めていない

公式アプリや、サイトが認めている連携(Plaid 経由の参照など)を使う

代わりに使える正規の手段

  • サイトと提携しているエージェント・決済を使う:Muse は Walmart と提携し、Shopify の全ストアで Shop Pay 決済に対応しています
  • サイトが用意したAIや連携を使う:Schwab の「Charley」、JPMorgan が認めている Plaid などでの残高・取引データの共有(送金・支払いはできない)
  • 調べ物と比較だけをエージェントに任せる:最後のログイン・購入・予約は自分で行えば、規約の問題も認証情報の問題も避けられます

やってはいけないこと

CAPTCHA の突破や、エージェントだと気づかれないようにする工夫はやめておきましょう。 サイトの利用規約に違反するおそれがあり、規約違反を理由にアカウントが制限される可能性も否定できません。Anthropic は自社のクローラーについて「CAPTCHA などの回避策は突破しない」と明記しています。

パスワードや決済情報をエージェントに渡すときは、リスクを理解したうえで判断してください。 Meta は「Muse はパスワードや決済情報の中身を見ずに安全に保管して使う」と説明していますが、Amazon や銀行が問題にしているのはまさにこの点です。エージェント提供者の側で情報が漏れたり、エージェントが誤った操作をしたりすれば、被害は自分のアカウントに及びます。最低限、次の点は確かめておきましょう。

  • 購入・送金の前に、自分の承認を求める設定になっているか
  • 二段階認証を外さずに使えるか
  • 不要になったら連携を解除し、パスワードを変えられるか

エージェントごとの設定は、OpenAI Dots(ドッツ)とは?使い方・料金・対象プランと安全設定やGrokとは?Agent Mode・Grok Imagineの使い方と料金で確認できます。

このツールを自社のシステムや業務にどう組み込むか、ご提案します

初回相談は無料・30分(オンライン)。要件が決まっていなくても大丈夫です。改修100万円〜・PoC300万円〜(税別)

サイト運営者へ:AIエージェントを遮断・許可する方法

Googleのクローラーとフェッチャーを解説する公式ドキュメントのイメージ

出典: Google 公式ドキュメント

「学習は止めて、検索とエージェントは通す」のか、「エージェントのログイン・決済だけ止める」のかを先に決めることが出発点です。手段ごとに効く相手が違うため、robots.txt だけで全部を止めようとすると、止まらない相手が残ります。

遮断・許可の手段と効く相手

手段

効く相手

効かない相手・注意点

robots.txt(bot名ごとに Disallow)

GPTBot・ClaudeBot・OAI-SearchBot・Claude-SearchBot・Google-Extended など、ルールに従うクローラー

強制力はない。ChatGPT-User・Google-Agent など利用者の指示で動くアクセスには適用されない場合がある。Anthropic はサブドメインごとの設定が必要としている

Cloudflare の AI Crawl Control

Cloudflare が分類済みのbot

「Block」は Googlebot・Bingbot にも効き、検索流入まで止まる

WAF・ボット対策(CAPTCHA、レート制限、振る舞いの検知)

名乗らないブラウザ操作型エージェントを含む

正規の利用者が使うエージェントまで止めてしまうことがある(Walmart の例)

署名の検証(Web Bot Auth)

署名付きのエージェント(ChatGPT のエージェントなど)

対応しているエージェントはまだ一部

IPアドレスの照合

IPを公開している各社のbot

なりすまし対策には有効。ただし Anthropic は、robots.txt を読めなくなるためオプトアウト手段としてのIP遮断は勧めていない

利用規約で自動アクセスを禁止

すべて(法的な主張の根拠)

技術的には止められない。Amazon・United が使っている

提携・API・ライセンス

許可したい相手

Yelp(ライセンス)、Walmart・Shopify(Muse と提携)

各社が公開しているIPアドレスの一覧は、OpenAI が openai.com/chatgpt-user.json など、Anthropic が claude.com/crawling/bots.json、Google が user-triggered-agents.json です。

robots.txt の設定例(学習は拒否、AI検索は許可)

学習用クローラーだけを止め、AI検索からの表示は残したい場合の例です。

# 学習用クローラーを拒否
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# AI検索用は許可
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Google-Extended を拒否しても、Google 検索の掲載や順位には影響しないと Google は説明しています。OpenAI によると、robots.txt の変更が反映されるまで約24時間かかります。

会員ページや購入手続きのページを守りたい場合、robots.txt に Disallow を書くだけでは足りません。 利用者の指示で動くエージェントは robots.txt を無視することがあるからです。ログイン後の画面や決済の手順は、WAF のルールや二段階認証、署名の検証で守る必要があります。

Cloudflare の設定(2026年9月15日の変更点)

Cloudflare の AI Crawl Control は、無料プランを含むすべてのプランで使えます。2026年9月15日の公式ブログによると、設定は次のように変わりました。

AIクローラーごとに許可・課金・遮断を選べるCloudflareの仕組みを紹介する公式ブログのイメージ

出典: Cloudflare 公式ブログ

項目

内容

設定できる値

Allow(許可)/Disallow AI Training(学習だけ拒否。Training 区分のみ)/Block on pages with ads(広告のあるページで遮断)/Block(遮断)

Agent 区分の選択肢

Allow/Block on pages with ads/Block の3つ。「学習だけ拒否」のような中間の設定はない

新規ドメインの初期設定(広告なし)

Search 許可/Training 許可/Agent 許可

新規ドメインの初期設定(広告あり)

Search 許可/Training は Disallow AI Training/Agent は Block on pages with ads

既存ドメイン

これまでの設定を引き継ぐ。旧「Block AI Bots」は3区分に移行し、Managed Robots.txt は Bot Preference Sync に置き換え

特に注意したいのは「Block」です。 Block と Block on pages with ads は、検索と学習を兼ねる Googlebot・Bingbot にも効くようになりました。「学習だけ止めて検索は残したい」なら、Block ではなく Disallow AI Training を選びます。Cloudflare によると、Search のbotを遮断しているサイトは1%未満、学習を拒否する設定にしているサイトは17%です。

Cloudflare 側の既定ブロックと、AIからのアクセスに課金する仕組みは、Cloudflare Pay Per Use(旧Pay Per Crawl)とは?で詳しく解説しています。

どれを選ぶか:4つの判断パターン

選択

おすすめのサイト

設定の目安

失うもの

全面的に遮断する

会員制・有料コンテンツ、データ自体が商品のサイト

robots.txt で学習・検索を拒否、Cloudflare で Agent を Block、規約で自動アクセスを禁止

AI検索での露出、エージェント経由の来訪

広告ページだけ遮断する

広告収益で運営するメディア・ブログ

Cloudflare で Agent を Block on pages with ads、Training は Disallow AI Training

広告ページでのエージェント経由の閲覧

署名付き・提携先だけ許可する

EC・予約・金融など、ログインや決済があるサイト

閲覧は許可し、ログイン・決済は署名の検証や提携・APIに限定

署名に対応していないエージェントの利用者

許可する

企業サイト・製品紹介・店舗情報など、見つけてもらうことが目的のサイト

すべて Allow。偽装対策としてIP照合だけ行う

学習に使われることへの拒否

迷ったら、「検索流入を失わないこと」と「ログイン・決済を守ること」の2点を先に満たす設定から始めるのが安全です。

遮断から「身元を確かめて許可」へ:Web Bot Auth と Personal Agent Protocol

一律に遮断すると、正規のエージェントを使う顧客まで締め出してしまいます。そこで、エージェントの身元を確かめたうえで通す仕組みづくりが進んでいます。

AIエージェントを受け入れるサイト側の準備を扱ったCloudflare公式ブログのキービジュアル

出典: Cloudflare 公式ブログ

Web Bot Auth(署名でエージェントを確かめる)

Web Bot Auth は、エージェントがリクエストに電子署名を付け、サイト側が公開鍵で本物かどうかを確かめる仕組みです。UAと違って偽装できないのが利点です。

  • Cloudflare:2025年8月28日に「signed agents」の区分を新設。最初の対象は OpenAI の ChatGPT agent、Block の Goose、Browserbase、Anchor Browser。どのエージェントが登録されているかは Cloudflare Radar の bots directory で誰でも確認できる
  • OpenAI:公開されているヘルプの情報によると、エージェントのリクエストに HTTP Message Signatures(RFC 9421)で署名し、Signature-Agent: "https://chatgpt.com" を付けている。Cloudflare・Akamai・HUMAN・Vercel での許可手順が案内されている
  • Google:Google-Agent で Web Bot Auth を試験中と公式ドキュメントに記載(ID は https://agent.bot.goog)
  • 標準化:IETF で draft-ietf-webbotauth-httpsig-protocol-00(2026年9月付)が議論されている段階で、まだ正式な標準(RFC)にはなっていない

Personal Agent Protocol(エージェントが正規にサインインする)

2026年10月6日、Sierra と Meta は Personal Agent Protocol(PAP)を発表しました。複数の報道によると、OAuth をもとに、エージェントが利用者の代わりに企業のサービスへサインインして作業するための共通ルールです。パスワードをエージェントに渡すのではなく、企業側が許可した範囲だけを操作させる設計になります。仕様の詳細や参加企業、公開時期は、Sierra・Meta の公式情報で確認できていません。

銀行の動きを見ても、「ログインの代行は認めないが、権限を絞った連携は認める」という線引きが広がっています。JPMorgan の Plaid 経由の参照や、Schwab の外部LLM連携(資金移動は不可)がその例です。

エージェントに見つけてもらいやすいサイトの準備は、Cloudflare Agent Readiness Score とは?で確認できます。

日本のサイト・企業への影響

日本では大きな遮断の事例はまだ確認されていません。それでも、自社サイトの設定と、自社のサービスを外部エージェントに開くときの方針は、今のうちに決めておく価値があります。TechTarget ジャパン(2026年10月16日)も、外部AIを受け入れる基準として「どう識別するか」「顧客データをどう守るか」「問題が起きたとき誰が責任を負うか」を挙げています。

具体的には、次の3点を確かめておくと判断しやすくなります。

  1. 自社サイトがエージェントを意図せず止めていないか:Cloudflare の新規ドメインで広告を出していれば、Agent が広告ページで遮断される初期設定になっています。WAF の CAPTCHA に正規のエージェントが引っかかっていないかも確認します
  2. ログイン後の画面と決済を守れているか:robots.txt ではなく、認証と WAF で守る設計になっているかを見直します
  3. エージェント向けの正規の入口を用意するか:API や OAuth の連携を用意すれば、顧客がエージェントを使っても、許可した操作だけを通せます

自社のシステムをエージェントとつなぐ場合は、試しに動かすだけでは足りません。業務で動かすなら、利用者の承認、異常時の停止、失敗した処理の再実行まで仕組みに入れる必要があります。どこまで作り込むかは、AIエージェントの本番導入で追加する開発範囲で整理しています。

こんなサイトは遮断がおすすめ/おすすめしないサイト

検索には表示させつつAIの学習は拒否する設定を紹介するCloudflare公式ブログのイメージ

出典: Cloudflare 公式ブログ

遮断するかどうかは、AIに見つけてもらう利益と、操作されることのリスクのどちらが大きいかで決まります。

AIエージェントの遮断・制限がおすすめのサイト

  • 銀行・証券・決済など、ログイン後に資金を動かせるサービス
  • 会員制・有料のコンテンツや、データそのものを販売しているサイト
  • 広告収益が中心で、エージェントに閲覧だけされても収入にならないメディア
  • 在庫や価格を自動で大量に取得されると業務に支障が出るEC・予約サイト

遮断をおすすめしないサイト

  • 企業サイト・製品紹介・店舗情報など、AI検索やエージェント経由で見つけてもらうことが目的のサイト
  • 検索流入への依存度が高く、Googlebot まで止めてしまう設定ミスの影響が大きいサイト
  • Shopify のように、エージェント経由の購入を売上の機会として取り込みたいEC
  • 遮断ではなく、署名の検証や API 連携で受け入れる体制を作れるサイト

エージェントに代行させてよい場面・避けたい場面(使う人向け)

代行させてよい場面

避けたい場面

商品・店舗・フライトの比較や下調べ

銀行・証券へのログインや送金

提携先(Walmart、Shopify のストアなど)での購入

利用規約で自動アクセスを禁止しているサイトでの購入・予約

公式の連携やAPIを通した操作

CAPTCHA を突破させないと進めない操作

よくある質問

Q. robots.txt に書けば、ChatGPT のエージェントも止まりますか?

確実には止まりません。OpenAI は、ChatGPT-User について「利用者の依頼で動くため robots.txt が適用されない場合がある」と公式に書いています。Google-Agent も原則として robots.txt を無視すると Google は説明しています。確実に止めたいページは、WAF や認証で守る必要があります。

Q. Cloudflare の無料プランでも AI エージェントの遮断を設定できますか?

できます。Cloudflare は AI Crawl Control の Search・Training・Agent の設定を、すべてのプランで使えるとしています。ただし署名付きエージェントを WAF ルールでまとめて扱う機能は Enterprise 向けと告知されており、現在の提供状況は確認できていません。

Q. 学習用クローラーを止めると、Google 検索の順位に影響しますか?

robots.txt で Google-Extended を拒否するだけなら、Google は検索の掲載・順位には影響しないと説明しています。一方、Cloudflare で「Block」を選ぶと Googlebot まで止まるため、検索流入を失うおそれがあります。

Q. Muse などのエージェントで買い物をすると、アカウントが止められますか?

Amazon が Muse の代理購入に利用規約違反の警告を出したことは報じられていますが、利用者のアカウントが停止された事例は確認できていません。ただ規約違反として扱われる以上、制限を受ける可能性はあります。規約で自動アクセスを禁止しているサイトでは、エージェントに操作させないのが無難です。

Q. 遮断すれば、過去に学習に使われたデータも消えますか?

消えないと考えておくべきです。公式の説明は「今後集める資料を除外する」という内容にとどまっていて、すでに学習に使われたデータを取り除くとは書かれていません。robots.txt での拒否は、これから集めるデータへの意思表示です。

Q. 自社サイトへのアクセスが本物の ChatGPT や Claude のものか、どう確かめればよいですか?

UAだけでは判断できません。送信元IPを、各社が公開しているIPの一覧(OpenAI の chatgpt-user.json など、Anthropic の bots.json、Google の user-triggered-agents.json)と照らし合わせます。署名付きのエージェントであれば、Web Bot Auth の署名を検証する方法もあります。

まとめ

AIエージェントのブロックは、「読むだけのクローラーを止める」話から、「顧客の代わりにログイン・購入するエージェントをどこまで認めるか」という話に変わってきています。

  • 2026年9月以降、Amazon・JPMorgan・Schwab・Delta・United などが、無許可のエージェントによる購入・ログイン・口座の操作を止めている
  • 理由は、認証情報と顧客アカウントを守ること、事前の合意がないこと、ボット対策への巻き込み、データと顧客接点を守ること
  • 日本の大手サイトによる遮断は確認されていないが、規約やボット対策で止まることはある
  • 使う人は、提携先・公式の連携を使い、CAPTCHA の突破やパスワードを安易に渡すことは避ける
  • 運営者は、robots.txt が利用者の指示で動くエージェントに効かない場合があることを前提に、Cloudflare の設定(Block は検索まで止める)、WAF、署名の検証を組み合わせる
  • 流れは一律の遮断から、Web Bot Auth や Personal Agent Protocol で身元を確かめて許可する方向に向かっている

Web Bot Auth の標準化、Personal Agent Protocol の仕様公開、Amazon と Perplexity の訴訟は、今後の扱いを左右する動きです。自社サイトの設定は、各社の公式ドキュメントで最新の内容を確かめてから変更してください。

このツールを自社のシステムや業務にどう組み込むか、ご提案します

この記事の著者

AI革命

AI革命

編集部

AI革命株式会社の編集部です。最新のAI技術動向から実践的な導入事例まで、企業のデジタル変革に役立つ情報をお届けしています。豊富な経験と専門知識を活かし、読者の皆様にとって価値のあるコンテンツを制作しています。

AI・システム開発は、開始価格を公開しています

既存システムの改修 100万円〜・PoC 300万円〜(税別)。相談内容を送っていただくと、2営業日以内に担当者からご返信します