AI学習オプトアウトのrobots.txt共通指定とは｜__usage_ai-trainingの書き方とGoogle・Microsoft・OpenAI・Anthropicの開始時期【2026年11月】

robots.txt に User-Agent: __usage_ai-training と書けば、Google・Microsoft・OpenAI・Anthropic に「このサイトをAIの学習に使わないで」とまとめて伝えられるようになります。ただし2026年11月1日時点で、この共通指定を実際に読んで従っていると公式に確認できる会社はまだありません。今すぐ学習を止めたいなら、GPTBot・ClaudeBot・Google-Extended など各社のクローラー名を書く従来の方法が確実です。

この記事でわかること

• 共通シグナル __usage_ai-training の仕組みと、従来の書き方との違い
• Google・Microsoft・OpenAI・Anthropic の対応状況と開始時期
• 2026年11月時点で「効く設定」と「まだ効かない設定」
• 目的別にそのまま使える robots.txt の書き方
• Google（Gemini）と Bing（Copilot）でやりがちな設定ミス

こんな方に向けた記事です

• 自社サイトやオウンドメディアの記事をAIの学習に使わせたくない担当者
• robots.txt を管理している Web 担当者・制作会社
• 「学習は止めたいが、ChatGPT や Gemini の回答には引用されたい」と考えているマーケター

2026年11月時点の要点

1. 共通シグナルは「学習への利用」の意向を伝えるもので、クロール（ページの取得）そのものは止まりません
2. 開始時期は、Microsoft が2027年2月1日、Google が2027年（ドキュメントでは2027年初め）、OpenAI が「今後数か月以内」、Anthropic は時期の明示がありません
3. 当面は「共通シグナル＋各社のクローラー名」を併記するのが現実的です。Google では、共通シグナルだけ書くと Gemini アプリの回答に引用されにくくなる点に注意してください

共通シグナル「__usage_ai-training」とは

出典: Microsoft Bing Blog 公式

__usage_ai-training は、robots.txt の User-Agent: 行に書く「AI学習への利用可否」を表す共通の名前です。1つのグループを書くだけで、対応しているAI事業者すべてに同じ意向を伝えられます。

これまでは、学習を止めたい相手ごとにクローラー名を調べて書く必要がありました。OpenAI なら GPTBot、Anthropic なら ClaudeBot、Google なら Google-Extended という具合です。AI事業者が増えるたびに robots.txt を書き足す手間があり、書き漏れも起きやすい状態でした。

共通シグナルはこの手間を減らすための仕組みで、次のように書きます。

User-Agent: __usage_ai-training
Disallow: /

誰が、いつ提案したのか

提案は、Anthropic の Kevin Kelley 氏が2026年10月30日に IETF（インターネットの技術標準を決める団体）へ提出したインターネットドラフト「Machine-Readable Training Preference Signal」（draft-kelley-aipref-training-preference-signal-00）です。同じ日に Google・Microsoft・OpenAI がそろって対応を表明しました。

このドラフトが個人名義で提出された段階の文書である点には注意が必要です。IETF の datatracker には「IETF が承認したものではなく、標準化プロセス上の正式な地位はない」と記載されています。議論は IETF の AIPREF（AI Preferences）ワーキンググループで続いており、トークン名や文言が今後変わる可能性もあります。ドラフトの有効期限は2027年5月3日です。

• 一次情報: IETF datatracker（draft-kelley-aipref-training-preference-signal）

なぜ新しい仕組みが必要になったのか

robots.txt（RFC 9309）は本来「どのURLを取得してよいか」を伝える仕組みで、取得したあと何に使うかまでは扱っていません。Google の Gary Illyes 氏もこの点を指摘しています。検索のためのクロールは許したいが、生成AIの学習には使われたくない、というサイト運営者の意向を表す手段が足りていませんでした。

共通シグナルは、新しい命令や文法を追加せず、既存の robots.txt の書き方（グループ、Allow / Disallow、パス指定）をそのまま使う点に特徴があります。未対応のクローラーはこの行を無視し、ほかのルールは従来どおり処理されるため、書き足しても既存の設定がおかしくなることはありません。

Google・Microsoft・OpenAI・Anthropicの対応状況と開始時期

出典: Google 検索セントラル ブログ 公式

4社とも「対応する」と表明していますが、実際に読み始める時期はばらばらです。2026年11月1日時点で、すでに従っていると公式に確認できる会社はありません。

公式発表は次のとおりです。

• Google: Search Central Blog「Supporting a shared AI training control for websites」
• Microsoft: Bing Blog「Your content, your choice」
• OpenAI: 公式ブログ「Making it easier for websites to express AI training preferences」
• Anthropic: Kelley 氏の IETF メーリングリスト投稿

Anthropic については、会社としてのプレスリリースやブログは確認できず、根拠は提案者である Kelley 氏の投稿です。同氏は「すべてのサービスで対応するには時間がかかる」「今後数か月でサイト運営者に届く」と書いています。OpenAI も報道によれば「自主的な取り組み」と位置づけており、他社にも同じシグナルを尊重するよう呼びかけています。

各社のAIサービスの概要は、ChatGPTとは、Claudeとは、Geminiとは で整理しています。

共通シグナルの仕組みとルール

書き方はシンプルですが、細かいルールを知らないと意図と違う結果になります。ドラフトに書かれている主な決まりごとは次のとおりです。

特に見落としやすいのが User-Agent: * の扱いです。すでに「全クローラーをブロック」しているサイトでも、それは共通シグナル上の学習拒否にはなりません。学習を止める意向をはっきり示すなら、__usage_ai-training のグループを別に書く必要があります。

もう1つは、パスごとの指定ができる点です。ドラフトには次の例が載っています。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

この場合、/press-kit/ 以外は学習に反対、/press-kit/ は学習に使ってよい、という意味になります。

2026年11月時点で効く設定・まだ効かない設定

いま robots.txt に書いて効果があるのは、各社のクローラー名を使った従来の指定です。共通シグナルは、各社が読み始めた時点で効き始めます。

このため当面は、共通シグナルと各社のクローラー名を併記するのが基本形になります。共通シグナルを先に書いておけば、各社が読み始めたときに自動で効き始め、対応する会社が増えたときにも書き足す手間が減ります。

止めたいもの別の手段

出典: Claude Support（Anthropic）公式

「AIに使わせたくない」と一口にいっても、止める対象によって手段が違います。学習を止めても、AIの回答に引用されなくなるとは限りません。

Google は公式に、Google-Extended は Google 検索への掲載やランキングに影響しないと説明しています。共通シグナルを書いても通常の検索順位が下がる心配は小さいと考えてよいでしょう。AI Overviews・AI Mode の仕組みと企業サイトへの影響は Google AI Modeの既定化と企業サイトへの影響 で、ChatGPT検索などAI検索サービスの違いは AI検索エンジンのおすすめ比較 で解説しています。

目的別のrobots.txtの書き方

出典: OpenAI Developers 公式

ここで紹介する書き方は、どれも共通シグナルと各社のクローラー名を併記する形です。既存の robots.txt にある User-Agent: * や Googlebot のグループはそのまま残し、追記してください。

学習は止めたいが、AI検索には出たい場合

BtoB企業のオウンドメディアなど、ChatGPT検索や Claude の検索経由で見つけてもらいたいサイト向けです。

# AI学習への利用を拒否（共通シグナル＋各社の学習用クローラー）
User-Agent: __usage_ai-training
User-Agent: GPTBot
User-Agent: ClaudeBot
Disallow: /

# Gemini アプリの回答への引用を残す場合（Google の学習も許可になる）
User-Agent: Google-Extended
Allow: /

OAI-SearchBot や Claude-SearchBot は書いていないため、User-Agent: * のルールに従ってこれまでどおり検索用に取得されます。

Google-Extended の扱いは判断が必要です。Google では学習と Gemini アプリのグラウンディングを Google-Extended 1つで兼ねており、分けられません。

• Gemini の回答に引用されたい → Google-Extended を Allow: / と明示する（Google の学習も許可になる）
• Google の学習も止めたい → Google-Extended を学習拒否のグループに入れる（Gemini アプリの回答にも引用されにくくなる）

AIにはできるだけ使わせない場合

有料記事、独自調査データ、写真・イラスト素材などを持つサイト向けです。

# AI学習・AI検索用のクローラーをまとめて拒否
User-Agent: __usage_ai-training
User-Agent: GPTBot
User-Agent: OAI-SearchBot
User-Agent: ClaudeBot
User-Agent: Claude-SearchBot
User-Agent: Google-Extended
User-Agent: CCBot
User-Agent: Applebot-Extended
User-Agent: meta-externalagent
Disallow: /

robots.txt に加えて、次の設定も検討します。

• Bing・Copilot の回答から外す: 各ページに <meta name="Bingbot" content="ai-grounding:disallow"> を入れる（2027年2月1日から適用）
• Google の AI Overviews・AI Mode から外す: Search Console に AI 機能のオプトアウト設定が追加されたと報じられています。使えるかどうかは自社のプロパティの設定画面で確認してください
• ユーザー操作起点の取得: ChatGPT-User や Claude-User は、ユーザーがURLを貼ったときなどに取得するクローラーです。OpenAI は ChatGPT-User には robots.txt が適用されない場合があると説明しています

CCBot（Common Crawl）、Applebot-Extended（Apple）、meta-externalagent（Meta）は共通シグナルへの対応を表明していないため、名前で個別に書きます。名前は変わることがあるので、各社の公式ドキュメントで最新の表記を確認してください。Meta の動きは Metaの商用規約とAIスクレイピング で詳しく扱っています。

AI検索用のクローラーを止めると、ChatGPT検索や Claude の検索結果にサイトが表示されにくくなります。流入や問い合わせとのトレードオフを確認したうえで選んでください。

ブログは止めたいが、プレスリリースや製品資料は使ってほしい場合

自社の製品情報はAIに正しく覚えてほしいが、記事は学習に使われたくない、というケースです。

User-Agent: __usage_ai-training
User-Agent: GPTBot
User-Agent: ClaudeBot
Disallow: /blog/
Disallow: /column/
Allow: /press/
Allow: /products/

robots.txt は、もっとも長く一致したパスのルールが優先されます。たとえば Disallow: / と Allow: /press/ を並べると、/press/ 配下だけが許可になります。

なお Google については、共通シグナルのパスごとの指定が Google-Extended にどう置き換えられるのか、公式ドキュメントに記載がありません。Google を確実に同じ扱いにしたい場合は、Google-Extended を同じグループに加えておくのが無難です。

よくある書き間違い

• usage_ai-training、_usage_ai-training など、アンダースコアの数が違う（先頭は2つ）
• User-Agent: * の Disallow だけで学習も止まったと考える
• robots.txt をサイトのルート（https://example.com/robots.txt）以外に置いている
• サブドメイン（blog.example.com など）の robots.txt を設定し忘れている

GoogleとMicrosoftで注意したい設定ミス

4社の中でも、Google と Microsoft は既存の仕組みとの関係が複雑です。何も考えずに共通シグナルだけ足すと、意図しない結果になることがあります。

Google: 共通シグナルだけだと Gemini の回答にも出にくくなる

Google の公式ブログによると、共通シグナルで学習を拒否し、Google-Extended を明示していないサイトは、Google-Extended を Disallow したのと同じ扱いになります。

Google-Extended は、Gemini モデルの学習と、Gemini アプリが回答をつくるときに Google 検索のインデックスからコンテンツを渡す「グラウンディング」の両方を制御しています。つまり共通シグナルだけを書くと、学習だけでなく Gemini アプリの回答での引用・クリックの機会も失う可能性があります。

Gemini の回答には出たい場合は、User-Agent: Google-Extended に Allow: / を明示してください。ただしその場合は Google の学習も許可することになります。

• 参考: Google 共通クローラーのドキュメント（Google-Extended）

Microsoft: 新しい設定を足すと NoArchive / NoCache が無視される

Bing はこれまで、ページの NoArchive / NoCache 指定をAI用途の制御として扱ってきました。今回、AIの用途を2つに分けて新しい設定に移行します。

• AI Training（学習）: robots.txt の共通シグナル、またはページ単位の ai-training:disallow
• AI Grounding（Bing・Copilot・Microsoft 365 などの回答での利用）: ページ単位の ai-grounding:disallow のみ。robots.txt でサイト全体を指定する方法は無い

Bing は新しい設定を1つでも見つけると、そのサイトに残っている NoArchive / NoCache を無視する点に注意が必要です。NoArchive で Copilot の回答への利用を止めていたサイトが、学習用の共通シグナルだけを足すと、AI回答での利用の制限が外れてしまうおそれがあります。

この場合は、AI回答に使われたくないページに次のどちらかを入れておきます。

<meta name="Bingbot" content="ai-grounding:disallow">

X-Robots-Tag: Bingbot: ai-grounding:disallow

Microsoft 自身のAI機能では使ってよいが、他社向けのグラウンディングサービスには出したくない場合は、ai-grounding:disallowextended という限定的な指定もあります。また Microsoft は、これらの設定はアクセス制御ではなく利用の意向であり、ライセンスや支払いの取り決めを成立させるものではないと明記しています。

今後のスケジュール

対応はこれから1年ほどかけて段階的に進みます。公表されている日程を並べると次のとおりです。

OpenAI は「今後数か月以内」、Anthropic は時期未定です。Google の時期も「目標」であり、確約ではありません。各社の公式ドキュメントが更新されたタイミングで、改めて設定を見直すのがおすすめです。

Bing Webmaster Tools の一時設定は AI 回答向けのもので、学習についての一時設定はありません。学習を止めたい場合は、robots.txt かページ単位の指定を書く必要があります。

共通シグナルの限界と注意点

共通シグナルは便利ですが、万能ではありません。設定する前に、できないことを押さえておきましょう。

• クロールは止まらない: 利用の意向を伝えるだけで、ページの取得は続きます。サーバー負荷を下げたい、アクセスそのものを遮断したい場合は、クローラー名ごとの Disallow、WAF、レート制限が別に必要です
• 過去のデータには遡らない: 適用されるのは取得した時点の robots.txt です。すでに集められたデータや学習済みのモデルから消えるわけではありません
• 法的な強制力は無い: 各社の自主的な取り組みです。個別の契約がこの意向より優先されることもあります
• 4社以外は対象外: Meta・Apple・Amazon・Perplexity・Common Crawl などは、2026年11月1日時点で対応を表明していません
• 従わないクローラーやなりすましには効かない: robots.txt はルールを守る意思のあるクローラーにしか効きません。ClaudeBot を名乗る偽のボットが脆弱性を探していた事例もあります。見分け方は ClaudeBotを装う不正スキャンの見分け方 で解説しています
• ドラフト段階: トークン名や範囲が変わる可能性があります

日本の法律との関係では、文化庁の文化審議会著作権分科会がまとめた「AIと著作権に関する考え方について」（令和6年3月）で、robots.txt などの技術的な措置が論点として取り上げられています。ただしこの「考え方」に法的な拘束力は無く、個別のケースの判断は専門家に確認してください。著作権をめぐる海外の動きは Anthropicの著作権訴訟の和解 でも紹介しています。

• 参考: 文化庁「AIと著作権について」

設定したあとの確認方法

robots.txt は、書いた内容と実際に配信されている内容が違うことがあります。設定後は次の項目を確認してください。

1. ブラウザで robots.txt を開く: https://自社ドメイン/robots.txt を直接開き、書いた内容がそのまま表示されるか確かめます。サブドメインごとに確認が必要です
2. CDN・WAF の自動書き換えを確認する: Cloudflare には robots.txt にAI学習拒否の記述を自動で追加する設定があります。CDN 側の変更でAI学習拒否の記述が消えた事例も報告されています（HasData の調査、ppc.land 経由）。CDN の機能を使っている場合は、配信されている robots.txt を定期的に見直しましょう。Cloudflare のAIクローラー対策は Cloudflareのペイ・パー・クロール で解説しています
3. Search Console・Bing Webmaster Tools を確認する: robots.txt の取得状況やエラーを確認できます。Bing では2026年12月15日以降、AI回答の一時設定の画面もあわせて確認します
4. サーバーログで照合する: アクセスしてきたクローラー名と IP アドレスを照合し、本物かどうかを確かめます。Anthropic はクローラーの IP 一覧を公開しています。なお Anthropic は、IP ブロックだけでオプトアウトすると robots.txt を読めなくなるため、推奨していません

自社でAIを使う・作る側が気をつけること

共通シグナルは、Web から情報を集める側にも関係します。社内のAIチャットボットや検索システムに外部サイトの情報を取り込む場合、取得先の robots.txt を確認し、学習に使ってよいかを判断する処理が要件に入ってきます。

個人向けのAIサービスを使うのとは違い、社内の全員が使う仕組みや業務システムに組み込む場合は、こうしたデータ取得のルール対応や運用も含めて費用を見積もる必要があります。全体の費用感は 社内AIチャットボットの費用 で整理しています。

また、ここで扱っているのは「Webサイトの運営者が、AI事業者に学習させない」ための設定です。社員がAIサービスに入力したデータを学習に使わせない設定は別の話で、Copilotの学習オプトアウト や 生成AIのセキュリティ対策 で扱っています。

共通シグナルを今すぐ書いたほうがいいサイト・急がなくていいサイト

共通シグナルを書いても既存の設定はおかしくならないため、学習を止めたいサイトなら今のうちに追記して損はありません。ただし、サイトの目的によって書くべき内容は変わります。

こんな人におすすめ

• 有料記事、独自の調査データ、写真・イラスト素材など、コンテンツそのものが商品になっているサイト
• 出版社・新聞社などのメディア（業界の動きは メディア業界のAI活用 も参考になります）
• すでに GPTBot や ClaudeBot をブロックしていて、今後対応する会社が増えたときの書き足しを減らしたいサイト
• クライアントのサイトを多数管理していて、設定をそろえたい制作会社

おすすめしない人・慎重に考えたい人

• AI検索やAIの回答経由で問い合わせを獲得したいBtoBサイト。学習だけ止めるか、何も止めないかを検討したほうがよいケースです
• Gemini アプリの回答に引用されたいサイト。共通シグナルだけを書くと Google-Extended も拒否扱いになるため、Google-Extended の Allow を明示する必要があります
• Bing の NoArchive / NoCache でAI回答への利用を止めているサイト。共通シグナルだけを足すと制限が外れるおそれがあり、ページ単位の設定とセットで変更が必要です
• サーバー負荷やアクセス遮断が目的のサイト。共通シグナルではクロールは止まらないため、WAF やクローラー名ごとの Disallow を使います

サイトのタイプ別の判断

よくある質問

Q. すでに User-Agent: * で Disallow: / しています。追加の設定は必要ですか？

全クローラーを拒否しているなら、ルールを守るクローラーはそもそもページを取得しないため、学習に使われる可能性は低い状態です。ただしドラフト上、User-Agent: * は学習拒否の意思表示とはみなされません。将来、検索用のクロールだけ許可に切り替える可能性があるなら、__usage_ai-training のグループも書いておくと意向が明確になります。

Q. 共通シグナルを書くと、Google検索の順位は下がりますか？

Google は、Google-Extended が Google 検索への掲載やランキングに影響しないと公式に説明しています。共通シグナルは Google では Google-Extended として扱われるため、通常の検索順位への影響は無いと考えられます。影響が出るのは Gemini アプリの回答での引用です。

Q. Allow と書けば、AI事業者から使用料をもらえますか？

もらえません。Microsoft は、これらの設定がライセンスや支払いの取り決めを成立させるものではないと明記しています。Allow しても、AIの回答への掲載や流入が保証されるわけでもありません。対価を求める動きとしては、Cloudflare のペイ・パー・クロールのような別の仕組みがあります。

Q. WordPress のサイトでも設定できますか？

できます。WordPress は robots.txt を自動で生成する仕組みのため、SEO プラグインの robots.txt 編集機能を使うか、サーバーのルートに robots.txt ファイルを置きます。ファイルを置いた場合はそちらが優先されるので、既存のプラグイン設定と内容が食い違わないよう確認してください。

Q. 共通シグナルの名前が変わったらどうなりますか？

ドラフトは個人提出の段階なので、変わる可能性はあります。その場合は新しい名前に書き換える必要があります。各社のクローラー名を併記しておけば、名前が変わっても学習拒否の効果は残ります。

まとめ

__usage_ai-training は、robots.txt に1つのグループを書くだけで、Google・Microsoft・OpenAI・Anthropic にAI学習への利用を拒否する意向を伝えられる共通シグナルです。ただし2026年11月1日時点では、どの会社もまだ読み取りを始めていません。

当面の対応をまとめると、次のとおりです。

• 共通シグナルと、GPTBot・ClaudeBot など各社のクローラー名を併記する
• Gemini の回答に出たいなら、Google-Extended の Allow を明示する
• Bing の NoArchive / NoCache を使っているなら、ページ単位の ai-grounding:disallow もセットで入れる
• クロールそのものを止めたい、偽のボットを防ぎたい場合は、WAF やログの確認を別に行う
• 2027年2月（Microsoft）、2027年（Google）など、各社の開始時期に合わせて設定を見直す

生成AIの全体像は 生成AIとは で解説しています。