AIツール2026年11月更新

ChatGPTのCSAM対策とは?24時間アカウント停止の条件・解除・異議申し立てとOpenAI新分類器を整理

公開日: 2026/11/17
ChatGPTのCSAM対策とは?24時間アカウント停止の条件・解除・異議申し立てとOpenAI新分類器を整理

この記事のポイント

ChatGPTは、児童を性的に扱うコンテンツ(CSAM)を求める入力を検知すると、警告を出して24時間アクセスを止めるようになりました。停止になる条件、停止中と24時間後の流れ、繰り返したときの永久閉鎖、誤判定時の異議申し立て、開発者向けのCSAM画像分類器まで、2026年11月時点の公式情報と報道をもとに整理します。

ChatGPTは、児童を性的に扱うコンテンツ(CSAM)を探す・作る・見ようとする入力を検知すると、その会話を終了させ、警告を出したうえでChatGPTへのアクセスを24時間止めます。繰り返すと停止期間の延長やアカウントの永久閉鎖、当局への通報もありうるとOpenAIは説明しています。普通の使い方で対象になる措置ではありません。

OpenAIは2026年11月16日(米国時間)に、この警告と停止の仕組みに加え、CSAM画像の分類器「OpenAI CSAM Image Classifier」、開発者向けのCSAM対策ガイド、法執行機関向けの支援をまとめて発表しました。

この記事でわかること

  • 24時間停止になる条件と、停止中・24時間後に起きること
  • これまでの措置(ブロック・BAN・NCMECへの報告)と何が変わったか
  • 対象になるアカウントの範囲と、まだ公式に確認できていない点
  • 誤判定が心配なときの異議申し立ての窓口と、業務利用で気をつけたいこと
  • 開発者・企業向けのCSAM Image Classifierとガイドの要点

この記事を読んでほしい人

  • 「ChatGPTで24時間停止」のニュースを見て、自分のアカウントが止まらないか気になった人
  • 社内でChatGPTやOpenAI APIを使っていて、誤判定や停止の影響を確かめたい担当者
  • 画像生成・画像アップロードの機能を持つサービスを開発・運営している人

要点まとめ(2026年11月17日時点)

ポイント

内容

何が起きるか

CSAMを求める入力を検知すると、会話が止まり、警告が出て、ChatGPTを24時間使えなくなる

繰り返すと

停止期間の延長、アカウントの永久閉鎖、当局への通報がありうる

対象

個人向けChatGPTアカウント(Chat・Workモード、Web・モバイル)。ログインしていない人にも警告が出ることがある

誤判定のとき

停止通知メールのリンクから異議を申し立てられる

未確認の点

組織向けプランへの適用、日本での展開状況、何回目で永久閉鎖になるか

開発者向け

CSAM画像分類器は審査を通った組織にだけ無償で提供。誰でも使えるAPIではない

ChatGPT自体の機能やプランはChatGPTとはにまとめています。

この記事は、児童の性的搾取を防ぐ措置を説明するものです。CSAMにあたる入力の具体例や、検知を避ける方法は扱いません。

ChatGPTの24時間アカウント停止とは:OpenAIの発表の全体像

24時間停止は、OpenAIが2026年11月16日に発表した児童保護の取り組みのうち、ChatGPTの利用者に直接かかわる部分です。発表は次の4つで構成されています。

取り組み

中身

主な対象

検出

CSAM画像分類器「OpenAI CSAM Image Classifier」をAPIで提供

審査を通過した組織

介入

ChatGPTでCSAMを求める行為に警告を出し、アクセスを24時間止める。支援窓口へ案内する

ChatGPTの利用者

開発者向け資料

CSAM対策ガイド(日本語版あり)

OpenAIのAPIでサービスを作る開発者

捜査支援

児童保護を担う捜査部門向けのAIツールと研修

許可を受けた法執行機関

CSAMは「Child Sexual Abuse Material」の略で、児童性的虐待コンテンツを指します。OpenAIの説明では、AIで生成した画像も含みます。

分類器の学習・評価には、米国で児童の搾取に関する通報窓口(CyberTipline)を運営する非営利団体NCMEC(全米行方不明・被搾取児童センター)が協力しています。発表の原文はOpenAI公式ブログ「Strengthening the fight against online child sexual abuse with new tools and support」で読めます。日本語ではITmedia NEWSの記事が詳しく報じています。

24時間停止になる条件:普通の使い方なら対象にならない

警告を示す黄色い注意標識

停止の引き金は「児童を性的に描くコンテンツを求める入力」です。OpenAIの説明では、CSAMを探す・作る・見ようとする行為を検知したときに警告が出て、アクセスが止まります。仕事の文章作成や調べもの、子育てや教育の相談など、児童を性的に扱う意図のない使い方は対象として想定されていません。

ただし、OpenAIは判定の基準を細かく公開していません。小説の描写、医療や性教育の質問など、境界に近い話題がどう扱われるかは、現時点で公式には説明されていません。

ChatGPTの警告画面には次の文が表示されると報じられています(PPC Landが画面を引用)。

Content that sexualizes children is harmful and can be illegal, whether AI-generated or not.

(AIで作ったものかどうかに関係なく、子どもを性的に扱うコンテンツは有害で、違法になりうる)

警告が出てから24時間後までの流れ

24時間の停止期間をイメージした砂時計

警告が出ると、その会話は終わり、アカウントからサインアウトされます。警告を確認しても、24時間たつまでアクセスは戻りません。OpenAIのヘルプ記事の抜粋と報道をもとに、流れを表にしました。

段階

起きること

検知した直後

会話が止まる。ログイン中なら、その会話は履歴から消え、再開できない

警告画面

CSAMは有害で違法になりうるという警告と、無料の専門支援への案内(「Find support」ボタン)が出る

停止中

サインアウトされる。警告に同意してもアクセスは戻らない

24時間後

ChatGPTへのアクセスが戻る(OpenAIは「一時停止」と位置づけている)

繰り返した場合

「If this activity continues, we'll permanently close your account.」(続けた場合はアカウントを永久に閉鎖する)という警告。停止期間の延長、永久閉鎖、当局への通報がありうる

「Find support」から案内される支援先として、ヘルプ記事ではReDirection、Troubled Desire、Stop It Nowが挙げられています。いずれも、子どもへの性的な関心に悩む人が匿名で相談できる海外の支援窓口です。警告文と支援への案内は、Protect Children、Lucy Faithfull Foundationなどの専門団体や研究者と一緒に作られました。OpenAIは、できるだけ多くの国でその国の窓口を案内したいとしています。

警告画面は「アカウントを停止した」と書いていますが、公式ブログは「アクセスの一時停止(pausing access)」と書いています。表現に差がある点はPPC Landも指摘しています。ヘルプ記事の抜粋では、一時停止になっただけで永久閉鎖が決まるわけではないとされています。ただし、別の審査で利用ポリシー違反が見つかれば永久閉鎖になることがあり、その場合は停止期間が終わってもアクセスは戻りません。どの報道も期間を「24時間」と書いていますが、毎回必ず24時間なのか、状況によって変わるのかは公式にははっきりしません。

これまでの措置と何が変わったか

NCMEC(全米行方不明・被搾取児童センター)のロゴ

出典: NCMEC 公式サイト

OpenAIがCSAMに対応するのは今回が初めてではありません。変わったのは、いきなりアカウント禁止(BAN)にするのではなく、「警告・24時間停止・支援への案内」という段階を間に置いた点です。

項目

発表前から続いている措置

2026年11月に加わった措置

生成・アップロード

CSAMの生成・アップロードはブロック

変更なし

アカウント

CSAMを生成・アップロードしようとしたアカウントは禁止(BAN)

CSAMを求める入力を検知すると、まず警告と24時間停止

会話

ブロックされる

会話が止まり、履歴から消える

利用者への案内

特になし

専門の支援窓口へ案内

繰り返した場合

BAN

停止期間の延長・永久閉鎖・当局への通報がありうる

NCMECへの報告

サービス上で見つけたCSAMはすべて報告

変更なし

OpenAIの透明性レポートによると、2025年7〜12月にNCMECのCyberTiplineへ送った報告は107,817件でした(OpenAI Child Safety Report 2025 H2)。

今回の発表は、OpenAIがこの1年ほど進めてきた未成年保護の流れの中にあります。年齢予測や10代向けの設定はChatGPT for Teensの解説、保護者が子どもの利用を管理する機能はChatGPTのペアレンタルコントロールで整理しています。

対象範囲:個人アカウントが中心で、未確認の点も多い

警告と24時間停止が確実に対象になるのは、個人向けのChatGPTアカウントです。ヘルプ記事の抜粋では、ChatモードとWorkモード、Webとモバイルアプリが対象で、ログインせずに使っている人にも警告が出ることがあるとされています。

項目

2026年11月17日時点の状況

個人向けアカウント(Chat・Workモード)

対象

Web・モバイルアプリ

対象

ログインなしの利用

警告が出ることがある

Free・Go・Plus・Proのプラン差

公式の明記なし(報道は個人アカウント全般として扱っている)

Enterprise・Edu・Businessなどの組織向けワークスペース

公式に確認できず

日本での展開

段階的に展開し、国によって表示が違うとされる。日本ですでに適用されているかは未確認

何回目で永久閉鎖になるか

公表されていない

停止中の課金・データの書き出し

公式の記載なし

会社でChatGPTを使っている場合は、自社がどの契約形態で使っているかを確かめておくと、社員から問い合わせがあったときに説明しやすくなります。

誤判定が心配なときの異議申し立てと注意点

ヘルプ記事の抜粋によると、24時間の一時停止に納得できない場合は、停止を知らせるメールにある異議申し立てのリンクから申し立てます。複数の措置について別々のメールが届いたときは、見直してほしい措置のメールにあるリンクを使います。ただし、異議を出してもアクセスは自動では戻りません。審査にかかる時間も公表されていません。

アカウントの停止・閉鎖全般について、OpenAIのヘルプセンターが案内している窓口は次の3つです。

  1. 停止を知らせるメールにあるリンクから異議を申し立てる
  2. メールを確認できない場合は、異議申し立てフォーム(openai.com/form/appeal)を使う
  3. メールが届かず、ログインもできない場合は、ヘルプセンターのチャットで問い合わせる

OpenAIのコミュニティフォーラムには、2026年6月ごろから「児童の性的搾取」を理由とする停止を誤判定だと訴える投稿がいくつかあります。ただし、これは今回の24時間停止とは別の、従来の永久停止についての個人の投稿で、OpenAIが誤判定を認めたわけではありません。

それでも、こうした投稿を読むと、業務で使うときに気をつけたい点がわかります。

  • 他人の入力を自分のアカウントで処理しない: 翻訳bot、チャットのモデレーションbot、APIの中継サービスなどを1つのアカウントで動かすと、利用者の入力が自分のアカウントの違反として扱われるおそれがある
  • APIでは利用者ごとに識別子を送る: OpenAIはsafety_identifierパラメータに利用者ごとの固定値(メールアドレスなどはハッシュ化したもの)を送るよう推奨している。違反した利用者とサービス全体を分けて扱ってもらいやすくなる
  • 個人アカウントに業務を寄せすぎない: 停止が業務の停止に直結しないよう、組織向けプランやAPIとの使い分けを決めておく

生成AIを使うときのリスク全般は生成AIのセキュリティリスク、社内導入で決めておくべきことは生成AIを社内に導入するときのセキュリティ設計で詳しく解説しています。

このツールを自社のシステムや業務にどう組み込むか、ご提案します

初回相談は無料・30分(オンライン)。要件が決まっていなくても大丈夫です。改修100万円〜・PoC300万円〜(税別)

開発者・企業向け:CSAM Image Classifierとガイドの要点

開発者がコードを表示した複数のモニター

画像生成や画像アップロードの機能を持つサービスを作る企業向けに、OpenAIは分類器とガイドを用意しました。分類器は無償ですが、審査を通った組織だけが使えます。ガイドは誰でも読めます。

CSAM Image Classifierの仕組みと使える組織

分類器は、画像の見た目の特徴からCSAMの疑いを判定するモデルです。既知の画像と照合するハッシュ照合(PhotoDNAなど)と違い、まだ見つかっていない画像やAIで生成した画像も拾えるのが特徴です。

方法

判定の仕組み

得意なこと

限界

ハッシュ照合(PhotoDNAなど)

既知のCSAM画像の指紋と照合

既に確認された画像を確実に見つける

新しい画像・AI生成画像は見つけられない

Moderation API(omni-moderation-latestのsexual/minors)

テキストを分類

入力文のチェック

テキストだけ。画像のCSAM検出の代わりにはならない

CSAM Image Classifier

画像の特徴から判定

新しい画像・AI生成画像の検出

静止画のみ。スコアだけではCSAMと断定できない

利用には、申請、本人確認、オンボーディング、利用規約への同意が必要です(OpenAI 開発者向けCSAMガイド)。審査基準や承認された組織の数は公表されていません。小規模な事業者やオープンソースのプロジェクトがすぐ使える状況ではない、という指摘もあります。OpenAIは、業界団体のTech CoalitionやROOSTを通じて、使える組織を広げていくとしています。

モデルカードで公開されている数値

OpenAIは分類器のモデルカードで、精度と限界を公開しています。

項目

likely-csam(CSAMの疑い)

likely-csam/gen-ai(AI生成CSAMの疑い)

既定のしきい値

0.996324

0.90

適合率(オフライン評価)

0.991

1.000

再現率(オフライン評価)

0.802

0.864

公開ウェブ画像約125万枚での誤検知

5件

0件

数値が高く見えても、使うときには次の限界を踏まえる必要があります。

  • 実際のChatGPTの通信で評価すると、CSAMがまれなため、適合率はオフライン評価より大きく下がる
  • 乳児と推定された画像の再現率は0.493で、およそ半分を見逃す。黒人・男性と推定された画像でも再現率が低い
  • 動画は検証されていない
  • モデルカードは「A classifier score alone does not confirm that an image is CSAM」(スコアだけではCSAMと確定しない)と明記している。ハッシュ照合、行動の分析、訓練を受けた人のレビューと組み合わせるのが前提
  • 分類器のAPIに送った画像は保持されず、学習や評価にも使われない

OpenAIは「既存ツールとほぼ同じ数の虐待画像を見つけながら、フラグが立つ画像は約48%少ない」と説明し、提携先の画像生成サービスfalは「確信度の高いフラグの72%が新規のCSAMと確認された」と公表しています。いずれもOpenAIや提携先の自己申告で、独立した検証はまだありません。

自社サービスで準備しておきたいこと

開発者向けガイドは、対策を「防ぐ・見つける・対応して報告する」の順に整理しています。メッセージ、アップロード、画像編集、ライブ配信、決済の機能を持つサービスは特にリスクが高いとされます。

  1. 利用規約でCSAMを明記して禁止し、目立つ通報窓口を置く
  2. APIの呼び出しにsafety_identifierを付ける(Images APIでは生成と編集で同じ値を送る)
  3. 画像はハッシュ照合と分類器を組み合わせて確認し、違反者は永久に締め出す(作り直しによる回避への対策も含む)
  4. 報告と記録の手順を決める(報告先への登録、証拠の保存、対応手順書、人によるレビュー)
  5. レビュー担当者の心のケアを用意する

ガイドは「出発点であり、法的助言ではない」と明記しており、報告義務は国や地域で異なります。日本で画像を扱うサービスを出すなら、弁護士など専門家の確認が欠かせません。アプリストアでの審査ルールはApp Store審査ガイドラインのAIディープフェイク規定も参考になります。

モデレーションや分類器のような新しいモデル・機能を自社の業務システムに組み込む場合は、作り方によって開発の範囲と費用が大きく変わります。方法ごとの費用感はAI開発の費用相場で確認できます。

日本の法律との関係(一般論)

ChatGPTの警告文は「AI生成かどうかに関係なく違法になりうる」としていますが、日本の法律の扱いとそのまま同じとは限りません。ここでの整理は報道に基づく一般論で、法的な判断ではありません。

  • 日本の児童ポルノ禁止法は、実在する児童を対象にしている
  • 2026年6月、名古屋地裁は、実在する児童の写真を生成AIで加工した裸の画像の所持を児童ポルノと認め、元小学校教諭に懲役3年6か月の判決を言い渡したと報じられている(OECD AI Incidents)。生成AIで作った性的ディープフェイクを児童ポルノと認めた初の判断とみられている
  • 実在しない児童をAIで描いた画像を直接規制する法律は、現時点で確認できていない。立法の議論は続いている

違法かどうかとは別に、ChatGPTの利用規約ではこうしたコンテンツの生成は禁止されており、警告・停止・閉鎖の対象になります。日本で違法なコンテンツを見つけた場合は、警察庁の委託で運営されているインターネット・ホットラインセンターに通報できます。

他社のCSAM対策との違い

CSAMの生成を禁じ、見つけた場合に報告する方針は、主要なAI企業でおおむね共通しています。違いが出るのは、利用者への介入のしかたです。OpenAIの今回の措置は、いきなり禁止するのではなく、警告・短期の停止・支援への案内を挟んで「思いとどまらせる」ことに重点を置いています。

サービス

主な特徴

関連記事

ChatGPT(OpenAI)

CSAMを求める入力に警告と24時間停止、支援への案内。分類器を他社にも提供

―

Grok(xAI)

子どもを含む性的画像の生成が問題になり、訴訟に発展

Grok画像生成のCSAM訴訟

Claude(Anthropic)

日本語ヘルプに「CSAM検出と報告」のページがある。年齢制限に基づく未成年アカウントの停止も行う

Claudeの年齢制限と未成年アカウントの停止

OpenAIの安全への姿勢をめぐる社内の動きはOpenAIの安全担当者の退社でも取り上げています。

この措置を特に気にしなくてよい人・確認しておきたい人

ほとんどの利用者にとって、今回の措置で使い方を変える必要はありません。ただ、立場によっては確認しておきたい点があります。

特に気にしなくてよい人

  • 仕事の文書作成、調べもの、学習など、一般的な用途でChatGPTを使っている人
  • 子どもについての相談を、教育・健康・子育ての文脈でしている保護者や教員

確認しておきたい人

  • 自分のアカウントで他人の入力を処理するbotや中継サービスを動かしている人
  • 社内のChatGPT利用を管理していて、停止時の連絡体制や契約形態を決める立場の人
  • 小説や創作で、未成年の登場人物と性的な表現が近づく作品を書いている人(判定基準が公開されていないため、境界に近い依頼は避けたほうが安全)

分類器の申請を検討したい組織

  • 画像生成や画像アップロード、メッセージ機能を持つサービスを運営していて、ハッシュ照合だけでは新しい画像やAI生成画像を拾えない組織

分類器がまだ合わない組織

  • 審査や本人確認の手続きに対応できる体制がない小規模なチームや個人の開発者
  • 動画が中心のサービス(分類器は動画で検証されていない)
  • 人によるレビューを置かず、分類器のスコアだけで自動処理したい組織

よくある質問

24時間停止中も、有料プランの料金はかかりますか?

公式の記載はありません。24時間の一時停止で契約が解除されるという説明もないため、契約はそのまま続くとみられますが、返金や日割りの扱いは確認できていません。気になる場合はOpenAIのヘルプセンターに問い合わせてください。

停止された理由を詳しく教えてもらえますか?

どの入力が判定の決め手になったかを、OpenAIが個別に説明するかどうかは公表されていません。警告画面では、子どもを性的に扱うコンテンツが有害で違法になりうることと、支援窓口が示されます。

日本の個人がCSAM Image Classifierを試すことはできますか?

できません。分類器は審査を通過した組織にだけ提供されています。日本企業が申請できるかどうかも、現時点では公式に明記されていません。

子どもの写真をChatGPTにアップロードしただけで停止されますか?

子どもが写っていることだけを理由に停止されるという説明はありません。対象は児童を性的に扱うコンテンツを求める行為です。とはいえ、子どもの写真には個人情報の問題もあるため、必要がなければアップロードしないのが無難です。

家族と同じアカウントを共有していたら、誰の入力でも停止されますか?

停止はアカウント単位で行われるため、共有アカウントでは誰が入力しても同じアカウントが対象になります。そもそもOpenAIの規約ではアカウントの共有は認められていないので、家族でも1人1つのアカウントを使い、子どもには保護者の管理機能を設定するのが基本です。

まとめ

ChatGPTは2026年11月から、CSAMを求める入力を検知すると、会話を止めて警告を出し、24時間アクセスを止めるようになりました。繰り返すと永久閉鎖や当局への通報がありうる一方、一般的な使い方で対象になる措置ではありません。

  • 停止中はサインアウトされ、その会話は履歴から消える。警告に同意しても24時間は戻らない
  • 対象は個人向けアカウントが中心。組織向けプラン、日本での展開状況、永久閉鎖の基準はまだ公式に確認できていない
  • 誤判定が心配なときは、停止通知メールのリンクから異議を申し立てる。業務では他人の入力を自分のアカウントで処理しない設計が大切
  • 開発者向けのCSAM Image Classifierは審査制で無償。静止画のみで、スコアだけで判断せず、ハッシュ照合と人のレビューと組み合わせる

段階的に展開されている措置のため、日本での表示や対象プランは今後変わる可能性があります。ChatGPTを含む生成AIの全体像は生成AIとはで整理しています。

このツールを自社のシステムや業務にどう組み込むか、ご提案します

この記事の著者

AI革命

AI革命

編集部

AI革命株式会社の編集部です。最新のAI技術動向から実践的な導入事例まで、企業のデジタル変革に役立つ情報をお届けしています。豊富な経験と専門知識を活かし、読者の皆様にとって価値のあるコンテンツを制作しています。

AI・システム開発は、開始価格を公開しています

既存システムの改修 100万円〜・PoC 300万円〜(税別)。相談内容を送っていただくと、2営業日以内に担当者からご返信します