AIツール2026年8月更新

Grok CSAM訴訟が拡大|Jane Doe 4の訴えとxAI(SpaceXAI)が抱える6件の法的措置・nudification規制【2026年8月最新】

公開日: 2026/08/17
Grok CSAM訴訟が拡大|Jane Doe 4の訴えとxAI(SpaceXAI)が抱える6件の法的措置・nudification規制【2026年8月最新】

この記事のポイント

Grokの画像生成をめぐるCSAM(児童性的虐待コンテンツ)集団訴訟が2026年8月に拡大。11歳当時の写真から7,000枚超を生成されたと訴えるJane Doe 4の主張、xAI(SpaceXAI)が抱える少なくとも6件の法的措置、ミネソタ州法・EU AI Act・日本の現在地を出典付きで整理します。

Grokの画像生成機能をめぐるCSAM(児童性的虐待コンテンツ)集団訴訟は、2026年8月時点で原告が5人に拡大し、xAI(2026年7月にSpaceXAIへ改称)は米国・英国・EUで少なくとも6件の重大な法的措置に直面していると報じられています。2026年8月15日には、11歳当時に撮影された1枚の写真を素材に7,000枚超の性的画像を生成されたと訴える原告「Jane Doe 4」のケースが報じられ、訴訟の性質が改めて注目されました。

争われているのは「誰が悪用したか」だけではありません。原告側は「業界標準のセーフガードを実装しないまま画像生成機能を設計・販売したこと自体が責任である」と主張し、xAI側は悪用したユーザーを自ら提訴して「責任はユーザー側にある」という立場を取っています。同じ問題について、責任の所在が正反対の方向から争われているのが2026年8月時点の状況です。

⚠️ 記述にあたっての注意

  • 訴状に書かれている内容は原告側の主張であり、裁判所が認定した事実ではありません。「〜と主張している」と明示して記載します。
  • xAI(SpaceXAI)は多くの報道でコメント要求に応答していません。「否定した」「反論した」という記述は避けています。
  • 実在の被害当事者がいるテーマです。生成された画像の描写、生成手法や制限の回避方法については一切記載しません。
  • 2026年8月17日時点で確認できる公開情報に基づく整理であり、法的助言ではありません。

xAI・SpaceXAI・Grokという名前の関係

Grokの公式ロゴ。xAIからSpaceXAIへの改称後もGrokのブランド名は維持されている

出典: Grok公式サイト(grok.com)

本件を追うと「xAI」「SpaceXAI」「SpaceX」「X Corp.」という複数の企業名が混在します。これは組織再編の結果であり、Grokというブランド名自体は維持されています。

時期

企業体の状況

〜2026年2月1日

xAI(独立企業)がGrokを開発・提供

2026年2月2日

SpaceXがxAIを株式交換で吸収合併(合算評価額は約1.25兆ドルと報じられた)

2026年6月12日

Nasdaq上場(ティッカー:SPCX)

2026年7月6日

正式にSpaceXAIへリブランド。Grokの名称はそのまま維持

そのため、訴訟の被告名は提訴時点の法人名(X.AI Corp. / x.AI LLC / X Corp. / SpaceX)が案件ごとに異なります。本記事では読みやすさのため、当時の呼称に合わせて「xAI」と表記し、必要な箇所で現社名を補足します。なお合併・上場の数値は複数の二次報道ベースであり、公式IR資料での一次確認は行えていません。

Grok自体の機能や料金の全体像はGrokとは?特徴・料金・使い方を解説、本件の中心にある画像・動画生成機能についてはGrok Imagineとは?できること・制限を整理で扱っています。

用語の整理

用語

意味

CSAM

Child Sexual Abuse Material(児童性的虐待コンテンツ)。国連やNCMECは「児童ポルノ」より本用語を推奨している

NCII

Non-Consensual Intimate Imagery(同意のない性的画像)。性的ディープフェイクを含む

nudification

実在人物の着衣画像を加工・生成して「脱がせた」ように見せる行為・技術。米ミネソタ州法では「認識可能な人物の画像を改変して intimate parts を露出させること」と定義される

spicy mode

Grok Imagineに設けられたNSFW寄り出力を許容するモード。本件の中心的な争点になっている

Jane Doe 4 の訴え:11歳当時の写真から7,000枚超という主張

2026年8月15日にTechCrunchが報じたJane Doe 4のケースは、既存の集団訴訟に追加された原告の訴えです。以下はすべて訴状に記載された原告側の主張です。

項目

内容(原告側の主張)

原告

Jane Doe 4(匿名)。報道ではワイオミング州在住の女性とされる

加害者とされる人物

本人の継父

素材とされた画像

本人が11歳のときに撮影された childhood 写真1枚

生成されたとされる枚数

Grokで7,000枚超の性的な偽画像

拡散

生成物がオンライン上で共有・取引された

Grokが使われた理由

訴状は「他のAIモデルより制限が緩く(less restrictive)、前思春期の未成年が写った画像を用いた生成要求に応答した」ため選ばれたと主張

発覚の経緯

法執行機関が令状を持って実家を捜索し、継父の電子機器からCSAMを発見

その後

捜索の2日後、継父が死亡しているのが発見された(自死と報じられている)

企業対応への主張

xAIは元画像についてはNCMEC(全米行方不明・被搾取児童センター)に報告したものの、生成画像のコピーやIPアドレスなど社内記録の重要情報を法執行機関に提供しなかったと主張

現状

生成物は現在もオンラインで流通し続けていると主張

原告本人の言葉として、「これらのツールへの無制限なアクセスがあまりに速く広がっている。日常生活そのものが児童性的虐待に変えられている」というコメントが報じられています。TechCrunchはxAIにコメントを求めていますが、記事には回答が掲載されていません。

同時に追加された原告 Jane Doe 5 は、中学2年(eighth-grade)の卒業写真を素材に画像を生成されたと主張しています。SNSに自ら投稿した写真ではなく、学校関連の写真が素材にされたという構造は、日本で「卒アル問題」と呼ばれている被害と同型です。

なお、Elon Musk氏は過去に「Grokが生成した未成年のヌード画像については一切認識していない」「Grokは違法なコンテンツの生成を拒否する」と述べていました。この発言と訴状の主張は正面から食い違っていますが、どちらが事実かを判断するのは裁判所です。

2025年12月から2026年8月までの経緯【年表】

日本語記事の多くは2026年3月の提訴時点で情報が止まっています。ここでは、問題が可視化された2025年12月末から2026年8月17日までを一本の流れとして整理します。

時期

出来事

2025年12月下旬〜2026年1月上旬

第三者団体CCDHが、11日間でGrokの画像ツールにより約300万枚の性的画像が生成され、うち約23,000枚が未成年とみられる人物を描写していたと推定

2026年1月12日

英Ofcomが、オンライン安全法(OSA 2023)に基づきXを正式調査。法的拘束力ある情報提供命令を発出

2026年1月14〜16日

Ashley St. Clair氏がxAIを提訴。カリフォルニア州司法長官Rob Bonta氏が調査を開始し、1月16日に停止命令(cease and desist)書簡を送付

2026年1月15日

xAIがGrokアカウントによる実在人物画像の編集機能を制限。Grokの公式アカウントが「セーフガードの不備を確認し緊急に修正中。CSAMは違法かつ禁止」と投稿

2026年1月16〜17日

日本政府がXに書面での報告を要求(小野田紀美AI戦略担当大臣)。翌17日、X日本法人が対策を公表

2026年1月26日

欧州委員会がDSAに基づきXへの正式手続を開始

2026年1月27日

35州の司法長官が連名で保護措置を要求

2026年1月〜

露骨な画像生成を有料サブスクリプション限定に制限(機能自体は停止せず)

2026年3月16日

テネシー州の10代女性3人がxAIを相手取り、カリフォルニア州北部連邦地裁に集団訴訟を提起

2026年3月24日

ボルチモア市がX Corp. / x.AI Corp. / x.AI LLC / SpaceXを消費者保護条例違反で提訴

2026年3月26日

オランダ・アムステルダム地裁が、同意なきヌード画像の生成停止を命令(違反時は1日10万ユーロの制裁金)

2026年5月7日

ミネソタ州知事がnudification技術禁止法に署名。同日未明、EUではAI Actでnudifierアプリを禁止する暫定合意

2026年5月19日

米連邦TAKE IT DOWN Actの通知・削除義務が発効

2026年5月

xAIがNCII専用の通報・削除プロセスを公表

2026年6月3日

英国の労働党下院議員Jess Asato氏が英高等法院に訴え

2026年6月26日

xAIの改訂版 Acceptable Use Policy と消費者向け規約が発効

2026年7月6日

SpaceXAIへのリブランド。Grok FAQを更新し「NSFWを有効化してもモデレーションは無効化されない」と明記

2026年7月7日

集団訴訟の修正訴状を提出。原告が3人→5人に拡大し、被告にStability AIを追加

2026年7月15日

xAI自身がユーザー(Terry Harwood氏)を提訴

2026年7月下旬

xAIがミネソタ州法の差止を求めて提訴。連邦判事は差止請求を却下

2026年8月1日

ミネソタ州nudification禁止法が予定どおり施行

2026年8月12〜14日

Resemble AIが「2026年上半期ディープフェイク脅威レポート」を公開。特定できたディープフェイクの87%がGrok由来と報告

2026年8月15日

Jane Doe 4 のケースが報道され、訴訟拡大が広く認知される

集団訴訟の中身:原告3人から5人へ、被告にStability AIが追加

集団訴訟(Doe et al. v. X.AI Corp.)の骨子は、「xAIが業界標準のセーフガードを実装しないまま、実在人物の性的に露骨なコンテンツを生成できる画像・動画ジェネレーターを意図的に設計・販売し、そこから利益を得た」という製品設計責任の主張です。

項目

内容

提訴日

2026年3月16日(2026年7月7日に修正訴状)

裁判所

米連邦地裁カリフォルニア州北部地区(N.D. Cal.)に係属。担当は P. Casey Pitts 判事と報じられている

原告

当初はテネシー州の10代女性3人(うち1人は未成年)。修正訴状で5人に拡大

原告代理人

Lieff Cabraser Heimann & Bernstein、Baehr-Jones Law

訴因

13の訴因。児童性的虐待コンテンツの頒布に関する主張から、故意による精神的苦痛の付与(IIED)まで

主張の中心

学校写真・家族写真といった「普通の写真」を素材に性的画像が生成された点

被告の追加

修正訴状で Stability AI を追加

事件番号については、公開データベースへの直接アクセスが確認できず対応関係を特定できていないため、本記事では「カリフォルニア州北部連邦地裁に係属」という範囲に留めます。また、Musk氏個人が被告に含まれるかは報道によって記述が揺れており、断定は避けます。却下申立て(motion to dismiss)や通信品位法230条・修正第1条を用いた抗弁の有無も、現時点では確認できていません。

Stability AI に対する主張

追加された被告Stability AIについて、訴状は次の点を主張していると報じられています。

  • 学習データにCSAMが含まれていると認識しながら Stable Diffusion 1.0 を公開した
  • 「制限が不評」というユーザーの声を受け、バージョン2.0でセーフガードを後退させた
  • 結果として、jailbreak(セーフガード回避)されたnudifyアプリのエコシステムを可能にした

つまりこの訴訟は「Grok固有の問題」ではなく、画像生成モデルの設計と公開のあり方そのものを争点にしている点が特徴です。セーフガード回避の深刻度をどう評価するかという業界側の議論はAnthropicのjailbreak深刻度フレームワーク、出力段でのフィルタリングという技術的対策はShieldstralとは?安全性分類モデルの役割でも触れています。

xAI(SpaceXAI)が抱える主な法的措置【一覧表】

カリフォルニア州司法省のプレスリリース。2026年1月16日にxAIへ停止命令書簡が送付されたと公表されている

出典: California Office of the Attorney General 公式プレスリリース

複数メディアは、2026年8月時点でxAIが少なくとも6件の重大な法的措置に直面していると整理しています。ただし数え方によって内訳は入れ替わるため、ここでは性質別に並べます。

#

案件

時期

裁判所・当局

主張の要点

1

Ashley St. Clair 氏の訴訟

2026年1月14〜16日

ニューヨーク

同意なくGrokで性的ディープフェイクを生成された。アカウント収益化停止という報復も主張。xAI側は利用規約違反で反訴

2

サウスカロライナ州の集団訴訟(提案)

2026年1月

未特定

同意なき画像生成と、削除対応の遅延

3

CSAM集団訴訟(Jane Does 1〜5)

2026年3月16日/7月7日修正

N.D. Cal.

学校写真・家族写真からのCSAM生成。被告にStability AIを追加

4

ボルチモア市による提訴

2026年3月24日

ボルチモア市巡回裁判所

消費者保護条例違反。民事制裁金と差止めを請求

5

Jess Asato 英下院議員の訴え

2026年6月3日

英国高等法院

同意なきディープフェイクを生成された。英国のデータ保護法・プライバシー法違反

6

オランダ・アムステルダム地裁の命令

2026年3月26日

アムステルダム地裁

同意なきヌード画像の生成停止命令。違反時は1日あたり10万ユーロの制裁金

このほか、ペンシルベニア州バックス郡の案件(2026年6月11日にXを被告に追加。Grokで児童搾取画像を作成したとされる男性の刑事逮捕が発端)や、2026年8月1日のミネソタ州法施行週に新たな法的アクションが提起・エスカレートしたとの報道もあります。

訴訟とは別枠で進む規制当局の動き

当局

時期

内容

英 Ofcom

2026年1月12日〜

オンライン安全法に基づくXの正式調査。2026年8月時点で結論は未発表

欧州委員会

2026年1月26日〜

DSAに基づく正式手続。GrokのX統合に伴うリスク評価・低減措置と推薦システムを審査

アイルランド DPC

2026年1月〜

GDPRに基づく調査

カリフォルニア州司法長官

2026年1月14日調査開始/16日 停止命令書簡

州民事法§1708.86、刑法§311等を根拠に、5日以内の是正措置確認を要求

35州の司法長官

2026年1月27日

連名書簡で保護措置を要求

FTC

2026年

nudifyツールを提供する12社に警告書簡

州司法長官がAI企業を調査対象にする動きはxAIに限りません。生成AIの安全性をめぐる同種の調査はOpenAIにも及んでおり、OpenAIへの州司法長官調査元安全エンジニアによるxAI提訴とあわせて見ると、2026年は「AI企業の安全ガバナンスが法的責任として問われた年」という位置づけになります。

訴えられる側でもあり、訴える側でもある

本件で見落とされがちなのは、xAIが原告として2件の訴訟を起こしている点です。

案件

時期

裁判所

内容

xAI v. Terry Harwood

2026年7月15日

テキサス州北部連邦地裁

サウスカロライナ州の男性がGrokを悪用してCSAMを生成したとして、xAI自身がユーザーを提訴。「原告のツールを犯罪目的に武器化する計算された企て」と主張し、損害賠償、被害者から訴えられた際の防御費用の求償、Grok利用の永久禁止を請求

ミネソタ州nudification法への差止訴訟

2026年7月下旬

ミネソタ州連邦地裁

同州法を「表現の自由と視覚的表現の道具に対する、過度に広範な内容規制型の禁止」と主張。連邦判事は差止請求を却下

「CSAM問題で訴えられている企業が、CSAM問題でユーザーを訴えた」という構図は、Techdirtなどが皮肉を込めて報じました。一方でxAI側は「すでにNCIIの生成を制限しており、広範な技術的ブロックを回避したユーザーを提訴している」という立場を示しています。企業としては「悪用したユーザーの責任」を、原告側は「悪用を容易にした製品設計の責任」を主張しており、責任の所在が正反対の方向から争われています。

xAIは訴訟資料等で、2026年にアカウント停止52,222件、NCMEC報告73,604件、少なくとも244件の逮捕への寄与という執行実績を主張しています。ただしこれは同社の自己申告値で、第三者による検証は確認できていません。

nudification規制はどこまで進んだか【国際比較】

欧州議会。EUはAI Actでnudifierアプリを禁止する方向で暫定合意し、コンプライアンス期限は2026年12月2日とされる

出典: European Parliament 公式プレスリリース

2026年に入り、nudification/NCIIに対する規制は米国・EU・英国で急速に具体化しました。日本を含めて横並びで整理します。

地域・法令

施行・期限

規制対象

制裁・執行

米連邦:TAKE IT DOWN Act

2026年5月19日(通知・削除義務が発効)

同意なき性的描写。プラットフォームに削除申請窓口の設置を義務付け

申請から48時間以内に当該画像と同一コピーを削除する義務。執行主体はFTC

米ミネソタ州:nudification技術禁止法

2026年5月7日署名/2026年8月1日施行(全米初)

同意なくヌード画像を生成するサイト・アプリへのアクセス・利用、およびnudification製品の宣伝

1違反あたり最低50万ドルの損害賠償請求が可能。州議会は下院132対1、上院65対0で可決

EU:AI Act(nudifierアプリ禁止)

2026年5月7日暫定合意/コンプライアンス期限 2026年12月2日

①CSAMを生成するAI、②特定可能な人物の intimate parts を同意なく描写するAI、③同意なく性的に露骨な行為を描写するAI(画像・動画・音声)

①EU市場への上市、②防止のための合理的安全措置を欠くシステムの上市、③展開者による当該生成の3類型を禁止。電子透かし義務の適用日も2026年12月2日に整理された

英国

2026年2月6日(Data (Use and Access) Act 2025 第138条施行)

同意なき偽の性的画像の作成および作成の依頼を犯罪化

nudificationツール自体を禁止する法整備を優先課題として推進中(Crime and Policing Billの修正案が議会に係属)

日本

2026年8月時点で、AI生成CSAMを直接名指しした専用法は確認できず

実在児童の画像を素材にした場合は児童ポルノ禁止法の射程に入り得る。名誉毀損、わいせつ物頒布等、著作権法違反などが問われ得る

総務省・AI戦略担当大臣がXに対応を要請。プラットフォーム側の自主対応と既存法の適用が中心

ミネソタ州法をめぐっては、xAIが「最大500億ドル規模の賠償リスクにさらされる」と警告したと報じられていますが、これは二次報道ベースの数値です。差止請求は却下され、法律は予定どおり施行されましたが、憲法上の争点自体は未解決のまま係属しています。同州の Jess Hanson 下院議員は「子どもを性的搾取から守るための法律と戦っているのは全く忌まわしい」と述べたと報じられています。

日本におけるAIと人格権(肖像・声・氏名)の扱いはAIと声の権利をめぐる日本のガイドラインでも整理しています。

数字はどこから出ているのか:出所別の整理

AI Forensicsの調査プロジェクト「Grok Unleashed」。サンプリングによる実測データを公表している

出典: AI Forensics「Grok Unleashed(updated)」

本件では複数の数字が飛び交っており、報道によって混在しています。誰が出した数字かを区別しないと、実態を見誤ります。

出所

性質

主な数字

CCDH(Center for Countering Digital Hate)

第三者NPOの推計

2025年12月29日〜2026年1月8日の11日間で約300万枚の性的画像が生成されたと推定。うち約23,000枚が未成年とみられる人物を描写。spicy modeがペイウォールなしだった9日間に20,000枚超

AI Forensics(欧州のAI監査NPO)

サンプリングによる実測

20,000枚のサンプルのうち約半数が「最小限の衣服」の人物を描写。2026年1月中旬までに10%未満へ低下(セーフガード実装を示唆)。X経由よりGrok.com/アプリ経由のほうが露骨な出力が出やすいとの差も報告

Reuters

統制実験

実在人物の性的画像生成を試みた55回中45回、Grokが自社の安全フィルタを回避したと報告(2026年1月)

IWF(英 Internet Watch Foundation)

専門アナリストの確認

Grokが生成した画像に、英国法上CSAMに該当するものが含まれることを確認(2026年1月)

Resemble AI

商用ベンダーのレポート

2026年上半期に特定できたディープフェイクファイルのうち87%がGrok由来。確認された被害者は少なくとも15,736人、攻撃件数821件、合成ファイル約346万点、記録された経済損失6,950万ドル(2026年8月12日公開)

xAI(SpaceXAI)

企業の自己申告

2026年にアカウント停止52,222件、NCMEC報告73,604件、少なくとも244件の逮捕に寄与

読み方のポイントは3つです。第一に、CCDHの300万枚は推計であり実測ではありません。第二に、AI Forensicsのデータは「1月中旬に露骨な出力の比率が下がった」というセーフガード実装の裏付けにもなっており、状況は固定ではなく変動していることを示しています。第三に、Resemble AIの「87%」は同社が特定できたファイル母集団に対する比率であり、世界全体のディープフェイク総量に対する比率ではありません。

技術的な背景としては、OpenAIやAlphabetが多層的な拒否フィルタを用いるのに対し、Grokの2025年後半のアップデートはより許容的な生成モデルを統合し、セーフガード回避に脆弱だったとの指摘があります。カリフォルニア州司法長官室は「spicy mode が禁止コンテンツ生成の入口として機能した」と主張しています。

日本での動き:政府の要請、X日本法人の対応、そして「卒アル問題」

警察庁。未成年が関わる性的ディープフェイク事案の統計や啓発資料を公開している

出典: 警察庁 公式サイト

日本でも2026年1月に政府が動いています。英語圏の記事にはほぼ出てこない部分です。

日付

出来事

2026年1月9日

林芳正総務大臣が、Grokによる性的画像加工は肖像権・名誉・プライバシーの侵害になり得ると発言。総務省としてXに適切な対応を促すと表明

2026年1月16日

小野田紀美AI戦略担当大臣が閣議後会見で、同意なく生成・加工された画像についてXに書面での報告を要求。政府として法的措置も検討していると説明(Bloomberg報道)

2026年1月17日

X日本法人が対策を公表。実在人物のヌード生成・脱衣加工を防ぐ技術を全世界の全ユーザーに適用し、24時間監視体制と法執行機関との連携を説明

日本の「卒アル問題」

Jane Doe 5 が主張する「中学2年の卒業写真を素材にされた」という被害構造は、日本で報じられている「卒アル問題」と同じです。

  • 警察庁の統計では、2025年1〜9月に未成年が関わる事案が約80件確認され、うち8割超が中高生
  • 加害者の半数が同級生や同じ学校の生徒
  • 素材はSNS投稿だけでなく、学校配布タブレットの写真や卒業アルバムそのもの

つまり、自分がSNSに写真を投稿していなくても被害に遭い得るという点が、この問題の最も重要な性質です。警察庁も啓発資料を公開しており、「スマホがあれば誰でも加害者になり得る」という点が強調されています。

日本の法的な現在地(2026年8月時点で確認できる範囲)

  • 性的ディープフェイクの作成・拡散は、名誉毀損罪、わいせつ物頒布等罪、著作権法違反、児童ポルノ禁止法違反などに問われ得ると解説されています
  • 一方で、「生成AIで児童性的虐待コンテンツを作成する行為」を直接名指しして禁じる法律は、複数の法律実務系解説で整備途上と指摘されています
  • 実在児童の画像を素材にした場合は児童ポルノ禁止法の射程に入り得る一方、架空の児童を描いた生成物は同法の対象外と整理されるのが一般的です
  • 欧州・英国と比べると、日本の規制は相対的に緩いと評価されています

本記事執筆時点で、2026年に入ってからの日本の立法動向(法改正の成立有無)は確認できていません。個別の事案が違法かどうかの判断は、弁護士・警察などの専門機関にご相談ください。

Grokは今も使えるのか:機能と料金の現状

Grokおよび Grok Imagine は、2026年8月時点でも提供が続いています。xAIは問題化した機能を停止せず、有料サブスクリプション限定の位置づけに移したと原告側・報道が指摘しています。

プラン

月額(目安)

画像・動画生成

無料

$0

基本的な画像生成は可能。枚数・解像度・品質設定に制限

SuperGrok Lite

約$10

画像・動画(音声付き)生成が可能。1日の生成上限あり(上限値は非公開)

SuperGrok

約$30

長尺・720p HD動画、高品質音声、Agent Mode

X Premium+ / SuperGrok Heavy 等

上位

生成上限がさらに拡大

2026年6月からは、Chat / Imagine / Voice / Build / Bot を横断する週次の共有利用プール方式に変更されたとの報告があります。日本円価格や日本での spicy mode 提供可否については公式の明記を確認できていないため、金額は目安として扱ってください(最新の料金は公式サイトでの確認を推奨します)。

xAIの公式ポリシー(Acceptable Use Policy、2026年6月26日発効の改訂版)では、次の行為が禁止と整理されています。

  • 未成年を含む性的コンテンツ/CSAM
  • 実在人物の脱衣化・性的化、ポルノ的な肖像生成
  • NCII(同意のない性的画像)
  • セーフガードの回避(jailbreak)
  • 来歴情報(provenance/電子透かし等)の除去・改ざん

さらに2026年7月6日更新のGrok FAQでは、「NSFWを有効化してもモデレーションは無効化されない」「禁止カテゴリは残る」「ブロックの回避を試みてはならない」と明記されています。つまり規約上は禁止されているが、それが技術的に十分守られていたかが訴訟の争点という関係です。

被害を受けたとき/保護者・企業として今できること

インターネット・ホットラインセンター。違法情報の通報を受け付ける国内の公的窓口のひとつ

出典: インターネット・ホットラインセンター 公式サイト

自分や家族の画像が悪用されたと気づいたとき

  1. 証拠を保全する — 投稿URL、アカウント名、日時、スクリーンショットを保存する。削除申請後は確認できなくなるため、申請前に記録する
  2. プラットフォームに削除申請する — Xについては公式ヘルプセンター(help.x.com)の同意のないヌードに関する通報導線から申告できます。xAIは2026年5月にNCII専用の通報・削除プロセスを公表しており、アカウントなしでの通報導線も含むと説明しています
  3. 米国のプラットフォームには48時間ルールがある — TAKE IT DOWN Actにより、対象プラットフォームは削除申請から48時間以内に当該画像と同一コピーを削除する義務があります。申請日時を記録しておくと交渉材料になります
  4. 公的な相談窓口を使う — 削除方法や発信者情報の扱いについては、総務省委託の違法・有害情報相談センターが無料で相談を受け付けています。児童の性的画像を含む違法情報の通報はインターネット・ホットラインセンター、リベンジポルノ等の通報はセーフラインが窓口です
  5. 被害が犯罪に該当し得る場合は警察に相談する — 実在児童の画像が素材になっているケースは、刑事事件として扱われる可能性があります

保護者として

  • 「SNSに載せない」だけでは防げないという前提を共有する(学校写真・卒業アルバムが素材になり得る)
  • 被害を打ち明けたときに責めない。加害者の半数が同級生というデータがあり、子どもは相談をためらいやすい
  • 加害側になるリスクも同時に伝える。「面白半分」でも犯罪になり得ることを具体的に話す

企業・組織として

  • 従業員や顧客の写真を扱う業務で、画像生成AIへのアップロードを明確に禁止・制限するルールを設ける
  • 社内で使う画像生成ツールを選定する際、モデルの安全性フィルタ、通報・削除の窓口、来歴情報(電子透かし)の有無を確認項目に入れる
  • EU向けにサービスを提供している場合、AI Actのコンプライアンス期限(2026年12月2日)と電子透かし対応の検討時期を逆算する
  • ミネソタ州法のように、製品の宣伝行為まで規制対象にする州法が登場していることを踏まえ、マーケティング表現も確認する

自死に関する報道内容に触れて気持ちがつらくなった方は、厚生労働省の「まもろうよ こころ」に相談窓口の一覧が掲載されています。

この記事が役立つ方/役立たない方

役立つ方

  • 断片的なニュースではなく全体像を把握したい方 — 2025年12月から2026年8月までの流れと、複数訴訟の関係を一覧で確認できます
  • 企業でAI利用ルールを作る担当者 — nudification規制の国際比較と、ツール選定時の確認項目を判断材料にできます
  • 保護者・教育関係者 — 日本の「卒アル問題」の実態と、被害時の相談導線を確認できます
  • AIガバナンス・法務に関心のある方 — 製品設計責任とユーザー責任が正面から衝突している構図を、原告側・企業側の両方の主張から追えます

役立たない方

  • Grokの使い方や画像生成のコツを知りたい方 — 本記事は訴訟と規制の解説です。機能や料金はGrokの解説記事をご覧ください
  • 個別事案の法的判断を求めている方 — 本記事は公開情報の整理であり、法的助言ではありません。具体的な判断は弁護士等の専門家にご相談ください
  • 訴状原文の逐条分析を求める法律実務家 — 本記事は報道と公表情報に基づく整理で、訴状の全文分析ではありません
  • 「Grokは危険だから使うべきでない」という結論だけを求めている方 — 本記事は事実と主張を区別して提示することを目的としており、単純な断定は行いません

よくある質問

Q. AIで生成した画像でも違法になるのですか?

A. 素材が実在の児童の写真である場合、日本では児童ポルノ禁止法の射程に入り得ると解説されています。英国では2026年2月施行のData (Use and Access) Act 2025 第138条により、同意なき偽の性的画像の作成そのものが犯罪化されました。EUはAI Actで、CSAMを生成するAIシステムの上市自体を禁止する方向で合意しています。一方、架空の人物のみを描いた生成物の扱いは国・法令によって異なります。

Q. なぜGrokばかりが名指しされるのですか?

A. 訴状は「他のAIモデルより制限が緩かった」と主張し、AI ForensicsやReutersの調査も安全フィルタの回避しやすさを報告しています。加えて、X上で @grok にリプライして画像を生成・改変させる導線があったため、生成物がそのまま公開タイムラインに出やすい構造だったことも規模の拡大要因として指摘されています。ただし、nudify系のエコシステム全体が問題視されており、集団訴訟ではStability AIも被告に追加されています。

Q. xAIは何も対策していないのですか?

A. 対策自体は段階的に行われています。2026年1月に実在人物画像の編集機能を制限し、露骨な生成を有料サブスク限定にし、5月にNCII専用の通報プロセスを公表、6月26日に改訂版のAcceptable Use Policyを発効させました。AI Forensicsの調査でも1月中旬に露骨な出力の比率が下がったと報告されています。争点は「対策をしたか」ではなく、製品を市場に出す前に業界標準のセーフガードを実装していたかという点です。

Q. 日本から通報できますか?

A. できます。プラットフォームへの削除申請に加え、総務省委託の違法・有害情報相談センター、インターネット・ホットラインセンター、セーフライン(セーファーインターネット協会)といった国内の窓口が利用できます。被害が犯罪に該当し得る場合は、都道府県警のサイバー犯罪相談窓口が受付先になります。

Q. 他の画像生成AIなら安全ですか?

A. 「絶対に安全」と言えるツールはありません。ただし、事前学習データの選別、生成時の拒否フィルタ、出力後の分類モデルによるフィルタリング、来歴情報の付与といった多層的な対策の有無で差は生じます。業務で使うツールを選ぶ際は、公式ポリシーの禁止事項の具体性、通報・削除プロセスの明示、電子透かしへの対応状況を確認するのが現実的な判断基準です。

Q. この訴訟はいつ結論が出ますか?

A. 現時点では見通しは立ちません。米国の集団訴訟は、集団認定(class certification)や却下申立ての判断だけで1年以上かかることが一般的です。ミネソタ州法をめぐる憲法上の争点も未解決のまま係属しています。一方で、EU AI Actのコンプライアンス期限(2026年12月2日)のように、訴訟の結論より先に規制の期限が来るという構造になっています。

まとめ

2026年8月時点のGrok関連CSAM訴訟について、押さえておくべき点を整理します。

論点

現在地

集団訴訟

原告3人→5人に拡大。カリフォルニア州北部連邦地裁に係属。被告にStability AIを追加。すべて原告側の主張の段階

Jane Doe 4 の訴え

11歳当時の写真1枚から7,000枚超が生成されたと主張。企業側の記録提供が不十分だったとも主張

xAI(SpaceXAI)の法的リスク

少なくとも6件の重大な法的措置と、Ofcom・欧州委員会・州司法長官らの調査が並行

企業側の立場

悪用したユーザーを自ら提訴し、州法には差止訴訟を提起。責任の所在が正反対の方向から争われている

規制

米連邦TAKE IT DOWN Act(48時間削除)、ミネソタ州法(8月1日施行)、EU AI Act(12月2日期限)、英国(作成の犯罪化)が2026年に一気に具体化

日本

政府がXに対応を要請。既存法の適用が中心で、AI生成CSAM専用の法整備は整備途上との指摘

読者にとっての実務的意味

SNSに投稿していなくても被害に遭い得る。証拠保全→削除申請→公的窓口という導線を知っておくことが最大の防御

この件は「特定企業の不祥事」としてよりも、生成AIの製品設計責任がどこまで問われるのかを決める試金石として見るべき事案です。裁判の結論を待たずに規制側の期限が到来するため、ツールを提供する側・使う側の双方にとって、2026年後半は対応を前倒しで整える時期になります。

生成AI利用時のリスクを業務目線で整理したい方は生成AIのセキュリティリスク解説、AI企業の安全ガバナンスをめぐる別の争点はxAI元安全エンジニアの提訴もあわせてご覧ください。

主な情報ソース

AIツールの導入でお困りですか?

お客様のビジネスに最適なAIツールをご提案します。まずは無料相談から。

この記事の著者

AI革命

AI革命

編集部

AI革命株式会社の編集部です。最新のAI技術動向から実践的な導入事例まで、企業のデジタル変革に役立つ情報をお届けしています。豊富な経験と専門知識を活かし、読者の皆様にとって価値のあるコンテンツを制作しています。

採用募集中 AI時代の実装力が、身につく。FDE募集中・副業可・未経験歓迎枠あり
AI Revolution Growth Arrow

AIでビジネスを革新しませんか?

あなたのビジネスにAIがどのような価値をもたらすかをご提案いたします。