生成AIのセキュリティリスクとは？情報漏洩・プロンプトインジェクション・企業と個人の対策を解説【2026年最新】

生成AIのセキュリティリスクで、いま一番起きやすいのは入力した情報の漏えいと、AIに外部の文章で命令を書き換えられるプロンプトインジェクションです。どちらも、法人プランを使うこと、入れてよい情報を決めること、AIに渡す権限を必要最小限にすることで、多くの事故は防げます。

IPA（情報処理推進機構）の「情報セキュリティ10大脅威 2026」では、組織向けの3位に「AIの利用をめぐるサイバーリスク」が初めて入りました。2026年はAIエージェントの脆弱性やAIのAPIキーの盗難など、「使う側の注意」だけでは防げないリスクも目立っています。

この記事でわかること

• 生成AIのセキュリティリスクの全体像（3つの分類と、OWASP LLM Top 10 2026年版との対応）
• 個人・企業それぞれが気をつけたいリスクと、今日からできる対策
• ChatGPT・Claude・Geminiで、入力した内容が学習に使われるか、何日残るか
• AIエージェントの脆弱性の実例（Copilot・Cursor・PraisonAIなど）と、Claude Mythosに象徴される「AIで攻撃も防御も速くなった」状況
• AI事業者ガイドライン第1.2版、EU AI Actの延期など、国内外のルールの最新状況

こんな方に向けた記事です

• 生成AIを業務に導入したいが、リスクが心配な企業の担当者
• 普段から生成AIを使っていて、何を入力してよいか気になる個人ユーザー
• 社内のAI利用ルールを作る情報システム・セキュリティ・法務部門の方

生成AIそのものの仕組みは生成AIとは？仕組み・種類・活用事例・注意点をわかりやすく解説で解説しています。

生成AIの主なセキュリティリスク一覧

出典: OWASP GenAI Security Project 公式

生成AIのリスクは「情報漏洩だけ」ではありません。大きく分けると、使う側のリスク、AIを組み込んだシステムが狙われるリスク、AIが攻撃に悪用されるリスクの3つがあります。

リスクごとの深刻度と最初の対策

開発者向けの代表的なリスク一覧である「OWASP Top 10 for LLM Applications」は、2026年8月に2026年版が公開されました。10の分類は2025年版と同じですが、順位が大きく入れ替わっています。主なリスクを、OWASP 2026年版の番号と合わせて整理しました。

出典: OWASP Top 10 for LLM Applications（GitHub）、Imperva「OWASP LLM Top 10 2026: What Changed」。日本語の項目名は編集部の訳です。

2026年版で目立つのは、過剰な権限（Excessive Agency）が6位から3位に上がったことです。AIが「答えるだけ」から、ファイルを操作したり外部のサービスを動かしたりする「AIエージェント」に変わり、権限の渡しすぎが実際の事故につながるようになったためです。

個人利用で注意すべきリスクと対策

個人が生成AIを使うときの最大のリスクは、個人情報や他人の情報を、深く考えずに入力してしまうことです。次に多いのが、AIの誤った答えをそのまま信じることと、AIで作られた詐欺に引っかかることです。

プライバシー情報の無意識な入力

相談や文書作成の途中で、氏名・住所・病気のこと・家族の情報などを入力してしまうケースがあります。ChatGPT・Claude・Geminiの個人向けプランは、設定によっては会話がAIの学習に使われます。学習をオフにしても、サービス側にはしばらくデータが残ります（Claudeは30日、Geminiは72時間など）。

入力を避けたい情報の例

• 本名・住所・電話番号・生年月日
• クレジットカード番号・銀行口座・パスワード
• 病歴・健康診断の結果など医療に関する情報
• 友人・家族・取引先など第三者の個人情報
• 勤務先の社外秘（業務で使うなら会社の承認したツールで）

もう一つ見落としやすいのが共有リンクです。2025年7月には、ChatGPTの「検索エンジンに表示する」を選んで共有した会話がGoogle検索に表示され、OpenAIはこの機能を削除しました。共有リンクはチャット履歴から会話を消しても自動では消えないため、使わなくなったリンクは設定の「データコントロール」から削除しておくと安心です。

ハルシネーション（誤情報の受け入れ）

生成AIは、事実と違う内容をもっともらしく答えることがあります。これをハルシネーションと呼びます。米国では、弁護士がChatGPTの作った実在しない判例を確認せずに裁判所へ提出し、制裁金を科された例があります。

特に確認が必要な場面

• 法律・医療・税金・お金に関わる判断
• 数字・統計・人名・会社名・日付
• 「〇〇によると」と出典が示されている内容（出典そのものが存在しないことがある）

AIを悪用した詐欺

AIで作ったフィッシングメールは日本語が自然になり、見分けにくくなっています。家族や上司の声をまねた電話、本人そっくりの動画を使った詐欺も報告されています。文面が自然かどうかでは判断できないと考え、送金や個人情報の入力を求められたら、別の連絡手段で本人に確かめるのが確実です。

個人ユーザーが今すぐできる対策5つ

1. 使っているAIの設定で、会話を学習に使うかどうかを確認し、必要ならオフにする
2. 個人情報・お金の情報・パスワードは入力しない
3. 医療・法律・お金の判断は、公式情報や専門家で確かめる
4. 不審なメール・電話・動画で送金を頼まれたら、いったん止まって本人に確認する
5. AIサービスのアカウントにパスキーや2段階認証を設定する（ChatGPTの例はChatGPTの高度なアカウントセキュリティで解説しています）

企業利用で注意すべきリスクと対策

出典: IPA（情報処理推進機構）公式サイト

企業では、1人の入力ミスが顧客情報の漏えいや取引先との契約違反につながります。いま最も多いのは、会社が認めていない個人のAIに社員が業務情報を入れてしまう「シャドーAI」です。

情報漏洩（シャドーAI問題）

AI白書2026（角川アスキー総合研究所、従業員300人以上の企業が対象）の調査では、業務でシャドーAIを使っている人は管理職で46.5%、一般社員で38.1%でした。注目したいのは、全社でガイドラインを整えた企業でも利用率が46.9%で、一部だけ整えた企業（50.0%）とほとんど差がなかった点です。ルールを作るだけではシャドーAIは減らないことがわかります（出典: @IT）。

被害額については、IBMの「2025年データ侵害のコストに関する調査」で、シャドーAIの利用が多い組織はデータ侵害1件あたりの平均コストが約67万ドル高くなっていました。

実際に起きたインシデント

• 2026年9月、RIZAPの従業員が、会社の許可していない私用の生成AIに顧客の要配慮個人情報を入力していたことが公表されました（詳しくはRIZAPの私用生成AIへの個人情報入力）
• 2023年には韓国の大手メーカーで、エンジニアが社内のソースコードをChatGPTに入力し、社内での利用が制限されました
• 2024年3月には、日本向けの生成AIサービスで設定の不備により、利用者のプロンプトと回答が外部から見られる状態になっていました

シャドーAIを減らすには、禁止するよりも、会社が法人プランを用意し、「このツールなら業務で使ってよい」と示すほうが効果があります。シャドーAIの見つけ方と対策はシャドーAIとは？企業のリスクと対策で詳しく扱っています。

ハルシネーションに基づく意思決定ミス

企業がAIの誤った答えを経営判断や顧客対応に使うと、責任は会社が負います。カナダでは、航空会社のチャットボットが実際とは違う割引の条件を案内し、2024年に航空会社が差額の支払いを命じられました。米国では、自動車ディーラーのチャットボットが利用者の誘導で「新車を1ドルで売る」と答え、SNSで広まった例もあります。

顧客向けにAIを使う場合は、AIが答えてよい範囲を決め、価格・契約・返金などは公式の情報だけを返す作りにしておく必要があります。

プロンプトインジェクション

プロンプトインジェクションは、AIが読む文章に命令を紛れ込ませて、AIを開発者や利用者の意図とは違う動きにさせる攻撃です。OWASP LLM Top 10では2026年版でも1位のままです。現時点の技術では完全には防げないとされており、入力の検証、権限の最小化、出力の確認、人の承認を重ねて被害を小さくするのが現実的な対策です。社外向けのチャットボットを提供する企業も、社内でAIエージェントを使う企業も対象になります。

企業が整えたい対策体制

1. 法人プランへの集約: ChatGPT Business／Enterprise、Claude Team／Enterprise、Google Workspaceなど、学習に使われず管理画面やログがあるプランにまとめる
2. 入力してよい情報の線引き: 「公開情報」「社外秘」「個人情報」など区分ごとに、使ってよいツールを決める
3. 生成物の確認手順: 社外に出す文書や数字は、人が原典で確かめてから使う
4. AIエージェントの権限管理: 渡す権限は最小限にし、外部送信・削除・支払いなどは人が承認する
5. APIキーの管理: 本番のパスワードと同じ重さで扱い、保管場所を決めて定期的に入れ替える
6. ルールの見直し: 利用ログを確かめ、事故やガイドライン改定に合わせてルールを更新する

会社で生成AIを使うときにセキュリティの要件を満たす構成は、AIに入れる情報の機密度で変わります。法人プランを配れば足りるのか、自社のクラウドから呼び出す構成が必要なのかの判断基準は、生成AIのセキュリティ要件と社内導入の構成で比較しています。

主要サービスのデータポリシー比較（Claude・ChatGPT・Gemini）

出典: Anthropic 公式サイト

3社とも法人向けプランとAPIは、既定で入力内容を学習に使いません。個人向けプランは、どれも設定しだいで学習に使われる可能性があります。各社の方針は変わることがあるため、使う前に公式ページで確かめてください。

プラン別データポリシー比較表

2026年10月時点で、各社の公式情報と公表内容をもとに整理しました。

業務で使うなら、法人プランかAPIが基本です。 個人向けプランでも学習をオフにできますが、管理者が社員の設定を一括で管理できないため、会社として「学習に使われない」と保証するのは難しくなります。また、一度学習に使われたデータは後から取り戻せません。

ChatGPTとGeminiの違いをもっと広く比べたい方はChatGPTとGeminiの比較も参考になります。

公式データポリシーの確認先

• Anthropic（Claude）: 消費者向け規約の改定、プライバシーポリシー
• OpenAI（ChatGPT）: 企業向けプライバシー
• Google（Gemini）: Gemini アプリのプライバシー ハブ

AIエージェント時代に拡大する新しいリスク

出典: OWASP GenAI Security Project 公式

AIエージェントは、Web検索・ファイル操作・コード実行・外部サービスとの連携を自分で判断して進めます。便利になった分、AIが読む文章に仕込まれた一文でAIが社内データを外へ送ってしまう、といった事故につながる脆弱性が、2026年は実際に相次いで報告されました。AIエージェントの基本はAIエージェントとは？仕組み・種類・活用事例で解説しています。

プロンプトインジェクションの直接型と間接型

企業にとって怖いのは間接型です。利用者が普段どおりAIに「このメールを要約して」と頼んだだけでも、AIがメールの中の命令に従ってしまいます。

2025〜2026年に報告された主な脆弱性

出典: VentureBeat、Help Net Security、PraisonAI セキュリティ勧告（GitHub）、GitLab Advisory Database（praisonai）。深刻度や修正版は各社の勧告で確認してください。

PraisonAIの件は、オープンソースのエージェント基盤を「動いたからそのまま社内に置く」使い方の危うさを示しています。Cursorの件のように、人の承認を省くための自動承認の仕組みそのものが抜け道になることもあります。Copilotの件の詳細はCopilot Coworkのファイル流出脆弱性、コーディング支援AIの事例はClaude Code Auto Modeと間接プロンプトインジェクションでも扱っています。

OWASPが警告するExcessive Agency（過度な自律性）

OWASP LLM Top 10 2026年版では、AIに必要以上の権限や自律性を与えるリスク（LLM03: Excessive Agency）が6位から3位に上がりました。また、OWASPはAIエージェント専用の「OWASP Top 10 for Agentic Applications 2026」も公開しており、エージェントの目的の乗っ取り（ASI01）やツールの悪用（ASI02）、権限の悪用、記憶（メモリ）の汚染などを挙げています。

判断の目安として覚えやすいのが、Simon Willison氏が「致命的な三要素（lethal trifecta）」と呼ぶ組み合わせです。

1. 社内データなど非公開の情報にアクセスできる
2. Webページやメールなど信頼できない文章を読む
3. メール送信やURLへのアクセスなど外に情報を送れる

この3つがそろったAIエージェントは、仕込まれた一文でデータの持ち出しに使われる可能性があります。3つのうちどれか1つを外す（外部送信は人の承認にする、など）だけで、被害はかなり小さくできます。

2026年に実際に起きたこと

以前は「AIエージェントでリスクが増える」という予測が中心でしたが、2026年は実際の事例が出てきています。

• AIのAPIキーが狙われている: Anthropicが2026年9月に公開した脅威レポートでは、盗まれたAIのAPIキーが売買の対象になっていること、評価用の環境に指示を埋め込んで本番のキーを抜き取った事例が報告されました。Anthropicは、AIのAPIキーやエージェントの連携を本番の認証情報と同じ重さで扱い、正規の窓口以外の「割安な」AIアクセスは使わないよう呼びかけています（出典: Anthropic Threat Intelligence Report）
• 攻撃者がマルチエージェントで攻撃を自動化: 同じレポートでは、偵察から侵入、データの持ち出しまでを複数のAIエージェントで分担させ、検知されるとマルウェアを自動で作り直す手口も報告されています
• AI事業者ガイドラインにAIエージェントが追記: 2026年3月の第1.2版で、総務省・経済産業省がAIエージェントに関する記載を加えました

AIエージェントを安全に使うためのポイント

• 渡す権限は必要最小限にする（読み取りだけで足りるなら書き込み権限を渡さない）
• 外部送信・削除・支払い・公開などの重要な操作は、人が内容を見て承認する
• 「致命的な三要素」がそろわないように設計する
• 外部のプラグインやMCPサーバーは、承認したものだけを使い、更新と脆弱性情報を追う（MCPの仕組みとリスクはMCPとは）
• オープンソースのエージェント基盤は、既定の設定のままネットワークに公開しない
• 実行ログを残し、定期的に見直す

設定の具体例はAIエージェントのセキュリティ対策、開発ツールについてはClaude CodeのセキュリティやAIコーディングのセキュリティリスクで詳しく解説しています。

AIが攻撃に悪用されるリスク

出典: Anthropic 公式サイト

AIは守る側だけでなく、攻撃する側の仕事も速くしています。ここ1年で目立つのは、脆弱性を見つける速さと、攻撃の自動化です。

Claude Mythosに見る「攻撃も防御も速くなった」現実

Anthropicは2026年4月に「Project Glasswing」を発表し、脆弱性の発見に強いモデル「Claude Mythos Preview」を一般公開せず、限られた組織にだけ提供しました。Anthropicは、このモデルが重大な脆弱性を数千件見つけたとしています。

強力なモデルを一般公開しなかったのは、攻撃者が使えば、脆弱性が見つかってから悪用されるまでの時間が一気に短くなるためです。2026年10月時点の公表内容では、Claude Mythosは審査を通った組織向けの提供にとどまっています（提供範囲は変わることがあるため、最新の状況はAnthropicの発表で確かめてください）。企業にとっては、修正プログラムの適用を後回しにする余裕が減ったことを意味します。詳しくはProject GlasswingとはとClaude Mythosとはで解説しています。

フィッシング・ディープフェイク・マルウェア

• フィッシング: 自然な日本語で、取引先や上司になりすましたメールが簡単に作れます。IPA 10大脅威2026でも、AIの悪用で攻撃がしやすく巧妙になることが指摘されています
• ディープフェイク: 経営者の声や顔をまねたビデオ会議で送金させる詐欺が海外で起きています
• マルウェア: AIでマルウェアを作り、検知されたら作り直す手口が、Anthropicのレポートで報告されています

国内の事例はAIを悪用したサイバー攻撃と国内の情報漏えいにまとめています。

今日から始める対策チェックリスト

対策を全部一度にやる必要はありません。個人は5項目、企業は「最初の30日」で優先度の高いものから始めるのが現実的です。

個人向けチェックリスト（5項目）

• 使っているAIの設定で、会話が学習に使われるかを確認した
• 個人情報・お金の情報・パスワードを入力していない
• 医療・法律・お金に関わる答えは公式情報で確かめている
• 使わなくなった共有リンクを削除した
• AIサービスのアカウントにパスキーまたは2段階認証を設定した

企業向けチェックリスト（10項目）

最初の30日で優先したいこと

• 業務で使うAIを法人プランまたはAPIにまとめ、承認済みツールの一覧を社内に示している
• 入力してよい情報・いけない情報を区分ごとに決め、周知している
• シャドーAIの実態（どの部署が何を使っているか）を把握している
• AIのAPIキーの保管場所と担当者を決め、漏れたときにすぐ止められる

その後3か月以内に整えたいこと

• AIの出力を社外に出す前の確認手順がある
• AIエージェントに渡す権限を一覧にし、重要な操作は人が承認している
• 外部のプラグイン・MCPサーバー・オープンソース部品の採用ルールがある
• 社員向けの研修を行い、フィッシングやディープフェイクの例も伝えている
• AIに関わる事故の報告先と対応手順を決めている
• 利用ログとルールを定期的に見直している

こんな使い方は特に注意が必要です

リスクの大きさは、ツールよりも、何を入力し、AIに何をさせるかで決まります。

安全に使いやすいケース

• 公開情報をもとにした文章作成・要約・アイデア出し
• 一般的な調べもの（数字や固有名詞は確認する前提）
• 法人プランやAPIを導入した環境での業務利用
• 学習・勉強のための質問

慎重な判断が必要なケース

• 法律・医療・お金に関わる具体的な判断（専門家への確認が前提）
• 個人情報・社外秘を含む文書の作成
• AIで作った画像や文章の商用利用（権利の確認が必要）
• 顧客向けのチャットボットや自動応答

おすすめしない使い方

• 無料・個人向けプランに、業務の機密情報を日常的に入力する
• AIの答えを確認せずに公開・報告する
• メール・社内データ・外部送信のすべてに触れるAIエージェントを、人の承認なしで動かす
• オープンソースのエージェント基盤を、既定の設定のまま社外から接続できる状態にする
• 正規の窓口以外で売られている「格安のAI APIアクセス」を使う

公式ガイドライン・参考情報一覧

社内ルールを作るときに参照したい、2026年10月時点の主な資料です。古い版（AI事業者ガイドライン第1.1版、OWASP LLM Top 10 v1.1など）を引用している資料もあるため、版を確かめてから使ってください。

• AI事業者ガイドラインは法的な拘束力のない指針です。「人による確認が義務になった」と書く記事もありますが、義務ではなく推奨として読むのが正確です
• 個人情報保護委員会は、個人情報をプロンプトに入れる前に利用目的の範囲内かを確かめること、本人の同意なく入力した個人データが学習などに使われると法律違反のおそれがあることを注意喚起しています
• EU AI Actは、高リスクAIのルールの適用が2026年8月から2027年12月に延期されました。一方、AIが作ったものだと示す透明性のルール（第50条）は2026年8月から予定どおり適用されています。EUの顧客にサービスを提供する日本企業も対象になりえます（透明性のルールと電子透かしの関係はClaudeの電子透かしとEU AI Act）

各資料へのリンク

• IPA 情報セキュリティ10大脅威 2026
• 総務省 AI事業者ガイドライン
• デジタル庁 生成AIの調達・利活用に係るガイドライン
• 内閣府 人工知能基本計画
• OWASP Top 10 for Agentic Applications 2026
• NIST AI RMF 日本語翻訳版（Japan AISI）

よくある質問（FAQ）

Q1. 学習をオフにすれば、入力した情報は安全ですか？

学習には使われなくなりますが、データがすぐ消えるわけではありません。 学習をオフにしても、Claudeは30日、Geminiは72時間など、サービス側にしばらく残ります。裁判所の命令などで保存期間が延びることもあります。社外秘や個人情報を扱うなら、学習オフに頼るより、法人プランを使うか、そもそも入力しない運用にするほうが確実です。

Q2. ChatGPTの無料プランを会社で使ってもいいですか？

業務の情報を入れるなら、おすすめしません。 無料プランが特別に危険というわけではありませんが、学習の設定を社員それぞれに任せることになり、会社として管理できません。利用ログも会社側に残らないため、事故が起きたときに何を入力したか確かめられません。会社で使うなら、ChatGPT Business／Enterpriseなどの法人プランにまとめるのが基本です。

Q3. APIを使えば安全ですか？

学習の面では安全性が上がりますが、別のリスクが増えます。 OpenAI・Anthropic・GoogleのAPIは既定で学習に使われません。一方で、APIキーが漏れると第三者に使われ、利用料を請求されたり、データを盗まれたりするおそれがあります。2026年はAIのAPIキーの盗難が実際に報告されているため、キーの保管場所と入れ替えのルールを決めておく必要があります。

Q4. AIエージェントに社内データを触らせても大丈夫ですか？

権限と承認の設計しだいです。 社内データにアクセスでき、外部の文章を読み、外へ送信もできるエージェントは、プロンプトインジェクションでデータを持ち出される可能性があります。まずは読み取りだけの権限で試し、外部送信や削除は人が承認する形にしてから広げるのが安全です。

Q5. EU AI Actは日本企業にも関係がありますか？

EUの利用者にAIを使ったサービスを提供しているなら関係します。 2026年8月から、AIが作った文章や画像であることを示すなどの透明性のルールが適用されています。高リスクAIのルールは2027年12月に延期されましたが、採用・与信などにAIを使う企業は、今のうちに対象かどうかを確かめておくと安心です。

Q6. 中国製など海外のAIサービスを使っても大丈夫ですか？

データがどこの国で、どの法律のもとで保存されるかを確かめてから判断してください。 利用規約やプライバシーポリシーで、保存場所・学習への利用・政府への提供の扱いを確認します。DeepSeekの例はDeepSeekとはで解説しています。

まとめ：生成AIのセキュリティリスクを正しく理解して安全に使う

生成AIのセキュリティリスクは、使わないことで避けるより、何を入力し、AIに何をさせるかを決めて使うほうが現実的です。

この記事のポイント

• リスクは「使う側」「AIを組み込んだシステム」「攻撃への悪用」の3つに分けられる。IPA 10大脅威2026では組織向け3位に入った
• 個人は「個人情報を入れない」「学習の設定を確かめる」「答えを確認する」「共有リンクを消す」が基本
• 企業は法人プランへの集約が最優先。ガイドラインを作るだけではシャドーAIは減らない
• OWASP LLM Top 10 2026年版では、AIエージェントへの過剰な権限が3位に上昇。Copilot・Cursor・PraisonAIなど、エージェントの脆弱性が実際に相次いでいる
• 「非公開データ」「信頼できない入力」「外部送信」の3つをそろえないこと、重要な操作は人が承認することが、エージェントの事故を防ぐ基本
• AIのAPIキーは本番のパスワードと同じ重さで管理する

関連記事

• 生成AIとは？仕組み・種類・活用事例・注意点をわかりやすく解説
• AIエージェントとは？仕組み・種類・活用事例をわかりやすく解説
• シャドーAIとは？企業のリスクと対策
• AIエージェントのセキュリティ対策
• ChatGPTのLockdown Mode