ChatGPTやGeminiといった生成AIや大規模言語モデル（LLM）は、企業の生産性向上や新規ビジネス創出の新たなインフラとして大きな期待を寄せられています。しかし、その急速な普及の裏で、従来のITシステムでは想定されていなかった「生成AI特有の新しいセキュリティリスク」が顕在化しています。
「AIが意図せず機密情報を外部に出力してしまった」「外部から調達したAIツールが原因で顧客データが流出した」といったインシデントは、もはや対岸の火事ではありません。AIを安全にビジネスへ組み込むためには、経営層やDXを推進するリーダー自身が、まずリスクの全体像を正しく把握することが不可欠です。
本連載（「生成AIリスク管理」）では、世界のソフトウェアセキュリティを牽引する非営利団体「OWASP（オワスプ）」が2024年11月に発表したガイドライン「OWASP Top 10 for LLM Applications 2025」に基づき、ビジネスリーダーが知っておくべきAIセキュリティの全体像と具体的な対策をシリーズ記事で解説します。
第1回となる今回は、AIシステムを取り巻く「10大リスク」の全貌と、世界で実際に起きているインシデント事例をご紹介します。
目次
経営層・AI導入担当が知るべき「AIの10大リスク（2025年版）」
OWASPが定義する10大リスクは、単なる技術的な欠陥ではなく、情報漏洩、財務的損害、ブランド毀損といった「ビジネスインパクト」に直結する脅威です。各リスクの概要を分かりやすく解説します。
-
プロンプトインジェクション（悪意ある入力によるAIの不正操作）
悪意のあるユーザーが特殊な指示（プロンプト）を入力することで、AIに設定された安全制限を突破し、機密情報の開示やシステムの不正操作など、本来想定されていない動作をさせるリスクです。 -
機密情報の漏洩（意図せぬ機密データの出力）
AIが過去に学習したデータや、対話の文脈に含まれる個人情報、独自のアルゴリズム、財務データなどの機密情報を、別のユーザーへの回答として誤って出力してしまうリスクです。 -
サプライチェーンの弱点（外部調達したAIコンポーネントの欠陥）
自社開発ではなく、外部から調達したAIモデルやプログラム部品に、初期段階から脆弱性やマルウェアが混入している危険性です。利用するデータのライセンス（著作権等）違反のリスクも含まれます。 -
データとモデルのポイズニング（学習データの意図的な汚染）
AIの精度を向上させるための「学習データ」に、攻撃者が意図的に虚偽の情報や偏見、バックドア（不正な侵入口）を混入させることで、AIの挙動を不正に操作するリスクです。 -
不適切な出力処理（AIの生成物の盲信によるシステム障害）
AIが生成した文章やプログラムコードを「安全なもの」と過信し、自社のシステムやWebサイトでそのまま実行してしまうことで、不正なコード実行などのサイバー攻撃を自ら引き起こすリスクです。 -
過剰なエージェンシー（過剰な権限付与によるAIエージェントの暴走）
AIエージェントに対して、システム操作やメール送信といった「自律的に行動する権限」を与えすぎることで発生します。AIが誤作動を起こしたり外部から攻撃を受けたりした際に、重要データの削除や不正な決済などが自動的に実行されてしまう重大な事故につながります。 -
システムプロンプトの漏洩（内部指示書の流出）
開発者がAIの動作や制約を制御するために設定している「内部の指示書（システムプロンプト）」が、利用者に露呈してしまうリスクです。これにより、社内の意思決定ルールやシステムの脆弱性が攻撃者に知られてしまいます。 -
ベクトルと埋め込みの弱点（社内データ検索における権限不備）
自社の社内資料をAIに読み込ませて回答させるシステム（RAG）において、役職や部門ごとの権限管理が不十分なことにより、一般社員や外部ユーザーが「権限外の機密データ」をAI経由で引き出せてしまうリスクです。
※ベクトルと埋め込み：AIが社内文書の内容を理解し、検索しやすくするための技術要素のこと。 -
誤情報（AIが生成する虚偽情報による誤判断）
AIが事実とは異なる情報を、あたかも真実であるかのように生成（ハルシネーション）し、それを従業員や顧客が過信してしまうリスクです。誤った情報に基づく意思決定や、顧客への誤案内による法的トラブルを招く恐れがあります。 -
無制限の消費（リソースの枯渇と高額請求）
攻撃者がAIに対して異常に複雑な処理や大量の要求を連続して送りつける、あるいは、ユーザーの意図せぬ過剰利用やシステムの誤作動などによって、AIへの処理要求が制御不能になるリスクです。これにより、システムがダウンしたり、従量課金制のクラウドAI利用料が想定外に跳ね上がり、企業に莫大な経済的損失（Denial of Wallet）をもたらしたりする恐れがあります。
明日は我が身。実際に起きたAIセキュリティインシデント4選
これらのリスクは決して机上の空論ではありません。ここでは、近年世界で実際に報告されたビジネス被害の事例を4つ紹介します。
- 関連リスク：誤情報（AI生成物への過信）
- 概要：エア・カナダの顧客対応チャットボットが、顧客に対して誤った払い戻し規定を案内してしまいました。顧客はその案内に従って手続きを行いましたが、実際には規定外だったため払い戻しを拒否されました。結果的に顧客から訴訟を起こされ、航空会社は敗訴することとなりました。
- 教訓：AIが事実とは異なる情報（ハルシネーション）を生成し、それを顧客が信じ込んでしまうリスクが実証されました。顧客対応をAIに任せる際は、人間による監視や、重要な規定に関する確認プロセスを設けることが不可欠です。
- 関連リスク：誤情報（ハルシネーション）、過信
- 概要：ある弁護士がChatGPTを使用して法廷の準備書面を作成した際、AIが「存在しない架空の判例」を生成してしまいました。弁護士はAIの出力を過信して事実確認を行わず、そのまま裁判所に提出し、懲戒処分などの大きな問題に発展しました。
- 教訓：専門的な業務においても、AIは事実とは異なる情報を生成するリスクを常に抱えていることを利用者が理解しなければなりません。従業員がAIの出力を鵜呑みにせず、必ず信頼できる外部ソースと照らし合わせて検証するルール作りが求められます。
- 関連リスク：サプライチェーンの弱点、認証の不備
- 概要：2025年6月、マクドナルドが利用していた採用システム「McHire」のベンダー用管理画面へのリンクがあることを発見したホワイトハッカーがログインを試みたところ、たやすくログインでき、AI採用チャットボットと応募者との会話履歴が閲覧できることが発覚しました。原因は、AIツールを提供していたベンダー側のIDとパスワードが「123456」という極めて脆弱なものであったためです。「McHire」には最大6,400万人分の応募者の個人情報（氏名、電話番号、メールアドレスなど）が格納されており、流出の危険がある状態でずさんな管理がされていたことが指摘されました。
- 教訓：外部のAIサービスを利用する際の「ベンダー管理（サプライチェーン）」の甘さが、自社の巨大なブランド毀損と個人情報保護法違反に直結することを示しています。
- 関連リスク：間接的なプロンプトインジェクション、過剰なエージェンシー
- 概要：2025年6月、企業向けAIアシスタント「Microsoft 365 Copilot」において重大な脆弱性が発見されました。攻撃者が悪意のある指示（プロンプト）を隠したメールを送信すると、ユーザーがそのメールのリンクをクリックしなくても、Copilotがメールを読み込んだだけで自動的に指示が実行され、社内の機密データが外部に持ち出されてしまうというものでした。
- 教訓：AIにシステムを自律的に操作させる権限（エージェンシー）を与えすぎると、外部からの攻撃によってAIが意図せず「内部の脅威」へと変貌してしまう危険性があります。
まとめ：正しいリスク認識からガバナンスは始まる
AIの進化はビジネスに多大な恩恵をもたらしますが、同時にシステムとデータに対する新たな攻撃対象を生み出しています。今回紹介した10大リスクやインシデント事例から分かるのは、「AIを万能なシステムとして過信してはならない」ということです。
自社のビジネスと信用を守るためには、経営層がリーダーシップを取り、AIのリスクを正しく認識した上で、適切な防御策と運用ルールを設ける必要があります。
次回は、これらのリスクを防ぐために、ユーザー企業が「自社で実施すべき対策」と、「AIベンダーや開発ツールに要求すべき技術的対策」の責任分界点について詳しく解説します。
2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps
OWASP Gen AI Incident & Exploit Round-up, Q2’25
（Written By: Scott Clinton, Project Co-lead and Rock Lambrose, July 14, 2025）
OWASP Gen AI Incident & Exploit Round-up, Jan-Feb 2025
(Written By: Scott Clinton, Project Co-lead and Rock Lambros, March 6, 2025)
