生成AIガバナンスとセキュリティ

【生成AIリスク管理②】生成AIリスクをどう防ぐ？「自社でやるべき対策」と「ベンダーに任せる対策」の境界線は？

2026.04.09

前回は、生成AIがビジネスにもたらす「10大リスク」と、実際に起きたインシデント事例について解説しました。生成AIが意図せず機密情報を漏洩させたり、もっともらしい嘘（ハルシネーション）で顧客や従業員を誤誘導したりするリスクは、企業にとって無視できない脅威です。

では、これらのリスクから自社を守るためには、具体的にどうすればよいのでしょうか？

結論から言えば、生成AIのセキュリティ対策は「自社のIT部門だけで完結するもの」でもなければ、「生成AIベンダーにすべて丸投げできるもの」でもありません。クラウドサービスを利用する際と同様に、生成AIシステムにおいても「ユーザー企業（自社）」と「AI提供ベンダー」の間で役割を分担する「責任分界点」の考え方が不可欠です。

今回は、OWASPのガイドラインに基づき、企業が生成AIを安全に導入・運用するために「自社で実施すべき対策」と「ベンダーに要求・実装を任せるべき技術的対策」を明確に整理して解説します。

ユーザー企業（自社）が実施すべき対策：「業務プロセス」と「ルール」による防衛

ユーザー企業が担うべき最大の役割は、「生成AIを組み込んだ業務プロセスの設計」と「社内ルールの徹底（ガバナンス）」です。システムで防ぎきれないリスクは、人間の運用でカバーする必要があります。

① 「AIへの丸投げ」を防ぐ、人間の目による最終確認（ヒューマン・イン・ザ・ループ）の徹底

■ 対応するリスク：過剰なエージェンシー（AI エージェントの暴走）、誤情報

■

対策の詳細： 生成 AI や AI エージェントに重要なアクションを「完全自動」で実行させてはいけません。例えば、

顧客へのメール送信
データの削除
システムの変更
決済処理

など、ビジネスインパクトの大きい操作を行う前には、必ず人間が内容を確認し、承認ボタンを押すプロセス（ヒューマン・イン・ザ・ループ）を業務フローに組み込みます。

これにより、生成 AI や AI エージェントが外部からの攻撃で操られたり、誤作動を起こしたりした際の被害を未然に防ぐことができます。

② 最小権限の原則(*1)に基づく「社内データのアクセス権整理」

■ 対応するリスク：ベクトルと埋め込みの弱点、機密情報の漏洩

■

対策の詳細： 自社の社内規程や過去の提案書を生成AIに読み込ませて回答させるシステム（RAG）を導入する企業が増えています。ここで重要なのは、「生成AI経由なら、誰でもすべてのデータを見られる状態」にしないことです。導入前に社内のファイルサーバーやデータベースの権限設定を見直し、「経営層しか見られないデータは、一般社員がAIに質問しても回答させない」といった、役職や部門に応じた厳格なアクセス権の整理を自社で行う必要があります。

(*1)「最小権限の原則」とは、各ユーザーやシステムに対して「業務上必要な最低限のアクセス権限だけを付与する」という情報セキュリティの基本的な考え方です。

③ 従業員教育と「AI利用ガイドライン」の策定

■ 対応するリスク：機密情報の漏洩、誤情報への過信

■

対策の詳細： 従業員に対して「生成AIに入力してはいけない機密情報」を明確に定め、教育を行います。また、「生成AIの出力は不正確な場合がある（ハルシネーション）」ことを前提とし、鵜呑みにせず必ず事実確認（クロスチェック）を行う文化を醸成するための社内ガイドラインを策定します。
※実効性のある「AI利用ガイドライン」に盛り込むべき具体的なポイントについては、次回の【生成AIリスク管理③】で詳しく解説します。

【自社だけで抱え込まず、ベンダーの専門知見を活用する】 業務プロセスやアクセス権限といったルールの決定責任は自社（ユーザー企業）にありますが、それを安全なシステムとして実装する技術的な部分まで、自社だけで抱え込む必要はありません。
「何を守るか（業務要件）」は自社で明確に定義し、「どう守るか（システム実装）」はAI開発ベンダーやセキュリティ専門家のノウハウを積極的に活用していくことが、安全なAI導入の鍵となります。

ベンダーに要求すべき対策：「システム」の防護壁（ガードレール）

一方、生成AIやAIエージェントの裏側で動く技術的な防護線（ガードレール）の構築は、システムを提供するベンダーや開発パートナーの役割です。ユーザー企業は、システムの要件定義やベンダー選定の際に、以下の対策が組み込まれているかを「必須要件」として提示する必要があります。

① 入力データの「二次利用（学習）禁止」の保証とデータ隔離

● 対応するリスク：機密情報の漏洩

■

要求すべきこと： AIベンダーに対してまず確認すべきは、自社が入力したデータやログがベンダー側のAIモデルの再学習（二次利用）に使われないことです。エンタープライズ向けのAPI契約やオプトアウト設定を活用し、自社のデータがベンダー環境に保持されない「ゼロデータ保持」の仕組みが整っているかどうかを、契約条件・システム仕様の両面から確認しましょう。

② AIの権限・機能の「最小化」設計

● 対応するリスク：過剰なエージェンシー

■

要求すべきこと： AIエージェントが呼び出せるシステム機能やプラグインを、必要最低限に絞り込むよう設計させます。例えば「社内データベースを検索して回答を作る」だけの業務であれば、AIエージェントには「データを読み取る権限（SELECT）」のみを与え、「データを書き換える・消す権限（UPDATE/DELETE）」はシステムとしては物理的・論理的に排除させます。

③ リソース消費の制限と監視（DoS・高額請求対策）

● 対応するリスク：無制限の消費

■

要求すべきこと： 悪意のあるユーザーによる大量の質問攻撃や、AIの複雑な処理によるシステムダウン、およびクラウドAIの莫大な利用料金の発生を防ぐ必要があります。1ユーザーあたりの利用回数上限（レート制限）や、入力できる文字数の制限、異常な利用パターンの自動検知システムを必ず実装するようベンダーに依頼します。

④ システムプロンプトの分離と保護

● 対応するリスク：システムプロンプトの漏洩

■

要求すべきこと： 生成AIやAIエージェントのふるまいを決める「システムプロンプト（裏側の指示書）」の中に、システムのパスワードやAPIキーなどの機密情報を直接書き込まない、安全なアーキテクチャ設計をベンダーに徹底させます。

まとめ：要件定義で「セキュリティ」を妥協しない

生成AIやAIエージェントの導入プロジェクトにおいて、ユーザー企業が自社の業務プロセスを整えることはもちろんですが、それと同じくらい「ベンダーに対して適切なセキュリティ要求を出すこと」が重要です。「AIシステムだからセキュリティはお任せで」という姿勢は、重大なビジネスリスクを招きます。

自社でカバーできない技術的なリスクは、契約や要件定義の段階でしっかりとベンダーに要求し、両輪で防御体制を築き上げることが、AIガバナンスの要となります。

次回は、従業員が安全に生成AIやAIエージェントを活用するための最大の盾となる「実効性のあるAI利用ガイドライン策定のポイント」について、具体的に何を盛り込むべきかを解説します。

▼シリーズ記事
● 【生成AIリスク管理①】生成AIがもたらす新たな脅威とは？ビジネスリーダーが知るべき「10大リスク」とインシデント事例

この記事は、OWASP Foundationが作成した以下のコンテンツを翻案・加工して作成されました。ライセンス：CC BY-SA 4.0
2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps
OWASP Gen AI Incident & Exploit Round-up, Q2’25
（Written By: Scott Clinton, Project Co-lead and Rock Lambrose, July 14, 2025）
OWASP Gen AI Incident & Exploit Round-up, Jan-Feb 2025
(Written By: Scott Clinton, Project Co-lead and Rock Lambros, March 6, 2025)

LINEで送る LINE

ポストするポスト

みらい翻訳ブログの記事一覧