生成AIセキュリティとは
生成AIセキュリティとは、コンテンツ、コード、データを生成するAIシステムがもたらす固有のリスクから組織を保護するアプローチです。このサイバーセキュリティ専門分野では、プロンプトインジェクション、モデル盗難、データポイズニングなど、従来のセキュリティツールでは検知できない脅威に対処します。組織はセキュリティコントロール、ガバナンスポリシー、専用のAIセキュリティプラットフォームを導入することで、生成AIセキュリティを確立します。
生成AIは、トレーニングデータからテキスト、画像、コード、動画などの新しいコンテンツを生成する技術です。代表的な例として、テキスト生成のChatGPTや画像生成のDALL-Eが挙げられます。これらのシステムは機密データを処理するだけでなく、有害な出力を生成するように操作されるリスクもあるため、セキュリティ上の大きな課題となっています。
生成AIは生産性を大幅に向上させますが、それはセキュリティリスクが適切に管理されている場合に限られます。保護されていないAIシステムは、組織をデータ侵害やコンプライアンス違反の危険にさらすことになります。ある調査では、多数の従業員が組織のAI利用制限を回避する方法を独自に見つけている（シャドーAIの横行）という実態も判明しています。
生成AIに関連する主なリスクとは
生成AIのセキュリティリスクは、主に以下の4つのカテゴリに分類されます。
1. モデルの脆弱性
モデルの脆弱性は、AIアルゴリズムそのものを標的とし、モデルが入力を処理して出力を生成するプロセスの弱点を悪用するものです。これらの攻撃により、モデルの整合性が損なわれたり、独自のアルゴリズムが盗まれたりする可能性があります。
LLMのセキュリティリスクは、敵対的攻撃によって悪用されるケースが多く見られます。これは、サイバー犯罪者が入力データを操作して、モデルの正常な出力を妨害する手法です。
データポイズニングは、LLMのセキュリティを侵害するためによく使われる手法であり、AIや機械学習（ML）モデルのトレーニングデータを意図的に汚染します。例えば、わずか50枚の汚染画像をモデルに学習させるだけで、Stable Diffusionに異常で不適切な出力を生成させることができる、という研究結果も実証されています。
もう一つの重大なLLMセキュリティリスクが、モデル盗難です。脅威アクターがセキュリティの不十分な生成AIモデルに侵入し、悪意のある目的で使用したり、モデル自体を盗み出したりします。一例として、最近公開された攻撃手法「TPUXtract」があり、これにより犯罪者がAIモデルを窃取することが可能になっています。
2. データ関連のリスク
データ関連リスクは、AIシステムを支える機密情報を脅かすものです。トレーニング用のデータセットには、独自のビジネスデータ、顧客情報、機密文書が含まれていることが多く、攻撃者によってこれらが抽出・漏洩させられる危険性があります。
機密データの漏洩は、データ関連のAIセキュリティリスクの中で最も深刻なものの一つです。企業がトレーニングデータの匿名化（マスキング）を怠ると、データが傍受されたり外部に流出したりする可能性があります。また、APIやサードパーティとの共有プロトコルのセキュリティが不十分な場合も、同様の問題が発生します。
さらに、データ侵害も無視できません。脅威アクターが生成AIアプリケーションやツールに侵入した場合、数百万ドル規模の損害が生じる可能性があります。
3. 悪用シナリオ
悪用シナリオとは、攻撃者がAIシステムを「武器化」し、有害なコンテンツを生成させることで発生するリスクです。これには、詐欺を目的としたディープフェイクの生成や、マルウェアなどの悪意のあるコード作成、企業の評判を失墜させたり差別を助長したりする、偏った出力の生成が含まれます。
ディープフェイクをはじめとする生成AIの悪質な生成物は、個人や組織の社会的信用を損なうだけではありません。特に深刻なシナリオとして挙げられるのが、犯罪者がディープフェイクを悪用して生体認証システムを突破するケースです。脅威アクターが認証システムを突破すれば、さらに機密性の高い企業データへの不正アクセスを許すことになります。
4. コンプライアンスとガバナンスのリスク
コンプライアンスとガバナンスのリスクは、急速に進化するAI独自の規制や、既存のデータプライバシー法から生じるものです。組織は、自社の生成AIシステムがGDPR（EU一般データ保護規則）や、CCPA（カリフォルニア州消費者プライバシー法）、業界固有の要件に準拠していることを担保しつつ、「EU AI法（EU AI Act）」のような最新の法的枠組みにも適応していかなければなりません。
こうした新しいAIコンプライアンス規制やフレームワークの急増を主導しているのが、EU AI法です。同法のように法的義務を伴う規制がある一方で、ガイドラインや推奨事項に留まるものもあります。そのため、企業はAIコンプライアンスにおける複雑な最新動向を常に注視、適切に整理・対応していく必要があります。
GenAI Security Best Practices Cheat Sheet
This cheat sheet provides a practical overview of the 7 best practices you can adopt to start fortifying your organization’s GenAI security posture.
生成AIのセキュリティ確保に役立つフレームワークと原則
セキュリティフレームワークは、生成AIのリスクを管理するための体系的なアプローチを提供します。これらの確立されたガイドラインを活用することで、組織は包括的なAIセキュリティプログラムを実装できるようになります。
OWASP Top 10 for LLM Applications：OWASPが公開しているこのリストは、LLMアプリケーションの普及が多くのAIセキュリティリスクをもたらす点に着目したものです。トレーニングデータのポイズニング（データ汚染）やプロンプトインジェクションを含む、主要な10のLLMセキュリティリスクを提示し、これらを回避・制御するための対策や戦略を提供しています。
GartnerAI TRiSM：AI TRiSMは、AIのセキュリティリスクを把握し、強固なAIガバナンス態勢を構築するためのフレームワークです。「説明可能性・モデルモニタリング」「ModelOps」「AIアプリケーションセキュリティ」「プライバシー」の4つの主要コンポーネントで構成されています。AI TRiSMを活用することで、顧客やパートナーからの信頼を醸成し、生成AIパイプラインを強化しながら、AI関連の法規制への準拠が可能になります。
NIST AI RMF：NIST（米国国立標準技術研究所）の AI RMFは、AIライフサイクルのセキュリティ確保に向けた段階的なアプローチを提供します。「Govern（統治）」「Map（位置づけ）」「Measure（測定）」「Manage（管理）」の4つの主要ステップで構成されているのが特徴です。最新システムが持つ固有の課題に対応するため、NISTは2024年7月に「Generative Artificial Intelligence Profile」を公開しました。また、生成AIセキュリティの重要な側面である倫理的・社会的な考慮事項も織り込まれています。
FAIR-AIR Approach Playbook：FAIR Instituteが作成したこのプレイブックは、シャドーAI、管理されたLLM、アクティブなサイバー攻撃を含む、生成AIに関連する5つの攻撃ベクトルを取り上げています。リスクのコンテキスト化から始まり、緩和策に関する意思決定に至る5つの主要ステップが定義されています。
LLMのアーキテクチャリスク分析（Architectural Risk Analysis of LLM）：BIML（Berryville Institute for Machine Learning）が発行したこの文書は、81ものLLMセキュリティリスクを網羅した包括的な分析レポートです。最高情報セキュリティ責任者（CISO）から政策立案者まで、幅広い層にとって有用なリソースです。本文書では、最も注視すべきLLMセキュリティリスクのトップ10も重点的に取り上げています。
AWS Generative AI Security Scoping Matrix：AWSが提供するこのリソースは、生成AIセキュリティを個別のユースケースに分類して考えるためのものです。「コンシューマーアプリ」「エンタープライズアプリ」「事前トレーニング済みモデル」「ファインチューニング済みモデル」「独自トレーニングモデル」という5つのユースケース（スコープ）が定義されています。自社がどのような種類の生成AIアプリケーションを扱っていても、リスクに対処するための具体的なアプローチを見つけられます。
MITRE ATLAS：MITRE ATT&CKフレームワークを補完するリソースとして導入されたMITRE ATLASは、AIアプリケーションに対する攻撃手法に関する最新のナレッジベースです。14種類の戦術にわたる91の攻撃手法が収録されています。各攻撃タイプに対する詳細な緩和ガイドラインや戦略も提示されています。
Secure AI Framework（SAIF）：Googleが主導するセキュアなAI構築のためのフレームワークです。 差し迫ったAIセキュリティリスクを明確にし、それらを緩和するためのコントロールを定義しています。組織固有のAIセキュリティ状況を把握したい場合は、SAIFが提供する「Risk Self-Assessment Report」の活用が有効です。
Watch 10-min AI Guided Tour
Interactive walkthrough of how Wiz helps security teams secure AI workloads across the cloud with full visibility.
生成AIセキュリティのベストプラクティス
生成AIセキュリティのベストプラクティスは、AIシステムとデータを保護するための実践的なステップを提供するものです。包括的な防御態勢を構築するために、以下の対策を優先順位に従って実施してください。
1. AI-BOM（AI版部品表）の作成を優先する
AI環境の完全な可視化は、組織内のすべてのAIシステムをカタログ化することから始まります。AI-BOM（AI版部品表）は、環境全体に存在するすべてのAIモデル、トレーニング用データセット、API、ツールを特定するものです。このインベントリ（資産目録）を作成することで、シャドーAIの導入が浮き彫りになり、リスク評価とセキュリティコントロールの基盤が確立されます。
実装例：
ベンダーモデル（OpenAI、Anthropicなど）、カスタムモデル、サードパーティアプリケーションに組み込まれたモデルを含め、利用中のすべてのAIモデルを文書化する
トレーニングおよび推論データの発生元と処理方法を明確にするため、データフローをマッピングする
自動検出ツールを活用し、文書化されていないAIシステム（シャドーAI）を特定する
想定される成功指標：
本番環境で稼働する生成AIシステムの100%インベントリ化
最初の2回のインベントリサイクル内で未知のAI資産を90%削減
すべてのトレーニング用データセットにおけるデータの系統（データフロー）の完全な把握
主要ステークホルダー：
セキュリティチーム：インベントリプロセスの主導
データサイエンス/MLチーム：モデルとデータに関する情報の提供
IT部門：インフラのマッピング支援
事業部門：部門ごとのAI利用状況の開示
2. ゼロトラストアクセス制御を実装する
ゼロトラスト制御は、「AIシステムやユーザーは本質的に信頼できるものではない」という前提に立ちます。このアプローチでは、最小特権アクセスの付与、継続的な認証、およびすべてのAIインタラクションに対するリアルタイム監視を実装します。ゼロトラストアーキテクチャの導入により、モデルやトレーニングデータへの不正アクセスを防止しながら、不審な動作の早期検知が可能になります。
実装例：
すべての生成AIエンドポイントにIDベースのアクセス制御を適用する（例：モデルAPIへのアクセスにSSOを要求）
コンテキストベースのAPIレート制限を実装する（例：ユーザー単位、エンドポイント単位、モデルアクセスレベル単位）
モデルに対するユーザーインタラクションの継続的な監視を設定し、異常を検知する
生成AI環境を他の本番システムから分離する
想定される成功指標：
生成AIシステムの100%が認証・認可済みのチャネルを通じてのみアクセス可能な状態の維持
トレーニングデータへの特権アカウントアクセスの90%以上削減
規制違反につながるような重大なデータ漏洩インシデントのゼロを維持。軽微なインシデントは24時間以内に検知・修復
すべてのモデルインタラクションにおける完全な監査ログの取得
主要ステークホルダー：
CISO室：戦略の策定と統括
セキュリティエンジニアリングチーム：制御策の実装
ML運用：AIパイプラインへの統合
IAMチーム：ユーザーアクセスの管理
3. 生成AIデータを保護する
データセキュリティは、AIシステムを支える機密情報を保護します。まずはデータ収集からトレーニング、推論に至るデータフローをマッピングすることから始めます。
その上で、保存データの暗号化、機密フィールドのトークン化、さらにはインジェクション攻撃を防止するための入力値のサニタイズ（無害化）を実装します。
実装例：
AES-256暗号化方式を使用して、すべてのトレーニングデータを保存時に暗号化する
正規表現フィルタリングと機械学習ベースの異常検知を組み合わせて、プロンプトインジェクションを検知する
差分プライバシー技術を適用し、トレーニングデータ内の機密情報を保護する
データの機密度に基づき、異なるデータセットに対してロールベースのアクセス制御を適用する
想定される成功指標：
機密データの100%が暗号化または匿名化されていること
生成AIモデルからのデータ漏洩インシデントがゼロであること
処理前に、すべてのユーザー入力値の完全な検証が行われていること
すべてのステージ（トレーニング、ファインチューニング、推論）に包括的なデータ保護が適用されていること
主要ステークホルダー：
データセキュリティチーム：実装の主導
データサイエンス/MLチーム：保護されたデータに対応できるようなモデルを適応
プライバシーオフィス：データ保護規制への準拠の担保
開発チーム：入力値検証コントロールの実装
4. AIコンプライアンス要件をマッピングする
コンプライアンスマッピングにより、自社のAIシステムに適用される規制を特定します。特に「EU AI法（ EU AI Act）のようなフレームワークの要件と、各AIユースケースを関連付けるマトリックスの作成が不可欠です。万が一違反した場合、最大4,000万ユーロ、または全世界売上高の7%の罰金が科される可能性があります。
実装例：
生成AIのユースケースに特化した規制マッピングマトリックスを作成する
規制が要求する技術的制御を実装する（例：AIの意思決定に対するGDPR上の『説明を受ける権利』への対応）
今後のAI規制の動向に対応するコンプライアンスカレンダーを策定する
必要に応じてローカル（国内）処理を確保するためのデータ主権フレームワークを構築する
想定される成功指標：
各生成AIユースケースに適用される規制が100%文書化されていること
四半期レビューにおけるコンプライアンス違反がゼロであること
高リスクAIアプリケーションに対する影響評価の完了
規制監査時に、実装しているコントロールを適切にデモンストレーションできること
主要ステークホルダー：
法務/コンプライアンス部門：規制マッピングと文書化の主要オーナー
データサイエンスチーム：技術的制御の実装担当
CISO室：全体的なコンプライアンス戦略に対する責任
調達部門：ベンダーのAIシステムがコンプライアンス基準を満たしていることの確認
5. 生成AI固有のインシデント対応計画を策定する
AIセキュリティ対策がどれほど強力であっても、インシデントの発生を完全に防ぐことは不可能です。そのため、生成AI固有のインシデント対応計画を事前に策定しておく必要があります。特に、自動化を組み込んでインシデント対応チームの運用を支援することにより、脅威の早期検知と迅速な封じ込めが可能になります。
実装例：
一般的な生成AIインシデント（データ漏洩、モデル操作、有害な出力など）そ想定した対応プレイブックを作成する
既知のパターンに対する「自動検知・初動対応」を実装する（例：プロンプトインジェクションの試行を検知した際の自動セッション遮断）
AIインシデントの種類や深刻度に応じた明確なエスカレーションパスを確立する
生成AIセキュリティ侵害を想定した机上演習を実施する
成功指標：
重大な生成AIインシデントを30分以内に封じ込め、定義されたSLA（サービス品質保証）内での完全解決の達成
インシデント対応担当者の100%がAI固有のシナリオについてトレーニングを修了していること
対応プレイブックの四半期ごとのテストおよびアップデート
すべてのAIセキュリティイベントに対する事後分析の実施
主要ステークホルダー：
インシデント対応チーム：計画の策定とハンドリングの実行
AI/ML運用：技術的な対応
コミュニケーションチーム：インシデント発生時の外部コミュニケーション管理
法務部門：インシデントに伴うコンプライアンス上の影響への対応
6. AIセキュリティツールでセキュリティ態勢（セキュリティポスチャ）の可視性を確保する
AIセキュリティツールは、従来のセキュリティソリューションではカバーできない、AIシステム特有のリスクに対する専門的な保護を提供します。なかでも「AIセキュリティ態勢管理（AI-SPM）」プラットフォームは、モデル盗難やプロンプトインジェクションといったAI特有の脅威に対する継続的な監視、リスク評価、および自動修復機能を提供し、安全なAI活用を支えます。
想定される成功指標：
すべてのミッションクリティカルな生成AIアプリケーションへのセキュリティツールの導入、および監視力カバレッジにおけるギャップの継続的な排除
重大な脆弱性の90%以上を30日以内に修復・対応
モデルドリフトと異常な動作の自動検知
AIにおけるアタックパスとセキュリティ態勢の完全な可視化
主要ステークホルダー：
セキュリティエンジニアリング：ツールの選定、導入、および評価
DevSecOps：開発パイプラインへのセキュリティ統合（インテグレーション）
ML運用：日常的な監視プラットフォームの運用管理
リスク管理：リスクセスメンとにおけるツールデータの利活用
Wizが生成AIセキュリティをどのように支援するか
Wiz AI-SPMは、フルスタックの可視化、自動化されたリスク検知、そしてクラウドのコンテキストに応じた修復ガイダンスを通じて、生成AIシステムの包括的な防御を提供します。AIの導入が加速する中、Wizが発行した「State of AI in the Cloud 2025」レポートでは、実に85%以上の組織がマネージド型またはセルフホスト型のAIサービスを利用していることが明らかになりました。AIセキュリティ態勢管理（AI-SPM）のパイオニアであるWizは、完全なAI資産管理（イベントリ）、アタックパス（攻撃経路）分析、および既存のクラウドセキュリティワークフローとのシームレスな統合を実現します。
Wiz AI-SPMが提供する主な機能：
生成AIパイプラインに対するフルスタックの可視化
生成AIにおけるリスクと設定ミスの継続的な検知
AIアタックパス（攻撃経路）の分析
シャドーAIの特定
既存のクラウドセキュリティワークフローとの統合
See for yourself...
Learn what makes Wiz the platform to enable your cloud security operation
