AIモデルのセキュリティスキャンの理解
AIモデルセキュリティスキャンとは、ライフサイクル全体を通じて、モデルおよびその周囲のスタックがセキュリティ問題がないかチェックするプロセスです。 これには静的アーティファクトスキャン(モデルファイル、依存関係、シリアライズ形式)、パイプラインおよびポリシーの強制(CI/CDゲート、アドミッションコントロール)、動的エンドポイントテスト(プロンプト注入、アブリューズパターン)、ランタイム監視(挙動異常、ドリフト検出)が含まれます。 モデルのアーティファクト、トレーニングデータ、推論エンドポイント、そしてそれらをホストするクラウドインフラを検証します。
クラウド上のAIモデルは、通常のアプリでは見られない特定の脅威に直面しています。 例えば、次のような用語に出会うでしょう モデル抽出, データポイズニング、および 迅速な注入 –最近のガートナー調査によると、攻撃パターンは増加傾向にあります。 これらの脅威は、訓練から本番環境の推論まで、AIライフサイクルのさまざまな段階を標的にしています。
モデル抽出: 攻撃者があなたのモデルをコピーします'多くの作成されたクエリを送信することで、Sの動作やパラメータを処理します。
データポイズニング: 悪意のあるデータはトレーニングやファインチューニングに組み込まれ、モデルが誤った動作をしたり隠れたバックドアを持たせたりします。
プロンプトインジェクションと敵対的入力: 入力は命令の上書き、データの漏洩、または危険な動作を強制するために作られています。 レッドチーミングの研究(例えば本研究)は、AIエージェントに対する広範なポリシー違反を示しており、敵対的なプロンプトが複数のモデルアーキテクチャで安全ガードレールを回避できることを示しています。
従来のセキュリティツールはサーバーとネットワークに焦点を当てています。 彼らはめったに理解しない モデルシリアライゼーション攻撃 (モデルファイルに隠された悪意のあるコード)、 公開トレーニングデータセット, メンバーシップの推論 (特定のデータが訓練セットに含まれているかどうかを判定すること)、または モデル反転 (出力から元の訓練データを再構築すること)
あなたは以下のように考えるべきです。 有害な組み合わせ、単一の発見ではありません。 例えば、モデルの脆弱性が深刻になるのは次の段階です:
このモデルはインターネットから呼び出すことができます。
モデルは機密データストアにアクセスできます。
モデルホストはクラウドアカウント内で権限が広すぎるのです。
実際には、あなたのトップリスクは脆弱なモデル、強力なアイデンティティ、重要なデータが交差する場所に存在します。 あるグローバルサービス企業はこの方法でLLMの脆弱性を発見し、自動ルーティングを使って各モデルを所有する正確なチームに問題を送り、セキュリティが手動で所有者を追跡する必要を避けました。
25 AI Agents. 257 Real Attacks. Who Wins?
From zero-day discovery to cloud privilege escalation, we tested 25 agent-model combinations on 257 real-world offensive security challenges. The results might surprise you 👀
包括的なモデル発見とインベントリの実施
モデル発見とは、環境内のすべてのAI資産を見つけることです。 モデルインベントリは、それらの資産、それらが触れるもの、所有者の最新記録を保持しています。
このインベントリにはマネージドサービス、セルフホストモデル、実験的なものを含みたいものです。 つまり、車を詰めることです:
SageMaker、Azure ML、Vertex AIなどのプラットフォームによる管理型エンドポイント。
Kubernetes、VM、サーバーレスでのカスタムデプロイメント。
トレーニングインフラ、フィーチャーストア、バッチ推論ジョブ。
モデルの所在が分かったら、それらがどのように作られたかと結びつけてください。 これは モデル系譜トレーニングデータからパイプラインを経て本番のエンドポイントまでモデルを追跡する。
モデルレジストリ: すべての生産グレードモデルを登録するための中央の場所を設置または作成してください。
AIパイプラインインベントリ: マップコードリポジトリ、トレーニングジョブ、評価ステップ、デプロイジョブなどです。
所有権: チーム名、サービス、事業ユニットをタグ付けして、問題を即座に割り当てられるようにしましょう。
また、水面に浮かぶ必要があります シャドウAIモデル. これらはチームが公式レビューの外で独立して構築するモデルであり、クラウドアカウントに残っていることが多いです。最新のSysdig利用報告によると、AIワークロードが年々急速に増加していることを考えると、重要な作業です。
複数の合併を経験したデータ駆動型企業がこの手法を用いて スキャンAI(AI) 6つの異なる環境での使用。 単一のインベントリとセキュリティグラフで、どのモデルが機密データを使用し、どのモデルがインターネットにさらされているかを、どのメーカーが作ったかに関わらず、ついに確認できるようになりました。
CI/CDパイプラインにおけるモデルスキャンの自動化
CI/CDでのモデルスキャンは、ビルドパイプライン内の他のアーティファクトと同様にモデルを扱うことを意味します。 ライブ配信後だけでなく、ステージングや制作に移行する前にスキャンします。
まずはモデルセキュリティチェックを明示的なパイプラインステップとして追加しましょう。 トレーニングやファインチューニングが完了し、モデルファイルが作成されると、あなたは:
モデルのアーティファクトをスキャンし、安全でないデシリアライズや埋め込みコードの検出。 Safetensorのような安全なフォーマットをPickleより優先し、信頼できないカスタムコードをブロックしてください。 Pickleファイルはデシリアライズ中に任意のPythonコードを実行でき、直接的なコード実行リスクを生み出します。
環境やコンテナで既知の脆弱性や設定ミスをチェックしましょう。
生成します SBOM AIのために そこには、関わるすべてのフレームワークと依存関係が一覧化されています。
次にルールを強制します ポリシー・アズ・コード. 例えば、どの生産モデルも開発データストアを参照できないと体系化するかもしれません。 コード、パイプライン、クラウド、ランタイムにまたがる統一ポリシーエンジンにより、チームはリスクの高いAI展開を早期にブロックし、環境間でポリシーの整合性を保つことで、モデルが危険な設定で漏れるリスクを減らします。
どの本番モデルも開発データストアを参照することはできません。
MLフレームワークに重大な脆弱性が存在する場合、展開は許可されません。
特定のプロジェクトやデータ型に対してパブリックエンドポイントは許可されていません。
Kubernetesについて、 入学管理者 例えばOPAゲートキーパーや最後のゲートとしてのカイバーノのようなものです。 これらのコントローラは、クラスター内でリソースが作成される前に展開リクエストを傍受し、ポリシーを強制します。
モデル署名: 署名付きのモデルアーティファクトを義務付け、提供前に署名を確認しましょう。
IaCスキャン: Terraform、Helm、その他のAIインフラ構築テンプレートを検証しましょう。
非準拠の展開: 早く失敗し、オーナーチームに明確なメッセージを伝えましょう。
あるグローバル製品企業は、クラウドリソースが作成される前に誤設定を検出するためにこのパターンを利用しています。 同じアプローチを適用できますので、どんな試みでも スキャンAI(AI) モデルやインフラは、変更のたびに自動的に行われます。
クラウドAIサービスの導入の安全確保
クラウド上でAIサービスのセキュリティを確保するには、モデルをどのように公開し、配線するかが重要です。 完全に安全なモデルファイルがあっても、間違った展開選択で大きなモデルのセキュリティ問題が生じる可能性があります。
まずはエンドポイントの露出方法に焦点を当てましょう。 例えば、次のような簡単な質問をしてください: "これを誰が呼べるでしょうか?" および "どこから?"
エンドポイント曝露: 可能な限りパブリックよりもプライベートエンドポイントを優先してください。 SageMakerエンドポイントにはAWS PrivateLink、Azure MLにはAzure Private Link、Vertex AIにはGCP Private Service Connectを使いましょう。 これにより、推論トラフィックはVPC内で、公共のインターネットにはアクセスできません。
ネットワーク制御: AWS PrivateLink、Azure Private Link、GCP Private Service Connectのようなプライベートネットワーク構造を使って、推論エンドポイントをパブリックインターネットから遠ざけましょう。 サービスメッシュや内部ゲートウェイは追加のポリシー強制層を追加します。
次に認証と権限をロックダウンします。 モデルへのすべての呼び出しは認証され、サービス環境は最小権限に従うべきです。
認証: ワークロードの識別や短命トークンのような強力な認証パターンを使いましょう。 クラウド環境では機械の識別数が人間の識別数をはるかに上回り、過剰で未使用の権限が蓄積されるためリスクが高いことが多いです。
許可事項: モデルホストが本当に必要な特定のバケット、キュー、または秘密だけを読み取れるようにしましょう。
また、注意が必要です 構成ドリフト. 開発者はロックダウン設定を使っている間に、本番環境は静かに移行しているのかもしれません "世界に開かれた" 領土だ。
ドリフトチェック: エンドポイントの露出、暗号化、ログ記録、ID設定について、開発、ステージング、本番環境を定期的に比較してください。
暗号化: モデルファイルやトレーニングデータは、AWS KMS、Azure Key Vault、またはGCP Cloud KMSを通じて顧客管理の暗号化キー(CMEK)を使って静止状態で暗号化されていることを確認してください。 TLS 1.3ですべての推論エンドポイントとデータ転送のトラフィックを保護します。
このように配置を確保すると、 モデルセキュリティ 単なるモデルの話ではなく、より広いクラウド衛生の一部となります。
Sample AI Security Assessment
Get a glimpse into how Wiz surfaces AI risks with AI-BOM visibility, real-world findings from the Wiz Security Graph, and a first look at AI-specific Issues and threat detection rules.
ランタイムモデル保護と監視
ランタイムプロテクションとは、実際にトラフィックを処理しているモデルを監視する方法です。 ここではモデルファイルのプロパティよりも、動作を重視します。
まずはデプロイから始めましょう ランタイムセンサー モデルサービスインフラ上、またはセンサーが存在する場所でクラウドネイティブテレメトリを有効にするか'実現不可能だ。 これらの軽量eBPFベースの部品は以下の通りです:
モデルホストで不審なプロセスが始まる。
予期しないファイル書き込みやネットワーク接続。
コンテナの脱出や特権エスカレーションの試み。
同時に、モデルの挙動を監視します。 リクエストや応答の異常なパターンは、攻撃や悪用を示唆することが多いです。 ランタイムテレメトリとクラウドのアイデンティティ、ネットワーク露出、データ機密性のコンテキストを組み合わせることで、誤検知を減らし、トリアージを迅速化します。すべての例外を追いかけるのではなく、実際に重要な異常に集中できます。
行動分析: 奇妙なスパイクや奇妙なプロンプトパターン、極端な探り込みなどを探りましょう。
データ流出: モデルホストから知らない目的地へデータを送信しようとする試みに注意してください。
また、追跡も行います ドリフト. モデルの出力や入力分布が予想外に変化した場合、それは毒の兆候、上流システムの故障、あるいは静かな攻撃の兆候かもしれません。
重要なワークロードにKubernetesを依存するソフトウェア企業は、コンテナ化されたサービスを保護するためにランタイムセンサーを使用しています。 同じセンサーが、突然発信を始めたり、通常の推論パターンと異なる行動をとるAIのワークロードを検知するのに役立ち、被害が広がる前の早期警告を与えています。
モデルサプライチェーンセキュリティの管理
モデル サプライチェーンセキュリティ モデルや機械学習コンポーネントがどこから来るかに関わっています。 強力なオープンソースモデルを持ち込んでも、誤って隠れたバックドアを巻き込むのは簡単です。
使用するすべてのサードパーティおよびオープンソースモデルの出所と整合性を必ず確認してください。 それには事前学習済みの重み、微調整されたチェックポイント、さらには小さな補助モデルも含まれます。
モデルの出所: 各モデルの出典と変更点を記録してください。
リポジトリのスキャン: 悪意のあるアーティファクトや既知の安全でないフォーマットがないかモデルリポジトリをスキャンします。 モデル署名を強制し、使用前に署名を確認して、モデルが安全に過ごせるようにしましょう'訓練と配備の間に改ざんされた。
次に、クリアを保つこと ソフトウェア資材表 各モデルごとに。 このSBOMには、モデルが依存するフレームワーク、ライブラリ、システムコンポーネントを一覧にすべきです。
依存性スキャン: このリストを脆弱性フィードと照合して常に確認してください。
定期的な更新: 脆弱性が発生した際には、重要なMLフレームワークのアップデートを計画・テストしましょう。
これにより、上流パッケージが完全な妥協に発展する静かなモデルの脆弱性を回避できます。 AIモデルのサプライチェーンはコンテナやオペレーティングシステムのサプライチェーンと同じように丁寧に扱い、特に注意を払っています モデル改ざん および サプライチェーン攻撃 AIに特有のもの。
GenAI Security Best Practices Cheat Sheet
This cheat sheet provides a practical overview of the 7 best practices you can adopt to start fortifying your organization’s GenAI security posture.
AIモデルのガバナンスおよびコンプライアンスフレームワーク
AIモデルガバナンスとは、モデルがどのように構築され、展開され、使用されるかについてあなたが定める一連のルールのことです。 コンプライアンスとは、そのルールを守ったことを証明する手段です。
まずモデルのライフサイクルに関するポリシーを定義します。 これらの保険はアクセス、承認、モデルの退役時期をカバーすべきです。
アクセスポリシー: 誰がトレーニングデータ、モデルの重み付け、推論ログを見ることができるか。
使用方針: モデルがどこで、どのユーザーに対して、どのデータ型で使えるか。
退職ポリシー: モデルがサービスから外される必要がある時期と、そのデータに何が起こりますか。
次に承認ワークフローを定義します。 高インパクトまたは高リスクモデルは、本番環境に入る前により正式な審査プロセスを経るべきです。
また、AI制御をNIST AI RMF 1.0、ISO/IEC 42001、EU AI法などの外部および内部標準にマッピングします。 関連する場合は、支援的なコントロールをSOC 2およびISO 27001に整合させ、包括的なセキュリティガバナンスを示すこと。
AIガバナンス: モデルに誰が承認したか、どのようなテストが行われたか、リスクがどのように評価されたかを文書化してください。
モデルリスク評価: 使用するデータや故障の影響に基づいて、モデルをリスクカテゴリーに分類します。
コンプライアンスマッピング: あなたのモデルコントロールを組織が従うセキュリティやプライバシーの枠組みに結びつけましょう。 NIST AI RMFへのマップモデルアクセス制御's の制御機能、ISO/IEC 42001 への訓練データ保護'データガバナンスの要件、そしてSOC 2 Type IIの連続監視制御へのランタイム監視。 規制対象の産業については、医療AIのHIPAAや決済処理モデルのPCI DSSなどのセクター固有の要件に合わせる必要があります。
こうすることで、あなたが変身します モデルセキュリティ 一連の臨時的な決定から、法務、リスク、セキュリティチーム全員が理解できる繰り返し可能なプロセスへと移行します。
侵害されたAIモデルのインシデント対応
AIインシデント対応 モデルに問題が起きたときにどうするかです。 他のインシデントと同じように扱いますが、モデル、データ、パイプラインに特に注力します。
まずはAI専用のプレイブックを書くことから始めます。 これらのプレイブックは、モデルの盗用、モデルの誤用、敵対的攻撃などをカバーすべきです。
モデルサービスエンドポイントが奇妙な挙動をしたり、予期しない出力を提供したりしています。
環境で汚染されたモデルやデータセットを発見します。
誰かが承認なしにモデルの重みをコピーまたはダウンロードしました。
各プレイブックには明確な封じ込めの手順が明記されているはずです。 例えば、次のようなことが考えられます:
特定の推論エンドポイントをレート制限または無効化します。
トラフィックを以前の安全なモデルに切り替えましょう。
怪しい身元やネットワークがモデルに呼び出すのを遮断し、影響を受けた認証情報、トークン、APIキーを即座にローテーションまたは取り消してください。 これにより、攻撃者が侵害された認証資料を通じてアクセスを維持するのを防ぎます。
あなたも必要です モデルフォレンジクス. ログ、モデルの系譜、環境データを用いて何が起こったのか調査する方法です。
法医学: モデルのアーティファクト、ログ、関連データを収集して分析します。
攻撃経路解析: 攻撃者がモデルやライブラリの問題からより広範なクラウドリソースへと移行した経緯を追跡してください。
AI関連ライブラリで重大な脆弱性に直面した金融サービス企業は、このような可視性を活用して、どのワークロードが悪質なコンポーネントを使っているかを特定し、迅速に修正しました。 このパターンは、AI関連のセキュリティイベントにも当てはまります。
高度なモデルセキュリティ技術
高度なモデルのセキュリティ管理は、リスクが高いときに追加される追加の層です。 最初に作るものではありませんが、敏感な作業には重要になります。
よくある例をいくつか挙げます:
モデルの透かし: モデルに見えない信号や挙動を追加し、後でそれが自分のものであることを証明したりコピーを検出できるようにします。
差別的なプライバシー: 攻撃者が個々のデータポイントについて学習できる範囲を制限する形でモデルを訓練します。出力にアクセスできてもです。
準同型暗号: データと計算を構造化し、特定の推論が暗号化されたデータ上で行えるようにし、生の値の露出を減らすことができます。
対抗訓練: 敵対的な例をモデルに意図的に訓練し、その攻撃パターンに抵抗することを学習させます。
これらのツールは、モデルの盗難、トレーニングデータの漏洩、敵対的攻撃に対して役立ちます。 パフォーマンスや複雑さのトレードオフが伴うため、リスクプロファイルが本当にコストに見合う場合に適用します。
Wizを使った統一AIセキュリティプログラムの構築
統合AIセキュリティプログラムとは、AIセキュリティとクラウドセキュリティが同じプラットフォーム、データ、ワークフローを共有することです。 別々の運営をやめてしまいます "AIセキュリティ" 島を使い、既存の運営モデルに取り入れてください。 このアプローチはOWASPトップ10のLLMアプリケーションと一致し、AIシステムに対する最も重要なセキュリティリスクに体系的に対処するのに役立ちます。
まずすべてのアセットを1つのビューにまとめます。 これにはモデル、データストア、コンピュート、アイデンティティ、パイプライン、エンドポイントが含まれます。
セキュリティグラフの可視化: セキュリティグラフを使って、特定のモデルがトレーニングデータ、本番データ、アイデンティティ、ネットワークとどのように接続しているかを示します。 モデル、データストア、アイデンティティ、エンドポイントにまたがるグラフコンテキストは、所有権の追跡や問題を迅速に適切なチームにルーティングしやすくし、セキュリティの確保に役立ちます'ボトルネックになる。
文脈の優先順位付け: ランク問題は単なる攻撃経路に基づくもので、単なる激しさスコアではありません。
その後、自動化を配線します。 モデルの脆弱性、設定ミス、データ露出が見つかった場合、それらは自動的に適切なチームに流れるべきです。
自動除去: 特定の条件が満たされた際にチケットを開いたり、アラートを送ったり、パイプラインの障害をトリガーしたりするルールを作成しましょう。 では AI修復 2.0環境に合わせた具体的な修正案を提案するAI搭載の提案が得られ、解決速度を上げ、手作業を減らします。
シフトレフト機能: データサイエンティストやMLエンジニアにIDE、ノートブック、CIパイプラインのスキャンアクセスを提供し、早期に問題を修正できるようにします。
統一されたプラットフォームは、これらのアイデアを一か所にまとめます。 Wiz AI-SPM AIサービスのリスクの高い構成やリスクを評価します。 Wizセキュリティグラフは、脆弱性、設定ミス、過剰な権限が組み合わさって攻撃経路を形成し、AIモデルや訓練データを脅かす可能性を示しています。
エージェントレスカバレッジなら、モデルサーバーに重いエージェントを加えることなくフルスタックの可視性が得られます。 デモを入手しましょう エージェントレススキャン、ランタイム保護、クラウドAIワークロードの統一可視性を探求します。
See Wiz AI-SPM in Action
Accelerate AI adoption securely with continuous visibility and proactive risk mitigation across your AI models, training data, and AI services.
