重要なポイント
  • AIモデルは監査可能な静的コードではなく、trainingを通じて進化し続けるartifactです。そのため、ライフサイクル全体にわたり、データポイズニング(Data poisoning)、モデル盗難(Model theft)、敵対的な操作、supply chainの侵害といった攻撃対象領域(attack surface)が生まれます。

  • 企業でのAI導入はsecurity controlsの整備を大きく上回るペースで進んでおり、危険な死角が生じています。多くの組織が、分散したクラウドインフラ全体で、デプロイ済みAIモデルのinventory把握、datasetの保護、不正アクセスの防止に苦慮しています。

  • AIモデルの侵害は、従来のソフトウェアの脆弱性悪用とは異なる形で連鎖的に広がる可能性があります。侵害されたAIモデルが1つあるだけで、不正検知、医療診断、自律システムにおける下流の数千もの意思決定が損なわれます。

  • AIモデルセキュリティには、検出、supply chain security、データ保護、アクセス制御とsecretsの監視、model artifactとデプロイの完全性という統合された機能が必要です。これらの機能は、継続的な態勢管理を通じて連携させる必要があります。

AIモデルセキュリティは、初期trainingから本番環境へのデプロイ、runtimeでの利用に至るまで、AIモデルのライフサイクル全体で固有の脆弱性を狙う攻撃からmodel artifactを保護する取り組みです。

AIモデルセキュリティが従来のアプリケーションセキュリティと異なるのは、AIモデルが静的なコードではなく、データによって形作られる確率的な存在である点です。そのため、従来のsecurity controlsでは想定されていなかった新たな攻撃対象領域が生まれます。敵対的入力によって予測が操作されたり、巧妙に作り込まれたpromptによって言語モデルのガードレールが回避されたり、繰り返しのクエリによって機密性の高いdatasetの内容が気付かないうちに明らかになったりすることがあります。AIシステムを保護することと、AIを活用してセキュリティを高めることの違いについては、「AIセキュリティの2つの種類」をご覧ください。

リスクにさらされるassetは総称してmodel artifactと呼ばれ、ライフサイクル全体に及びます。dataset、AIモデルのアーキテクチャ、trainingで得られた重み、ハイパーパラメータ、バージョン管理されたチェックポイント、inferenceエンドポイントは、それぞれ異なる障害モードを抱えています。ポイズニングされたdatasetはAIモデルの挙動を根本から損ない、盗まれた重みは知的財産を露呈させるとともに、敵対的攻撃(Adversarial attacks)を組み立てるための設計図となります。また、misconfigurationのあるエンドポイントは、prompt injectionやデータ窃取の足がかりとなります。

AIモデルがライフサイクルの各段階を進むにつれて、脅威の全体像も変化します(図1を参照)。初期段階の弱点が後工程に波及する一方で、runtimeでのexposureは、AIモデルの挙動に影響を与えたり挙動を引き出したりする、まったく新しい手段をもたらします。したがって、AIモデルを保護するには、構築、保存、アクセス、クエリの各方法を踏まえた、ライフサイクルを意識した対策が必要です。

Figure 1. AI model security threats evolve across lifecycle stages

企業にとってAIモデルセキュリティが重要な理由

企業におけるAIの導入は、セキュリティ対策の準備を憂慮すべきペースで上回っています。Wizの『クラウドにおけるAIの現状(State of AI in the Cloud)』によると、クラウド環境の74%ですでにAIサービスが稼働しており、workloadの72%をセルフホスト型のAIモデルが占めています。マネージドサービスから自社でtrainingしたAIモデルへの移行によって攻撃対象領域は大幅に拡大しており、IBMの最近のレポートでは、2025年に13%の組織がAIモデルの侵害を経験したことが示されています。

クラウドは、次のような形でAIモデルのリスクを増幅させます。

  • リージョンをまたいだAIモデルの複製により、アクセス制御に一貫性がなくなります。たとえば、us-east-1で保護されているAIモデルが、eu-west-1では公開されている可能性があります。

  • マルチテナントで共有されるtrainingインフラでは、サイドチャネルやmisconfigurationを通じて、AIモデルの重みやdatasetが露出するおそれがあります。

  • 一時的なtraining環境は、データの系統(データフロー)の死角を生みます。また、APIで公開されたAIモデルは、インターネット規模の脅威にさらされます。

  • Hugging Faceなどの公開レジストリからは未審査のAIモデルがworkloadに流れ込み、バックドアが持ち込まれる可能性があります。

  • クラウドのセルフサービス機能により、一元的なgovernanceの外でAIモデルをデプロイできるため、shadow AIが加速します。

AIモデルが侵害されると、その影響は単一のシステムにとどまりません(図2を参照)。

Figure 2. How model compromises cascade downstream across multiple systems

金融、医療、自律システムの分野では、こうしたリスクが安全性とcomplianceを直接脅かします。AIの導入が加速するなか、攻撃者はこうしたギャップを積極的に悪用しています。

AIモデルセキュリティの課題

AIモデルは、既存の対策の多くが想定していなかったセキュリティ上の課題をもたらします。これはAIモデルが本質的に危険だからではなく、リスクが持ち込まれる経路と管理のあり方を変えるからです。AIモデルの挙動は再training、再デプロイ、新たなデータ接続によって変化することがあり、その多くはセキュリティチームが普段レビューしているようなコード変更を伴いません。

この変化は、保護の面で現実的な影響を及ぼします。機密情報がAIモデルの重みに直接埋め込まれることがあり、その重みは機能を損なわずに暗号化したり、意味のある形で難読化したりすることができません。攻撃者が価値を引き出すのに、ソースコードへのアクセスは必要ありません。公開されたinferenceエンドポイントに巧妙なクエリを送るだけで、datasetやAIモデルの挙動に関する知見を得られることがあります。

こうした技術的な課題に加え、セキュリティエコシステムがAI導入のスピードにまだ追いついていないという問題もあります。成熟したアプリケーションセキュリティプログラムは、確立されたスキャナーや解析ツール、レビューのワークフローに支えられています。一方、AIシステム向けの同等のガードレールはまだ発展途上であり、多くの組織が一貫したsecurity controlsを整える前にAIモデルをデプロイしています。

その結果、成熟度のギャップは広がり続けています。Wizの調査によると、25%の組織がvisibilityを欠いており、自社環境でどのAIシステムが稼働しているかを把握できていないため、基本的なgovernanceや管理さえ十分に行えません。AI導入の加速に伴い、デプロイのペースはレビュー体制の処理能力を上回り続けています。未審査のAIモデルが本番環境に到達し、従来のプロセスでは想定されていなかったシステム全体のリスクが高まっています。

クラウドベースのAIインフラでこうした課題が実際にどのように表面化するかについては、「WizとHugging Faceのケーススタディ」をご覧ください。

AIを取り巻く脅威の全体像の理解

効果的な防御には、開発からデプロイまでのライフサイクル全体で、攻撃者がAIモデル固有の脆弱性をどのように悪用するかを理解することが欠かせません。

  • データポイズニングは、悪意のあるtrainingサンプルを注入することで、バックドアを埋め込んだり、特定の精度を低下させたり、データの抽出を可能にしたりする攻撃です。

  • 敵対的攻撃は、AIモデルを欺く入力を作り込む攻撃で、人間には知覚できない画像の摂動から、ガードレールを回避するprompt injectionまで多岐にわたります。これらの攻撃は、実装上のバグではなく、統計的なパターン認識の仕組みを突くものです。

  • モデル盗難は、ストレージからの窃取、クエリに基づく再構築、インフラの侵害を通じて独自のAIモデルを抽出する攻撃です。盗まれたAIモデルは研究開発(R&D)投資の成果をそのまま複製し、標的型攻撃を可能にします。

  • サプライチェーンの脆弱性(Supply chain vulnerabilities)は、バックドアが仕込まれた事前training済みのAIモデル、悪意のあるフレームワークのdependencies、ポイズニングされたdatasetを通じてpipelinesを侵害します。

  • モデルハイジャック(Model hijacking)は、over-permissionedなシステムを悪用する攻撃です。データベースにアクセスできる言語モデルは自然言語によるインジェクションの経路となり、クラウドの権限を持つAIエージェントは操作されてデータ窃取や権限昇格に利用されるおそれがあります。詳細すぎるエラーメッセージでさえ、機密情報の漏洩につながることがあります。

こうした攻撃手法の急速な高度化と企業におけるAI導入の拡大が重なり、専門的な防御策が急務となっています。変化し続ける脅威の全体像を網羅的に把握するには、「AIセキュリティリスクの詳細」をご覧ください。

AIモデルセキュリティに不可欠な機能

AIモデルを保護するには、ライフサイクル全体にわたるAIモデル固有の特性に対応した専用の機能が必要です。クラウドセキュリティが基盤となる一方で、効果的なAIセキュリティは、assetのvisibilityやartifactの完全性から、データ保護、runtime監視に至るまで、複数の制御レイヤーにまたがります。包括的な保護には、次の5つのAI固有の機能が欠かせません。

  1. 検出とinventory:trainingジョブ、inferenceエンドポイント、AIモデルのレジストリ、それらを支えるインフラを含め、クラウド環境全体のAI assetを継続的に特定します。バージョン、データの系統(データフロー)、shadow AI、インフラのexposure経路の追跡もこれに含まれます。

  2. supply chain保護:来歴を検証し、事前training済みのmodel artifactをスキャンするとともに、機械学習(ML)フレームワークに悪意のあるコードや安全でない構造が含まれていないかを確認します。さらに、承認済みレジストリの使用を徹底し、AIモデルの部品表(Model Bill of Materials)を維持することで、侵害されたコンポーネントが本番環境に到達するリスクを低減します。

  3. データセキュリティと分類:datasetの分類、リスクの高いアクセス経路の特定、データフローの監視、inferenceを介した漏洩の検知、データ所在地要件の適用、不要な個人を特定できる情報(PII)の最小化を通じて、機密性の高いdatasetとoutputsを保護します。

  4. アクセス制御とsecretsの監視:過剰な権限を持つアイデンティティ、露出したsecrets、不正アクセスやautomationの悪用につながるmisconfigurationを特定し、trainingインフラ、レジストリ、inferenceエンドポイント全体でleast privilegeが守られているかを検証します。

  5. model artifactとデプロイの完全性:システムレベルでmodel artifact、構成のdrift、runtimeでの実行挙動を監視し、AIモデルの不正な改変、安全でないシリアライズ形式、承認されていないデプロイを検知します。

これらの機能はAI Security Posture Management(AI-SPM)を通じて連携し、既存のクラウドセキュリティのワークフローと統合しながら、AI固有のリスクを継続的に評価します。

AIモデルセキュリティを導入するためのベストプラクティス

AIモデルを保護するには、セキュリティをイノベーションの推進力として捉える戦略的なアプローチが必要です。次の実践的なベストプラクティスを活用し、5つの重要な領域と主要な対策に照らして、現在のセキュリティ態勢を評価し、ギャップを特定してください。

  • AIモデルの開発pipelineを保護する


    • 隔離されたVPC(仮想プライベートクラウド)またはアカウントによるtraining環境の分離

    • すべてのartifact(重み、アーキテクチャ、スクリプト、dataset)のバージョン管理

    • pipelineのあらゆる変更に対するコードレビューの義務化

    • 構成のdriftを防ぐための再現可能なビルドの徹底

    • trainingインフラに対する継続的な脆弱性スキャン

    • 承認済みの接続先に限定したネットワークのアウトバウンド通信の制御


  • 継続的な監視とテスト


    • 攻撃の早期検知と防御策の事前検証

    • ポイズニングの兆候としての性能のdriftの追跡

    • エンドポイントにおける敵対的なパターンの監視

    • ステージング環境でのOWASP LLM Top 10に基づくテスト

    • デプロイのアーキテクチャを標的としたレッドチーム演習の実施

    • 網羅的なアクセスログの維持


  • データgovernance


    • AIモデルのライフサイクル全体を通じた機密データの保護

    • 機密度に応じたdatasetの分類

    • 不要なPIIを排除するデータ最小化の実施

    • 不正なデータ移動を検知するためのアクセスパターンの監視

    • 目的制限の原則の徹底

    • outputsをソースまで追跡できるデータの系統(データフロー)の維持

    • 保持ポリシーの適用


  • supply chainの審査


    • 侵害されたコンポーネントの本番環境への到達防止

    • 公開リポジトリを信頼できないものとして扱う、承認済みレジストリの確立

    • チェックサムによる完全性の検証

    • SBOM(software bill of materials)とAI-BOM(AI部品表)の維持

    • 事前training済みのAIモデルに対する悪意のあるコードのスキャン

    • 外部のAIモデルを承認するgovernance委員会の設置


  • 敵対的テストと検証


    • 本番環境へのデプロイ前の脆弱性の特定

    • 抽出攻撃とポイズニングを標的としたレッドチーム演習の実施

    • OWASPおよびNIST AI RMF(AIリスクマネジメントフレームワーク)に基づくベンチマーク

    • 開発段階での敵対的サンプルの生成

    • ジェイルブレイク耐性のテスト

    • 特定された攻撃を防ぐための対策の検証


これらのベストプラクティスは、変化する脅威に合わせて進化させる必要があります。また、アイデンティティ、ネットワーク、脆弱性管理といったクラウドセキュリティの中核的な基盤の上に、AI固有の対策を重ねて構築することが重要です。具体的な実装ガイダンスについては、「AIセキュリティのベストプラクティス(完全ガイド)」をご覧ください。

WizがAIモデルをライフサイクル全体で保護する仕組み

Wiz AI-APPは、AI-SPM、model artifactのスキャン、データ保護、attack path分析、code security、runtime検知を単一のcloud native platformに統合し、クラウドとインフラのレベルでAIモデルのライフサイクル全体にわたってAIシステムを保護します。

WizはAIモデルを個別に評価するのではなく、クラウド環境全体の検出結果を関連付けて、悪用可能な状態やattack pathを浮き彫りにします。これにより、断片的な脆弱性ではなく、完全なcontextを提示します。

よくあるシナリオ:training workloadを実行する、インターネットに公開された仮想マシン(VM)が、機密性の高いdatasetに直接アクセスできる状態になっているケースです。

Figure 3. Example of an attack path to an AI training infrastructure uncovered by the Wiz Security Graph

このシナリオでは、クラウドのexposure、アイデンティティの権限、データへのアクセスが組み合わさることで、datasetの改ざんや、再training時に侵害されたmodel artifactが持ち込まれる条件が整ってしまいます。その結果、AIモデルの完全性が損なわれ、下流で有害な意思決定が大規模に行われるおそれがあります。Wiz AI-APPは、次の機能によって、セキュリティチームがこの攻撃チェーンを早期に把握し、断ち切れるよう支援します。

  • AI-BOM検出:agentlessスキャンにより、露出したコンピュートresource、trainingインフラ、データバケット、サポート対象のAIモデルの重みとバイナリ、inferenceエンドポイントなど、クラウド環境とセルフホスト環境全体のAI assetを特定します。

  • Security Graph:AI assetをクラウドのアイデンティティ、権限、ネットワークのexposureと結び付け、過剰な権限を持つ認証情報や、機密性の高いdatasetとmodel artifactへの直接的な経路を持つ公開インフラを明らかにします。

  • supply chain保護:trainingやデプロイのpipelinesに到達する前にサポート対象のバイナリをスキャンし、承認済みのソースのみを許可することで、侵害されたmodel artifactが本番環境に入り込むのを防ぎます。

  • DSPM for AI:datasetとoutputsを分類してPIIや知的財産などの機密情報を特定し、AI workloadが不要またはリスクの高いアクセス権を持つ箇所を明らかにします。

  • attack path分析:exposure、アイデンティティのmisconfiguration、機密データへのアクセスが交差する悪用可能な経路をマッピングし、データポイズニング、AIモデルの不正な改変、侵害されたartifactのデプロイにつながりうる状態を明らかにします。

  • Code Security:AI pipeline、dependencies、サポート対象のmodel artifactをスキャンし、trainingやデプロイのワークフローにリスクをもたらしうる、埋め込まれた悪意のあるコードや安全でないシリアライズのパターンを検出します。

  • runtime検知:AI workloadとそれを支えるインフラを監視し、予期しないプロセスの実行、不審なネットワークアクティビティ、不正なアクセスパターンなど、進行中の攻撃を示唆するシステムレベルの異常な挙動を検出します。

AIの態勢、artifactのスキャン、runtime signal、クラウドのcontextを統合することで、Wizは断片的な検出結果を、優先順位付けされた実用的なインテリジェンスへと変えます。これにより、AIモデルの内部構造に関する推測的な分析に頼ることなく、training、デプロイ、inferenceの各環境で実際のAIリスクを低減できるよう支援します。

AIモデルのライフサイクル全体にわたるリスクを把握し、優先順位付けを進めるために、Wizがどのように支援できるかをご確認ください。 Wizのデモを見る

よくある質問