AIを保護するための最適なツールは何ですか? オンラインで答えを検索すると、かなりの知識のギャップに気付くでしょう。 AIを搭載したSecOpsツールについては多くの情報が存在しますが、AIや機械学習(ML)アプリケーションのSecOps運用を強化するセキュリティツールについてはあまり入手できません。 そこで、この記事の出番です。
このブログ記事では、MLSecOpsの5つの基本領域をレビューし、組織にとってのMLSecOpsの重要性の高まりを探り、注目すべき6つの興味深いオープンソースツールとWizが提供するAIセキュリティポスチャー管理ソリューションを紹介することで、MLSecOpsツールの状況を深く掘り下げます。
State of AI in the Cloud [2025]
Based on the sample size of hundreds of thousands of public cloud accounts, our second annual State of AI in the Cloud report highlights where AI is growing, which new players are emerging, and just how quickly the landscape is shifting.
Get the report
MLSecOps の紹介
MLSecOps (AISecOps) は、大規模な ML および AI パイプラインのセキュリティ保護に特化した SecOps プロセスとベスト プラクティスを定義することを目的とした新しい分野です。 SecOps と MLOps の主要な要素を組み合わせた MLSecOps は、従来の DevSecOps の必要な拡張として登場し、AI アプリケーションと MLOps の特有の課題に対処しました。
MLSecOps とは何ですか?
AIアプリケーションの保護はMLSecOpsの目標であり、2023年に初めて幅広い視聴者を獲得した分野です。
MLSecOps はまだ非常に新しいものですが (したがって、オンラインの情報が不足しています!)、多くのリソースが MLSecOps コミュニティ. これらの貢献の 1 つは、MLSecOps の 5 つの基本領域の定義であり、これにはセキュリティ チームが努力を集中できる目標が含まれます。
サプライチェーンの脆弱性: AIサプライチェーン全体のセキュリティを評価します。
モデルの出所: AI モデルの起源、系統、進化をライフサイクル全体にわたって追跡します。
ガバナンス、リスク、コンプライアンス(GRC): 内部および外部の規制基準を遵守するためのポリシー、手順、および制御を確立します。
信頼できるAI: 透明性があり、公正で、社内の利害関係者と外部ユーザーの両方に対して説明責任を果たす AI システムを提供します。
敵対的機械学習: 敵対的な攻撃、特にモデルの動作に影響を与えることを目的とした攻撃に対してテストすることにより、AI システムを保護します。
(これは MLSecOps の目標の最初のイテレーションであり、リストは時間の経過とともに増加することが予想されます。
MLSecOps コミュニティのリストは、AI アプリケーションの 2 つの基本的な側面に対処しています。また、AIモデルの非決定論的な性質により、AIモデルの理解と保護が困難になり、完全に制御することが不可能になります。 これらの5つの領域に焦点を当てることにより、 AIセキュリティ、 企業は、組織とユーザーの両方にとって安全なAIアプリケーションをリリースできます。
MLSecOps をどのように採用しているのか?
MLSecOps は、アドホックなソリューションを必要とする専門分野です。
すでに MLSecOps を採用している大企業もありますが、ほとんどの組織はその取り組みを始めたばかり、または始めようと考えているところです。 MLSecOps を使い始めるために必要な技術的な知識とリソースを考えると、ほとんどの企業がゼロから始めているのは理にかなっています。
それでも、AI の採用が増加するにつれて、MLSecOps がすべての組織にとって不可欠になると予想されていること、また、 EU AI法 そして AIセキュリティに関する2023年大統領令が発効しつつあるため、セキュリティチームはAIアプリケーションの保護を優先事項にする必要があります。
The State of AI in the Cloud Report 2024
Did you know that over 70% of organizations are using managed AI services in their cloud environments? That rivals the popularity of managed Kubernetes services, which we see in over 80% of organizations! See what else our research team uncovered about AI in their analysis of 150,000 cloud accounts.
Download Report
トップ6のオープンソースAIセキュリティツール
適切なツールを選択することは、AIセキュリティ体制を強化するための最良の方法です。 以下では、利用可能な最も興味深いオープンソースのAIセキュリティツールのいくつかについて学ぶことができます。 これらのツールは、さまざまな AI モデルやフレームワークに広く適用できるものとして選択されていますが、次のような特殊なオープンソース ツールも存在します。 TensorFlowモデル分析これらは、組織固有のニーズを満たすために調査する価値があります。
これらのオープンソースツールの採用を評価するときは、メンテナンスとサポートが限られている可能性があることに注意してください。 最も安全な選択は、サードパーティのセキュリティプロバイダーに頼ることです。 WizのAIセキュリティポスチャーマネジメント 記事の最後にあります。
1. NBディフェンス
NBディフェンス は、Protect AI が提供する AI 脆弱性管理用の JupyterLab 拡張機能および CLI ツールです。
JupyterLabは、世界中のデータサイエンスチームで最も使用されているAIモデル開発環境です。 NB Defenseは、モデル開発のソースで直接脆弱性管理を提供することで、MLライフサイクルの早い段階でセキュリティを組み込むことができます。 また、セキュリティ担当者以外の担当者でも、信頼性の高いセキュリティ制御をわかりやすく使いやすい方法で直接導入できます。
主な機能: JupyterLab内のデータサイエンティストにコンテキストに応じたガイダンスを提供し、セキュリティオペレーター向けに高度なリポジトリスキャンを自動化することで、シークレットやPIIデータから一般的な脆弱性識別子(CVE)やサードパーティライセンスまで、脆弱性を早期に検出します。
MLSecOpsの重点分野: 信頼できるAI、 経由 DevSecOpsと脆弱性分析
2. Adversarial Robustness Toolbox
Adversarial Robustness Toolbox (ART) (英語) は、敵対的な脅威に対する ML 防御のための Python ライブラリで、Linux AI によってホストされています。 & データ基盤。
AIは、ユーザーのデータの抽出からディープフェイクの作成、誤情報の拡散まで、敵対的なアクターにさまざまな手段を提供できます。 ARTは、開発者と研究者の両方を念頭に置いて作成されました:このライブラリは、すべてのデータタイプで開発されたさまざまなモデルとアプリケーションを評価し、AIに対する最も一般的な敵対的脅威からそれらを防御することをサポートしています。
主な機能: 事前に構築された攻撃、推定器、防御、評価、およびメトリックの幅広いカタログを通じて、回避、ポイズニング、推論、および抽出の敵対的攻撃から保護します
MLSecOpsの重点分野: 敵対的機械学習 レッド&ブルーのチーミング
フールボックス そして クレバーハンス は、ARTに似た2つのライブラリで、チェックする価値があります。
3. ガラク
ガラク は、Leon Derczynski によって作成された、大規模言語モデル (LLM) の脆弱性スキャン用の Python パッケージです。
AI採用の新たな波は、次のようなLLMの商業化から始まりました チャットGPT. LLMは、多くの場合、サードパーティの統合を通じて、ビジネスの可能性を解き放つために、多くの組織で急速に採用されています。 Garakは、OpenAIからHuggingFace、LangChainまで、最も人気のあるすべてのLLMをスキャンして、それらが安全であることを確認する機能を提供します。
主な機能: LLMが幻覚、誤情報、有害な言語、脱獄、さまざまなタイプの脆弱性を調査するための事前定義された脆弱性スキャナーを提供します。 プロンプトインジェクションなど
MLSecOpsの重点分野: 敵対的機械学習 レッドチームのためのLLMの脆弱性分析
4. プライバシーメーター
プライバシーメーター は、NUS Data Privacy and Trustworthy Machine Learning Lab によって開発された、ML モデルのデータ プライバシーを監査するための Python ライブラリです。
AI モデルは、大量のデータでトレーニングされます。 トレーニングデータの漏洩 は、AIモデルに対する最も一般的で高価な脅威の1つです。 Privacy Meterは、(ほぼ)あらゆる統計モデルとMLモデルの基本的なプライバシーリスクを定量的に分析し、データレコードの個々のリスクと集計リスクの両方に関する広範な情報を含むすぐに使用できるレポートに収集します。 プライバシースコアを使用すると、モデルパラメータや予測を通じて漏洩するリスクが高いトレーニングデータレコードを簡単に特定できます。
主な機能: 最先端のメンバーシップ推論攻撃を実行し、設定タイルを使用してカスタマイズし、事前定義されたさまざまなプライバシーゲーム、アルゴリズム、およびシグナルを使用できます。
MLSecOpsの重点分野: リスク評価による信頼できるAI(特にデータ保護影響評価プロセスの一部として)
5. 監査AI
監査AI は、pymetrics が提供する ML バイアス テスト用の Python ライブラリです。
AIモデルは、トレーニングデータで提供されるパターンから学習し、その中に存在するバイアスや差別を永続させる可能性があります。 Audit AIは、データサイエンティストがよく知っている2つのライブラリ(pandasとsklearn)に基づいて構築されたユーザーフレンドリーなパッケージを介して、統計モデルとMLモデルのバイアスを測定する方法を提供します。 データ サイエンティストは、Audit AI によって提供されるバイアス結果を使用して、バイアスを軽減できるモデル開発パイプラインの変更を推進できます。
主な機能: 分類タスクと回帰タスク (フィッシャーの z 検定やベイズ因子など) のバイアス検定とアルゴリズム監査手法の実装を提供します
MLSecOpsの重点分野: 手動テストと監査による信頼できるAI
6. AIエクスプロイト
AIエクスプロイト は、Protect AI によって管理されている、実際の脆弱性に対するエクスプロイトとスキャン テンプレートのコレクションです。
セキュリティチームは、AIエクスプロイトで収集されたエクスプロイトに対してAIアプリケーションをテストすることで、社内のSMEが提供するAIの専門知識を拡張できます。 Protect AI が実施した調査と Huntr バグ報奨金プラットフォームで発見された脆弱性に基づいて構築されたこの実際のエクスプロイトのコレクションは、現在の AI システムの保護を支援することを目的としています。 また、AIエクスプロイトは、サードパーティプロバイダーの審査にも役立ちます。
主な機能: 事前に構築されたツールを使用してさまざまな脆弱性をスキャンします。 各ツールは、脆弱性を悪用するモジュールと、脆弱性を自動的にスキャンするテンプレートで構成されています。 現在、H2O、MLflow、Ray は、リモート コード実行、ローカル ファイルのインクルード、任意のファイル書き込み、クロスサイト リクエスト フォージェリ、およびサーバー側のリクエスト フォージェリでのみサポートされています。
MLSecOpsの重点分野: 脆弱性スキャンとレッドチームによるサプライチェーンの脆弱性と敵対的機械学習
WizでAIセキュリティを強化
クラウドネイティブなAIアプリケーションには、次のようなメリットがあります Wizの AIセキュリティポスチャマネジメント(AI-SPM) AIアプリケーションを保護します。
AI-SPMの AIサービスとテクノロジーを自動的に検出して文書化し、AI-BOMを作成することで、AIパイプラインをフルスタックで可視化し、AIパイプラインから保護します。 シャドーAI. また、AI-SPM は、AI サービスや IaC の設定ミスを検出できる組み込みルールを使用して安全な構成ベースラインを適用し、AI モデルやトレーニング データに関連する重要な攻撃パスをプロアクティブに検出して削除し、リスクの優先順位を正確に設定することができます。
Wiz では、最先端のマネージド インフラストラクチャとサービスを利用して AI セキュリティを活用できるため、AI パイプラインの強力なセキュリティ レイヤーを今すぐセットアップできます。 詳細については、 Wiz for AI の Web ページ. あなたが望むなら ライブデモ、私たちはあなたとつながるのが大好きです。
Develop AI Applications Securely
Learn why CISOs at the fastest growing companies choose Wiz to secure their organization's AI infrastructure.
