ダークAIとは?
ダークAIは、人工知能(AI)技術を悪用してサイバー攻撃やデータ漏洩を助長するものです。 ダークAIには、AIツールの偶発的な兵器化と戦略的な兵器化の両方が含まれます。
AIのプラスのメリットには、自動化の強化、データドリブンな意思決定の促進、ワークフローの合理化、技術コストとITコストの最適化などがあります。 ダークAIを理解するには、これらの能力と利点が敵の手に渡ることを想像してみてください。
脅威アクターは無数の目的でAIを使用しますが、主な目的は通常、企業のITエコシステムを侵害し、機密データにアクセスすることです。 Dark AIは、サイバー犯罪者に企業のITインフラストラクチャを悪用する新しい独自の方法を提供します。 サイバー犯罪者は、AIを使用して、マルウェア、ランサムウェア、フィッシングなどのソーシャルエンジニアリング攻撃など、より一般的に知られているサイバー脅威の展開を加速することもできます。
聞いたところでは ガートナーでは、エンタープライズリスク担当シニアエグゼクティブの10人中8人が、AIを活用したサイバー攻撃が2024年の新たなリスクのトップであると主張しています。
66%が、AIによる誤情報が2024年の最も強力な脅威であると主張しています。 AIが成長、発展、そして多様な業界を混乱させ続ける中、企業はダークAIの迫り来る脅威を認識する必要があります。
Get an AI-SPM Sample Assessment
In this Sample Assessment Report, you’ll get a peek behind the curtain to see what an AI Security Assessment should look like.
なぜダークAIはそんなに危険なのですか?
ダークAIが他のセキュリティリスクとは異なり、企業を脅かす方法と理由を掘り下げる前に、AIのビジネスアプリケーションについて深く掘り下げてみましょう。
AIは、現代のサイバーセキュリティにおいて主要な役割を果たしています。 今日の大手企業の多くが、サイバーセキュリティスタックにAIツールを組み込んでいます。 聞いたところでは アイビーエムでは、2023 年には、AI を活用したサイバーセキュリティ機能を備えた企業は、そうでない企業よりも 108 日早くデータ侵害を解決しました。 また、これらの企業は、データ侵害のコストを180万ドル削減しました。
サイバーセキュリティとは別に、企業は AI も使用しています (特に 生成AI) を呼び出します。 我が 研究 企業の70%がAzure AIサービス、Azure OpenAI、 Amazon SageMaker、Azure ML スタジオ、 Google Cloud の Vertex AI、およびGCP AIプラットフォーム。 回答者の42%は、BERT、DistilBERT、RoBERTa、T5、Llama、MPNetなどのモデルを使用して、ある程度AIをセルフホストしていると回答しました。 これらのAIモデル、ワークフロー、パイプラインはすべて、ダークAI攻撃に対して脆弱です。
ダークAIがすべての企業のサイバーセキュリティの最優先事項であるべき理由を詳しく見てみましょう。
強化された攻撃頻度: ダークAIツールは、これまでにない速度で悪意のあるコードやその他の種類の攻撃を展開し、企業の防御に常に挑戦することができます。
攻撃量の増加: ダークAIツールを使用すると、脅威アクターは手動介入なしに悪意のあるコードを一括でディスパッチできます。 以前は、これはほとんどの脅威アクターにとって時間とリソースを大量に消費していました。
より現実的なソーシャルエンジニアリング: ダークAIは、攻撃者が従業員をだまして機密データを漏らしたり、企業ネットワークへのアクセスを許可したりする、非常に現実的で信頼できる電子メールや通信の展開を自動化するのに役立ちます。
迅速な注射の可能性が高い: ダークAIを使用すると、攻撃者はさまざまなミッションクリティカルな生成AIアプリケーションのトレーニングデータを操作し、破損させることができます。 成功した プロンプトインジェクション攻撃 企業のITエコシステムの権力と制御を敵対者に引き渡します。
サイバーセキュリティツールをバイパスする機能の向上: ダークAIツールは継続的にデータを分析し、自己最適化し、攻撃を自動化できるため、攻撃者は企業のサイバーセキュリティ体制に常に圧力をかけることができます。 企業が要塞を継続的に改善しなければ、データ侵害はさらに差し迫った脅威になります。
マルチメディア詐欺の使用の増加: 脅威アクターはダーク AI を使用して、悪意のある現実的なマルチメディア アーティファクトを生成する可能性があります。 サイバー攻撃者は、これらのメディアアーティファクトを使用して、風評被害を引き起こしたり、ディープフェイクを使用してフェイクニュースを拡散したり、音声クローン作成や生体認証操作によって企業のサイバーセキュリティおよび認証システムをだましたりします。 実際の例: 2024 年 4 月、ハッカーが ラストパス WhatsApp通話で会社のCEOになりすました従業員。 これは AI が生成した音声ディープフェイクを使用して行われ、この攻撃は、攻撃者がセキュリティ メカニズムを回避して従業員を騙すためにリアルな音声 (および/または写真) を生成する多くの例の 1 つにすぎません。
サイバー犯罪者の数が多い: ダークAIは、技術的な洞察力を持たない人でも、あらゆる背景を持つサイバー犯罪者に力を与えます。 AIが台頭する前は、企業は膨大な技術的知識とリソースを持つ脅威アクターに対処するだけで済みました。 今日、ダークAIを使用すると、ラップトップと悪意を持っている人は誰でも大規模な損害を引き起こす可能性があります。
100 Experts Weigh In on AI Security
Learn what leading teams are doing today to reduce AI threats tomorrow.
ダークAI攻撃のための現実世界のツール
このセクションでは、脅威アクターがダークAI攻撃に活用できる5つの現実世界のツールに焦点を当てます。
すべてのダーク AI ツールが本質的に悪意のあるものではないことに注意してください。 多くの場合、脅威アクターは正規のツールをリバースエンジニアリングしたり、ダークAIの目的でツールを再利用したりする可能性があります。
| Tool | Description |
|---|---|
| FraudGPT | FraudGPT is a malicious mirror of ChatGPT that’s available through dark web marketplaces and social media platforms like Telegram. FraudGPT can help adversaries write malicious code, compose phishing messages, design hacking tools, create undetectable malware, and identify the most viewed or used websites and services. |
| AutoGPT | AutoGPT is an open-source tool that hackers use for malicious purposes. While not inherently destructive, AutoGPT allows threat actors to establish malicious end goals and train models to self-learn to achieve those goals. With tools like AutoGPT, threat actors can attempt thousands of potentially destructive prompts that involve breaching an enterprise’s defenses, accessing sensitive data, or poisoning GenAI tools and training data. |
| WormGPT | Another nefarious cousin of ChatGPT, WormGPT has none of the guardrails and security measures that its GPT-3-based architecture originally featured. Hackers trained WormGPT with a vast amount of cyberattack- and hacker-related training data, making it a powerful weapon against unsuspecting enterprises. |
| PoisonGPT | PoisonGPT is a unique dark AI tool because threat actors didn’t create it. Instead, PoisonGPT was an educational initiative conducted by researchers to reveal the vulnerabilities of large language models (LLMs) and the potential repercussions of poisoned LLMs and a compromised AI supply chain. By poisoning the training data of LLMs leveraged by enterprises, governments, and other institutions with PoisonGPT-esque tools and techniques, threat actors can cause unimaginable damage. |
| FreedomGPT | FreedomGPT is an open-source tool that anyone can download and use offline. Because it doesn’t feature any of the guardrails or filters that its more mainstream cousins have, FreedomGPT is unique. Without these filters, threat actors can weaponize FreedomGPT with malicious training data. This makes it easy for threat actors to spread or inject misinformation, biases, dangerous prompts, or explicit content into an enterprise’s IT environment. |
ダークAIの脅威を軽減するためのベストプラクティス
ダークAIの脅威は大きく立ちはだかっていますが、サイバー脅威を軽減し、AIエコシステムを保護するために実行できる手順があります。
MLSecOps ツールの活用
MLSecOps は AISecOps とも呼ばれ、AI と ML のパイプラインを保護するサイバーセキュリティの分野です。 統合クラウドセキュリティプラットフォームは、ダークAIやその他のサイバー脅威と戦うための理想的なソリューションですが、企業はセキュリティスタックの強化も検討する必要があります。 MLSecOps ツール NB Defense、Adversarial Robustness Toolbox、Garak、Privacy Meter、Audit AIなどです。
DSPM ソリューションに AI セキュリティが含まれていることを確認する
レバレッジをかける企業向け データセキュリティポスチャ管理(DSPM)では、ソリューションが AI トレーニング データを確実に網羅することが不可欠です。 ダークAIツールからAIトレーニングデータを保護することで、次のようなAIエコシステムが維持されます ChatGPTセキュア、破損せず、効率的です。 DSPMソリューションを持っていない企業は、クラウドベースのソリューションを選択する必要があります AI学習データ.
AI-SPM for Dummies [Guide]
This guide will give you actionable insights on how to protect your organization from AI-specific threats and empower your team to implement security measures that go beyond traditional approaches.
Get the Guide
セルフサービスのAIセキュリティツールで開発者を支援
AI を活用した DevOps パイプラインを保護、監視、管理するために、開発者に強力なセキュリティ ツールと機能を提供します。 AIセキュリティダッシュボードや攻撃パスアナライザーを使用してAIパイプラインを表示、保守、最適化すれば、企業は一元化されたセキュリティモデルに頼る必要がなくなります。
GenAIサービスのテナントアーキテクチャの最適化
GenAIを組み込んだサービスの場合、企業はテナントアーキテクチャモデルを慎重に選択し、複雑に構成する必要があります。 たとえば、共有のマルチテナント アーキテクチャは、基本モデルやベース ファインチューニング モデルに最適です。 専用のテナント アーキテクチャは、ユーザーが微調整したモデルに最適です。 インデックス、プロンプトとレスポンスの履歴、APIエンドポイントなどのAIコンポーネントの場合、企業はテナントアーキテクチャを決定する前に、ユースケースの複雑さを評価する必要があります。
シャドーAIに光を当てる
シャドーAI とは、ITチームやセキュリティチームが気づいていない、企業のIT環境内にあるAIツールを指します。 隠れたAIツールは、脅威アクターの攻撃ベクトルになる可能性があります。 敵対者の視点から見ると、ダークAIツールはセキュリティ制御をバイパスする必要がないため、隠れたAIインフラストラクチャを悪用する方が簡単です。 そのため、シャドーAIの特定と対処に重点を置くことが重要です。
State of AI in the Cloud [2025]
Did you know that over 70% of organizations are using managed AI services in their cloud environments? That rivals the popularity of managed Kubernetes services, which we see in over 80% of organizations! See what else our research team uncovered about AI in their analysis of 150,000 cloud accounts.
サンドボックス環境でのAIアプリケーションのテスト
脅威アクターがAIベースのアプリケーションに悪意のあるコードで感染しないように、サンドボックス環境でそれらのアプリケーションを綿密にテストします。 テストにより、企業は脅威アクターが悪用する可能性のあるセキュリティの脆弱性、弱点、ギャップをより正確に理解できます。
統合クラウドセキュリティソリューションでダークAIと戦う
ダークAIから保護するために選択できるセキュリティツールは無数にあります。 しかし、企業がAIパイプラインをダークAIの脅威から安全に保つための最も包括的で効率的な方法は、統合クラウドセキュリティソリューションを委託することです。 AIリスクマネジメント より大きなサイバーセキュリティの観点から、サイバーセキュリティの強化を統合します。
WizがダークAIからあなたを守る方法
WizAI-SPM (AI Security Posture Management)は、組織がAI環境を管理および保護するために設計された包括的なセキュリティソリューションです。 AI パイプラインを完全に可視化し、設定ミスを特定し、さまざまな AI 関連のリスクから保護します。
Wiz AI-SPMは、いくつかの主要な方法でダークAIの脅威を軽減するのに役立ちます。
フルスタックの可視性: AI-SPMの は、AIパイプラインを包括的に可視化します。 AI-BOM(部品表) 資格。 これにより、セキュリティチームは次のことが可能になります。
エージェントを使用せずに、環境内のすべての AI サービス、テクノロジ、ライブラリ、SDK を特定します。
環境に導入された新しいAIサービスを即座に検出します。
さまざまなテクノロジに承認済み、不要、または未レビューのフラグを付けます。
この可視性は、シャドーAIや、許可なく動作している可能性のある潜在的に悪意のあるAIシステムを明らかにするために重要です。
設定ミスの検出: Wiz AI-SPM は、AI サービスの設定ミスを特定することで、AI セキュリティベースラインの適用を支援します。 次のようなセキュリティ問題についてAIサービスを評価するための組み込み構成ルールを提供します。
過剰なアクセス許可を持つ SageMaker ノートブック
公開 IP アドレスを持つ Vertex AI Workbench ノートブック
これらの設定ミスを検出することで、組織はダークAIによって悪用される可能性のある脆弱性を減らすことができます。
攻撃パス分析:Wizは、攻撃パス分析をAIに拡張し、脆弱性、ID、インターネットへの露出、データ、設定ミス、シークレット全体のリスクを評価します。 これにより、組織は次のことが可能になります。
重要なAI攻撃経路をプロアクティブに排除
クラウドとワークロード全体のリスクの完全なコンテキストを理解する
最も重要なAIセキュリティ問題に優先順位を付けて対処する
データセキュリティ: Wiz AI-SPM は、データセキュリティポスチャ管理 (DSPM) 機能を AI に拡張します。 これは、次の場合に役立ちます。
AIセキュリティダッシュボード: Wiz は、AI セキュリティ問題の優先順位付けされたキューを提供する AI セキュリティ ダッシュボードを提供します。 これにより、AI開発者やデータサイエンティストは、AIセキュリティ体制を迅速に理解し、最も重要なリスクに集中することができます。
Wiz AI-SPMは、これらの機能を実装することで、組織がAIシステムの強力なセキュリティ体制を維持し、ダークAIが環境内で検出されずに動作することをはるかに困難にします。 包括的な可視性、継続的な監視、プロアクティブなリスク軽減機能が連携して、攻撃対象領域を縮小し、不正または悪意のあるAIアクティビティの可能性を最小限に抑えます。
Orangeは、OpenAIを使用して多くのジェネレーティブAIサービスを構築しています。 Wiz が Azure OpenAI Service をサポートしているため、AI パイプラインの可視性が大幅に向上し、AI 開発チームが直面しているリスクを事前に特定して軽減することができます。
Accelerate AI Innovation, Securely
Learn why CISOs at the fastest growing companies choose Wiz to secure their organization's AI infrastructure.
