O que é dark AI?
A Dark AI envolve o uso malicioso de tecnologias de inteligência artificial (IA) para facilitar ataques cibernéticos e violações de dados. Dark AI inclui armamento acidental e estratégico de ferramentas de IA.
Os benefícios positivos da IA incluem automação aprimorada, tomada de decisão orientada por dados, fluxos de trabalho simplificados e custos otimizados de tecnologia e TI. Para entender a dark AI, imagine esses recursos e vantagens nas mãos dos adversários.
Embora os agentes de ameaças usem a IA para inúmeras finalidades, o objetivo principal geralmente envolve comprometer os ecossistemas de TI corporativos e acessar dados confidenciais. A Dark AI fornece aos cibercriminosos maneiras novas e exclusivas de explorar a infraestrutura de TI de uma empresa. Usando a IA, os cibercriminosos também podem acelerar a implantação de ameaças cibernéticas mais conhecidas, como malware, ransomware e ataques de engenharia social, como phishing.
De acordo com Gartner, 8 em cada 10 executivos seniores de risco corporativo afirmaram que os ataques cibernéticos baseados em IA foram o principal risco emergente em 2024.
Sessenta e seis por cento afirmaram que a desinformação impulsionada pela IA era a ameaça mais potente de 2024. À medida que a IA continua a crescer, desenvolver e revolucionar diversos setores, as empresas devem estar cientes da ameaça iminente da dark AI.
Get an AI-SPM Sample Assessment
In this Sample Assessment Report, you’ll get a peek behind the curtain to see what an AI Security Assessment should look like.
Por que a IA sombria é tão perigosa?
Antes de nos aprofundarmos em como e por que a dark AI ameaça as empresas de forma diferente de qualquer outro risco de segurança, vamos nos aprofundar nas aplicações de negócios da IA.
A IA desempenha um papel importante na segurança cibernética contemporânea. Muitas das empresas líderes de hoje incluem ferramentas de IA em sua pilha de segurança cibernética. De acordo com IBM, em 2023, as empresas com recursos de segurança cibernética com inteligência artificial resolveram violações de dados 108 dias mais rápido do que as empresas sem. Essas empresas também economizaram US$ 1,8 milhão em custos de violação de dados.
Além da segurança cibernética, as empresas também usam IA (especialmente GenAI) para várias operações de nuvem de missão crítica. Nosso investigação revela que 70% das empresas usam serviços de IA gerenciados baseados em nuvem, como serviços de IA do Azure, Azure OpenAI, Amazon SageMaker, o estúdio do Azure ML, Vertex AI do Google Cloude o GCP AI Platform. Quarenta e dois por cento dos entrevistados disseram que hospedaram a IA até certo ponto com modelos como BERT, DistilBERT, RoBERTa, T5, Llama e MPNet. Todos esses modelos, fluxos de trabalho e pipelines de IA são vulneráveis a ataques de IA escura.
Aqui está uma análise mais detalhada de por que a dark AI deve ser a principal prioridade de segurança cibernética de todas as empresas:
Frequência de ataque aprimorada: As ferramentas Dark AI podem implantar códigos maliciosos e outros tipos de ataques em velocidades nunca antes vistas, desafiando constantemente as defesas de uma empresa.
Maior volume de ataques: As ferramentas Dark AI permitem que os agentes de ameaças despachem códigos maliciosos em massa e sem intervenção manual. No passado, isso consumiria muito tempo e recursos para a maioria dos agentes de ameaças.
Engenharia social mais realista: A Dark AI pode ajudar os adversários a automatizar a implantação de e-mails e comunicações altamente realistas e críveis que induzem os funcionários a divulgar dados confidenciais e conceder acesso a redes corporativas.
Maior probabilidade de injeções imediatas: Com a dark AI, os adversários podem manipular e corromper os dados de treinamento de vários aplicativos GenAI de missão crítica. Bem-sucedido ataques de injeção imediata entregar o poder e o controle dos ecossistemas de TI corporativos aos adversários.
Capacidade aprimorada de ignorar ferramentas de segurança cibernética: Como as ferramentas de dark AI podem analisar dados continuamente, auto-otimizar e automatizar ataques, os adversários podem exercer pressão constantemente sobre a postura de segurança cibernética de uma empresa. Se as empresas não melhorarem continuamente suas fortificações, as violações de dados se tornarão uma ameaça ainda mais iminente.
Aumento do uso de fraude multimídia: Os agentes de ameaças podem usar a IA escura para produzir artefatos multimídia maliciosos e realistas. Os invasores cibernéticos usam esses artefatos de mídia para causar danos à reputação, espalhar notícias falsas usando deepfakes e enganar os sistemas corporativos de segurança cibernética e autenticação por meio de clonagem de voz e manipulação biométrica. Exemplo da vida real: Em abril de 2024, um hacker tentou enganar um LastPass funcionário se passando pelo CEO da empresa em uma chamada do WhatsApp. Isso foi feito usando um deepfake de áudio gerado por IA, e esse ataque é apenas um dos muitos exemplos em que os adversários geram áudio (e/ou fotos) realistas para contornar os mecanismos de segurança e enganar os funcionários.
Maior número de cibercriminosos: A Dark AI capacita cibercriminosos de todas as origens, mesmo aqueles sem perspicácia técnica. Antes do surgimento da IA, as empresas só precisavam lidar com agentes de ameaças com imenso conhecimento técnico e recursos. Hoje, com a IA escura, qualquer pessoa com um laptop e intenções maliciosas pode causar danos em grande escala.
100 Experts Weigh In on AI Security
Learn what leading teams are doing today to reduce AI threats tomorrow.
Ferramentas do mundo real para ataques de IA obscura
Esta seção destaca cinco ferramentas do mundo real que os agentes de ameaças podem aproveitar para ataques de IA escura.
Lembre-se de que nem todas as ferramentas de IA obscura são inerentemente maliciosas. Em muitos casos, os agentes de ameaças podem fazer engenharia reversa de ferramentas legítimas ou redirecionar ferramentas para fins de dark AI.
| Tool | Description |
|---|---|
| FraudGPT | FraudGPT is a malicious mirror of ChatGPT that’s available through dark web marketplaces and social media platforms like Telegram. FraudGPT can help adversaries write malicious code, compose phishing messages, design hacking tools, create undetectable malware, and identify the most viewed or used websites and services. |
| AutoGPT | AutoGPT is an open-source tool that hackers use for malicious purposes. While not inherently destructive, AutoGPT allows threat actors to establish malicious end goals and train models to self-learn to achieve those goals. With tools like AutoGPT, threat actors can attempt thousands of potentially destructive prompts that involve breaching an enterprise’s defenses, accessing sensitive data, or poisoning GenAI tools and training data. |
| WormGPT | Another nefarious cousin of ChatGPT, WormGPT has none of the guardrails and security measures that its GPT-3-based architecture originally featured. Hackers trained WormGPT with a vast amount of cyberattack- and hacker-related training data, making it a powerful weapon against unsuspecting enterprises. |
| PoisonGPT | PoisonGPT is a unique dark AI tool because threat actors didn’t create it. Instead, PoisonGPT was an educational initiative conducted by researchers to reveal the vulnerabilities of large language models (LLMs) and the potential repercussions of poisoned LLMs and a compromised AI supply chain. By poisoning the training data of LLMs leveraged by enterprises, governments, and other institutions with PoisonGPT-esque tools and techniques, threat actors can cause unimaginable damage. |
| FreedomGPT | FreedomGPT is an open-source tool that anyone can download and use offline. Because it doesn’t feature any of the guardrails or filters that its more mainstream cousins have, FreedomGPT is unique. Without these filters, threat actors can weaponize FreedomGPT with malicious training data. This makes it easy for threat actors to spread or inject misinformation, biases, dangerous prompts, or explicit content into an enterprise’s IT environment. |
Práticas recomendadas para mitigar ameaças de dark AI
Embora as ameaças obscuras de IA sejam grandes, existem etapas que você pode seguir para mitigar as ameaças cibernéticas e proteger seus ecossistemas de IA.
Aproveite as ferramentas MLSecOps
MLSecOps, também conhecido como AISecOps, é um campo de segurança cibernética que envolve a proteção de pipelines de IA e ML. Embora uma plataforma unificada de segurança em nuvem seja a solução ideal para combater a dark AI e outras ameaças cibernéticas, as empresas também devem explorar o aumento de sua pilha de segurança com Ferramentas MLSecOps como NB Defense, Adversarial Robustness Toolbox, Garak, Privacy Meter e Audit AI.
Certifique-se de que sua solução DSPM inclua segurança de IA
Para empresas que alavancam gerenciamento de postura de segurança de dados (DSPM), é vital garantir que a solução englobe dados de treinamento de IA. Proteger os dados de treinamento de IA de ferramentas obscuras de IA mantém ecossistemas de IA como ChatGPT seguro, não corrompido e eficiente. As empresas que não têm uma solução DSPM devem escolher uma solução que possa proteger seus recursos baseados em nuvem Dados de treinamento de IA.
AI-SPM for Dummies [Guide]
This guide will give you actionable insights on how to protect your organization from AI-specific threats and empower your team to implement security measures that go beyond traditional approaches.
Get the Guide
Capacite os desenvolvedores com ferramentas de segurança de IA de autoatendimento
Para proteger, vigiar e gerenciar pipelines de DevOps com tecnologia de IA, forneça aos desenvolvedores ferramentas e recursos de segurança poderosos. Com um painel de segurança de IA ou um analisador de caminho de ataque para visualizar, manter e otimizar pipelines de IA, as empresas não precisam depender de um modelo de segurança centralizado.
Otimizar arquiteturas de locatário para serviços GenAI
Para seus serviços de incorporação de GenAI, as empresas devem escolher cuidadosamente e configurar intrincadamente os modelos de arquitetura de locatário. Por exemplo, uma arquitetura compartilhada de vários locatários é ideal para modelos básicos ou modelos ajustados de base. Uma arquitetura de locatário dedicada funciona melhor para modelos ajustados pelo usuário. Para componentes de IA, como índices, históricos de prompt e resposta e endpoints de API, as empresas devem avaliar as complexidades de seu caso de uso antes de decidir sobre a arquitetura do locatário.
Ilumine a IA das sombras
IA das sombras refere-se a qualquer ferramenta de IA no ambiente de TI de uma empresa que a equipe de TI ou segurança desconhece. As ferramentas ocultas de IA podem ser um vetor de ataque para os agentes de ameaças. Do ponto de vista de um adversário, é mais fácil usar ferramentas de IA obscuras para explorar a infraestrutura oculta de IA porque elas não precisam ignorar nenhum controle de segurança. É por isso que é fundamental se concentrar em identificar e abordar a IA invisível.
State of AI in the Cloud [2025]
Did you know that over 70% of organizations are using managed AI services in their cloud environments? That rivals the popularity of managed Kubernetes services, which we see in over 80% of organizations! See what else our research team uncovered about AI in their analysis of 150,000 cloud accounts.
Testar aplicativos de IA em ambientes de sandbox
Para garantir que os agentes de ameaças não infectem aplicativos baseados em IA com código malicioso, teste meticulosamente esses aplicativos em ambientes de sandbox. Com os testes, as empresas podem obter uma compreensão mais precisa de quais vulnerabilidades, fraquezas e lacunas de segurança os agentes de ameaças podem explorar.
Combata a dark AI com uma solução unificada de segurança na nuvem
Existem inúmeras ferramentas de segurança para escolher para proteção contra dark AI. No entanto, a maneira mais abrangente e eficiente de as empresas manterem os pipelines de IA protegidos contra ameaças de IA obscura é comissionando uma solução unificada de segurança em nuvem: Uma plataforma unificada permite que você visualize a segurança da IA e Gerenciamento de riscos de IA de uma perspectiva mais ampla de segurança cibernética e unifique suas fortificações de segurança cibernética.
Como o Wiz pode protegê-lo da IA sombria
Wiz AI-SPM (AI Security Posture Management) é uma solução de segurança abrangente projetada para ajudar as organizações a gerenciar e proteger seus ambientes de IA. Ele fornece visibilidade total dos pipelines de IA, identifica configurações incorretas e protege contra vários riscos relacionados à IA.
O Wiz AI-SPM pode ajudar a mitigar a ameaça da dark AI de várias maneiras importantes:
Visibilidade de pilha completa: AI-SPM fornece visibilidade abrangente dos pipelines de IA por meio de seu AI-BOM (Lista de Materiais) Capacidades. Isso permite que as equipes de segurança:
Identifique todos os serviços, tecnologias, bibliotecas e SDKs de IA no ambiente sem usar agentes.
Detecte novos serviços de IA introduzidos no ambiente imediatamente.
Sinalize diferentes tecnologias como aprovadas, indesejadas ou não revisadas.
Essa visibilidade é crucial para descobrir a IA sombra e sistemas de IA potencialmente mal-intencionados que podem estar operando sem autorização.
Detecção de configurações incorretas: O Wiz AI-SPM ajuda a impor linhas de base de segurança de IA identificando configurações incorretas em serviços de IA. Ele fornece regras de configuração integradas para avaliar os serviços de IA em busca de problemas de segurança, como:
Blocos de anotações do SageMaker com permissões excessivas
Blocos de anotações do Vertex AI Workbench com endereços IP públicos
Ao detectar essas configurações incorretas, as organizações podem reduzir vulnerabilidades que podem ser exploradas pela dark AI.
Análise do caminho de ataque: A Wiz estende sua análise de caminho de ataque à IA, avaliando riscos em vulnerabilidades, identidades, exposições na Internet, dados, configurações incorretas e segredos. Isso permite que as organizações:
Remova proativamente caminhos críticos de ataque de IA
Entenda o contexto completo dos riscos na nuvem e na carga de trabalho
Priorize e resolva os problemas de segurança de IA mais críticos
Segurança de dados: Wiz AI-SPM estende os recursos de gerenciamento de postura de segurança de dados (DSPM) para IA. Isso ajuda:
Detecte automaticamente dados confidenciais de treinamento.
Garanta a segurança dos dados de treinamento de IA com controles de IA DSPM prontos para uso
Identificar e remover caminhos de ataque que podem levar a vazamento de dados ou envenenamento
Painel de segurança de IA: O Wiz oferece um painel de segurança de IA que fornece uma fila priorizada de problemas de segurança de IA. Isso ajuda os desenvolvedores de IA e cientistas de dados a entender rapidamente sua postura de segurança de IA e se concentrar nos riscos mais críticos.
Ao implementar esses recursos, o Wiz AI-SPM ajuda as organizações a manter uma forte postura de segurança para seus sistemas de IA, tornando muito mais difícil para a IA escura operar sem ser detectada no ambiente. Os recursos abrangentes de visibilidade, monitoramento contínuo e mitigação proativa de riscos trabalham juntos para reduzir a superfície de ataque e minimizar o potencial de atividades de IA não autorizadas ou maliciosas.
A Orange cria muitos serviços de IA generativa usando OpenAI. O suporte da Wiz para o Azure OpenAI Service nos dá uma visibilidade significativamente aprimorada de nossos pipelines de IA e nos permite identificar e mitigar proativamente os riscos enfrentados por nossas equipes de desenvolvimento de IA.
Accelerate AI Innovation, Securely
Learn why CISOs at the fastest growing companies choose Wiz to secure their organization's AI infrastructure.
