¿Qué es la IA oscura?
La IA oscura implica el uso malintencionado de tecnologías de inteligencia artificial (IA) para facilitar los ciberataques y las violaciones de datos. La IA oscura incluye la militarización accidental y estratégica de las herramientas de IA.
Los beneficios positivos de la IA incluyen una automatización mejorada, una toma de decisiones impulsada por datos, flujos de trabajo optimizados y costos de tecnología y TI optimizados. Para entender la IA oscura, imagina estas capacidades y ventajas en manos de adversarios.
Si bien los actores de amenazas utilizan la IA para innumerables propósitos, el objetivo principal suele implicar comprometer los ecosistemas de TI de la empresa y acceder a datos confidenciales. La IA oscura proporciona a los ciberdelincuentes formas nuevas y únicas de explotar la infraestructura de TI de una empresa. Con el uso de la IA, los ciberdelincuentes también pueden acelerar el despliegue de las amenazas cibernéticas más conocidas, como el malware, el ransomware y los ataques de ingeniería social, como el phishing.
Según Gartner, 8 de cada 10 altos ejecutivos de riesgo empresarial afirmaron que los ciberataques impulsados por IA eran el principal riesgo emergente en 2024.
El sesenta y seis por ciento afirmó que la desinformación impulsada por la IA fue la amenaza más potente de 2024. A medida que la IA continúa creciendo, desarrollándose y alterando diversas industrias, las empresas deben ser conscientes de la amenaza inminente de la IA oscura.
Get an AI-SPM Sample Assessment
In this Sample Assessment Report, you’ll get a peek behind the curtain to see what an AI Security Assessment should look like.
¿Por qué es tan peligrosa la IA oscura?
Antes de profundizar en cómo y por qué la IA oscura amenaza a las empresas a diferencia de cualquier otro riesgo de seguridad, profundicemos en las aplicaciones empresariales de la IA.
La IA desempeña un papel importante en la ciberseguridad contemporánea. Muchas de las empresas líderes de hoy en día incluyen herramientas de IA en su pila de ciberseguridad. Según IBM, en 2023, las empresas con capacidades de ciberseguridad impulsadas por IA resolvieron las filtraciones de datos 108 días más rápido que las empresas que no las tenían. Estas empresas también ahorraron 1,8 millones de dólares en costes de violación de datos.
Además de la ciberseguridad, las empresas también utilizan la IA (especialmente GenAI) para diversas operaciones en la nube de misión crítica. Nuestro investigación revela que el 70% de las empresas utilizan servicios de IA administrados basados en la nube, como Azure AI services, Azure OpenAI, Amazon SageMaker, Azure ML Studio, Vertex AI de Google Cloudy GCP AI Platform. El cuarenta y dos por ciento de los encuestados dijo que autohospedó IA hasta cierto punto con modelos como BERT, DistilBERT, RoBERTa, T5, Llama y MPNet. Todos estos modelos, flujos de trabajo y canalizaciones de IA son vulnerables a los ataques de IA oscura.
Aquí hay una mirada más cercana a por qué la IA oscura debería ser la principal prioridad de ciberseguridad de todas las empresas:
Frecuencia de ataque mejorada: Las herramientas de Dark AI pueden implementar código malicioso y otros tipos de ataques a velocidades nunca antes vistas, desafiando constantemente las defensas de una empresa.
Mayor volumen de ataque: Las herramientas de IA oscura permiten a los actores de amenazas enviar código malicioso de forma masiva y sin intervención manual. En el pasado, esto habría consumido demasiado tiempo y recursos para la mayoría de los actores de amenazas.
Ingeniería social más realista: La IA oscura puede ayudar a los adversarios a automatizar la implementación de correos electrónicos y comunicaciones altamente realistas y creíbles que engañan a los empleados para que divulguen datos confidenciales y otorguen acceso a las redes empresariales.
Mayor probabilidad de inyecciones inmediatas: Con la IA oscura, los adversarios pueden manipular y corromper los datos de entrenamiento de varias aplicaciones GenAI de misión crítica. Exitoso ataques de inyección rápida entregar el poder y el control de los ecosistemas de TI empresariales a los adversarios.
Capacidad mejorada para eludir las herramientas de ciberseguridad: Dado que las herramientas de IA oscura pueden analizar datos continuamente, autooptimizarse y automatizar ataques, los adversarios pueden ejercer presión constantemente sobre la postura de ciberseguridad de una empresa. Si las empresas no mejoran continuamente sus fortificaciones, las violaciones de datos se convierten en una amenaza aún más inminente.
Mayor uso del fraude multimedia: Los actores de amenazas pueden usar IA oscura para producir artefactos multimedia maliciosos y realistas. Los ciberatacantes utilizan estos artefactos mediáticos para causar daños a la reputación, difundir noticias falsas mediante deepfakes y engañar a los sistemas de autenticación y ciberseguridad empresarial mediante la clonación de voz y la manipulación biométrica. Ejemplo de la vida real: En abril de 2024, un hacker intentó engañar a un LastPass suplantando al CEO de la empresa en una llamada de WhatsApp. Esto se hizo mediante el uso de un deepfake de audio generado por IA, y este ataque es solo uno de los muchos ejemplos en los que los adversarios generan audio realista (y/o fotos) para eludir los mecanismos de seguridad y engañar a los empleados.
Mayor número de ciberdelincuentes: La IA oscura empodera a los ciberdelincuentes de todos los orígenes, incluso a aquellos sin perspicacia técnica. Antes del auge de la IA, las empresas solo tenían que lidiar con actores de amenazas con inmensos conocimientos técnicos y recursos. Hoy en día, con la IA oscura, cualquier persona con una computadora portátil e intenciones maliciosas puede causar daños a gran escala.
100 Experts Weigh In on AI Security
Learn what leading teams are doing today to reduce AI threats tomorrow.
Herramientas del mundo real para ataques de IA oscura
Esta sección destaca cinco herramientas del mundo real que los actores de amenazas pueden aprovechar para los ataques de IA oscuros.
Recuerde que no todas las herramientas de IA oscuras son intrínsecamente maliciosas. En muchos casos, los actores de amenazas pueden realizar ingeniería inversa de herramientas legítimas o reutilizar herramientas para fines de IA oscura.
| Tool | Description |
|---|---|
| FraudGPT | FraudGPT is a malicious mirror of ChatGPT that’s available through dark web marketplaces and social media platforms like Telegram. FraudGPT can help adversaries write malicious code, compose phishing messages, design hacking tools, create undetectable malware, and identify the most viewed or used websites and services. |
| AutoGPT | AutoGPT is an open-source tool that hackers use for malicious purposes. While not inherently destructive, AutoGPT allows threat actors to establish malicious end goals and train models to self-learn to achieve those goals. With tools like AutoGPT, threat actors can attempt thousands of potentially destructive prompts that involve breaching an enterprise’s defenses, accessing sensitive data, or poisoning GenAI tools and training data. |
| WormGPT | Another nefarious cousin of ChatGPT, WormGPT has none of the guardrails and security measures that its GPT-3-based architecture originally featured. Hackers trained WormGPT with a vast amount of cyberattack- and hacker-related training data, making it a powerful weapon against unsuspecting enterprises. |
| PoisonGPT | PoisonGPT is a unique dark AI tool because threat actors didn’t create it. Instead, PoisonGPT was an educational initiative conducted by researchers to reveal the vulnerabilities of large language models (LLMs) and the potential repercussions of poisoned LLMs and a compromised AI supply chain. By poisoning the training data of LLMs leveraged by enterprises, governments, and other institutions with PoisonGPT-esque tools and techniques, threat actors can cause unimaginable damage. |
| FreedomGPT | FreedomGPT is an open-source tool that anyone can download and use offline. Because it doesn’t feature any of the guardrails or filters that its more mainstream cousins have, FreedomGPT is unique. Without these filters, threat actors can weaponize FreedomGPT with malicious training data. This makes it easy for threat actors to spread or inject misinformation, biases, dangerous prompts, or explicit content into an enterprise’s IT environment. |
Mejores prácticas para mitigar las amenazas oscuras de IA
Aunque las amenazas oscuras de IA son importantes, hay pasos que puede tomar para mitigar las amenazas cibernéticas y proteger sus ecosistemas de IA.
Aproveche las herramientas de MLSecOps
MLSecOps, también conocido como AISecOps, es un campo de la ciberseguridad que implica la protección de las canalizaciones de IA y ML. Si bien una plataforma unificada de seguridad en la nube es la solución ideal para combatir la IA oscura y otras amenazas cibernéticas, las empresas también deben explorar el aumento de su pila de seguridad con Herramientas de MLSecOps como NB Defense, Adversarial Robustness Toolbox, Garak, Privacy Meter y Audit AI.
Asegúrese de que su solución DSPM incluya seguridad de IA
Para las empresas que aprovechan Gestión de la postura de seguridad de los datos (DSPM), es vital asegurarse de que la solución abarque los datos de entrenamiento de la IA. La protección de los datos de entrenamiento de IA de herramientas de IA oscuras mantiene los ecosistemas de IA como ChatGPT seguro, incorrupto y eficiente. Las empresas que no tienen una solución DSPM deben elegir una solución que pueda proteger su solución basada en la nube Datos de entrenamiento de IA.
AI-SPM for Dummies [Guide]
This guide will give you actionable insights on how to protect your organization from AI-specific threats and empower your team to implement security measures that go beyond traditional approaches.
Get the Guide
Empodere a los desarrolladores con herramientas de seguridad de IA de autoservicio
Para proteger, vigilar y gestionar las canalizaciones de DevOps impulsadas por IA, proporcione a los desarrolladores potentes herramientas y capacidades de seguridad. Con un panel de seguridad de IA o un analizador de rutas de ataque para ver, mantener y optimizar las canalizaciones de IA, las empresas no tienen que depender de un modelo de seguridad centralizado.
Optimice las arquitecturas de inquilinos para los servicios de GenAI
Para sus servicios que incorporan GenAI, las empresas deben elegir cuidadosamente y configurar de manera intrincada los modelos de arquitectura de inquilinos. Por ejemplo, una arquitectura compartida de varios inquilinos es ideal para modelos básicos o modelos básicos ajustados. Una arquitectura de inquilino dedicada funciona mejor para los modelos ajustados por el usuario. En el caso de los componentes de IA, como los índices, los historiales de avisos y respuestas, y los puntos finales de la API, las empresas deben evaluar las complejidades de su caso de uso antes de decidirse por la arquitectura de los inquilinos.
Arroja luz sobre la IA de las sombras
IA de sombra se refiere a cualquier herramienta de IA dentro del entorno de TI de una empresa que el equipo de TI o de seguridad desconoce. Las herramientas de IA ocultas pueden ser un vector de ataque para los actores de amenazas. Desde la perspectiva de un adversario, es más fácil usar herramientas de IA oscuras para explotar la infraestructura de IA oculta porque no tienen que eludir ningún control de seguridad. Por eso es fundamental centrarse en identificar y abordar la IA en la sombra.
State of AI in the Cloud [2025]
Did you know that over 70% of organizations are using managed AI services in their cloud environments? That rivals the popularity of managed Kubernetes services, which we see in over 80% of organizations! See what else our research team uncovered about AI in their analysis of 150,000 cloud accounts.
Pruebe aplicaciones de IA en entornos de espacio aislado
Para asegurarse de que los actores de amenazas no infecten las aplicaciones basadas en IA con código malicioso, pruebe meticulosamente esas aplicaciones en entornos de espacio aislado. Con las pruebas, las empresas pueden obtener una comprensión más precisa de las vulnerabilidades, debilidades y brechas de seguridad que los actores de amenazas podrían explotar.
Enfréntate a la IA oscura con una solución unificada de seguridad en la nube
Hay innumerables herramientas de seguridad entre las que elegir para protegerse contra la IA oscura. Sin embargo, la forma más completa y eficiente en que las empresas pueden mantener las canalizaciones de IA a salvo de las amenazas oscuras de la IA es mediante la puesta en marcha de una solución de seguridad en la nube unificada: una plataforma unificada le permite ver la seguridad de la IA y Gestión de riesgos de IA desde una perspectiva de ciberseguridad más amplia y unifique sus fortificaciones de ciberseguridad.
Cómo Wiz puede protegerte de la IA oscura
Wiz AI-SPM (AI Security Posture Management) es una solución de seguridad integral diseñada para ayudar a las organizaciones a administrar y proteger sus entornos de IA. Proporciona una visibilidad completa de las canalizaciones de IA, identifica errores de configuración y protege contra diversos riesgos relacionados con la IA.
Wiz AI-SPM puede ayudar a mitigar la amenaza de la IA oscura de varias maneras clave:
Visibilidad de toda la pila: AI-SPM proporciona una visibilidad completa de las canalizaciones de IA a través de su AI-BOM (Lista de materiales) Capacidades. Esto permite a los equipos de seguridad:
Identifique todos los servicios, tecnologías, bibliotecas y SDK de IA en el entorno sin usar agentes.
Detecte inmediatamente los nuevos servicios de IA introducidos en el entorno.
Marque diferentes tecnologías como aprobadas, no deseadas o no revisadas.
Esta visibilidad es crucial para descubrir la IA en la sombra y los sistemas de IA potencialmente maliciosos que pueden estar operando sin autorización.
Detección de errores de configuración: Wiz AI-SPM ayuda a reforzar las líneas de base de seguridad de la IA mediante la identificación de configuraciones incorrectas en los servicios de IA. Proporciona reglas de configuración integradas para evaluar los servicios de IA en busca de problemas de seguridad, como:
Blocs de notas de SageMaker con permisos excesivos
Cuadernos de Vertex AI Workbench con direcciones IP públicas
Al detectar estos errores de configuración, las organizaciones pueden reducir las vulnerabilidades que podrían ser explotadas por la IA oscura.
Análisis de la ruta de ataque: Wiz extiende su análisis de rutas de ataque a la IA, evaluando los riesgos a través de vulnerabilidades, identidades, exposiciones de Internet, datos, configuraciones incorrectas y secretos. Esto permite a las organizaciones:
Elimine de forma proactiva las rutas de ataque críticas de la IA
Comprenda el contexto completo de los riesgos en la nube y la carga de trabajo
Priorice y aborde los problemas de seguridad de IA más críticos
Seguridad de los datos: Wiz AI-SPM amplía las capacidades de gestión de la postura de seguridad de datos (DSPM) a la IA. Esto ayuda a:
Detecte automáticamente datos de entrenamiento confidenciales.
Garantice la seguridad de los datos de entrenamiento de IA con controles de IA DSPM listos para usar
Identifique y elimine las rutas de ataque que podrían conducir a Fuga de datos o envenenamiento
Panel de control de seguridad con IA: Wiz ofrece un panel de seguridad de IA que proporciona una cola priorizada de problemas de seguridad de IA. Esto ayuda a los desarrolladores de IA y a los científicos de datos a comprender rápidamente su postura de seguridad de IA y a centrarse en los riesgos más críticos.
Al implementar estas capacidades, Wiz AI-SPM ayuda a las organizaciones a mantener una sólida postura de seguridad para sus sistemas de IA, lo que hace que sea mucho más difícil que la IA oscura opere sin ser detectada dentro del entorno. Las funciones de visibilidad integral, monitoreo continuo y mitigación proactiva de riesgos trabajan juntas para reducir la superficie de ataque y minimizar el potencial de actividades de IA no autorizadas o maliciosas.
Orange crea muchos servicios de IA generativa utilizando OpenAI. La compatibilidad de Wiz con Azure OpenAI Service nos brinda una visibilidad significativamente mejorada de nuestras canalizaciones de IA y nos permite identificar y mitigar de manera proactiva los riesgos que enfrentan nuestros equipos de desarrollo de IA.
Accelerate AI Innovation, Securely
Learn why CISOs at the fastest growing companies choose Wiz to secure their organization's AI infrastructure.
