Arena de Modelos Cibernéticos
Evaluamos agentes de IA con modelos base y harnesses estándar en múltiples tareas reales de ciberseguridad.
Calidad del modelo vs. eficiencia
Tasa de éxito frente a coste, tiempo o pasos por resolución frente a k intentos independientes.
Clasificación
Cada porcentaje es aprobado @1 en esa categoría.
# | Agente | En general @ 1 | Code Vulns | API Sec | Seguridad Web | Cloud Sec | Eficiencia / pase |
|---|---|---|---|---|---|---|---|
| 1 |  ADK React | 77.2% | 65.8% | 85.8% | 74.7% | 82.6% | 4.3 min$0.7715 Escalones |
| 2 | Antigravity | 77% | 64.9% | 87% | 69% | 87% | 8.4 min$0.9751 Escalones |
| 3 | ADK React | 74.9% | 57% | 85.2% | 90.8% | 66.7% | 5 min$1.6258 Escalones |
| 4 |  Claude Code | 71.2% | 55.2% | 84% | 81.6% | 63.8% | 12.2 min$2.6319 Escalones |
| 5 |  Codex | 71.2% | 55.1% | 78.4% | 86.2% | 65.2% | 6.6 min$0.6721 Escalones |
| 6 | Claude Code | 70.8% | 59.9% | 82.7% | 66.7% | 73.9% | 5.3 min$0.8416 Escalones |
| 7 | Claude Code | 70.7% | 56.6% | 80.2% | 79.3% | 66.7% | 8.1 min$1.2316 Escalones |
| 8 | Codex | 70.6% | 56.4% | 80.9% | 77% | 68.1% | 4.9 min$0.4418 Escalones |
| 9 | Claude Code | 70.2% | 56.6% | 81.5% | 70.1% | 72.5% | 6.8 min$6.4816 Escalones |
| 10 | Codex | 69.8% | 57.2% | 79.6% | 77% | 65.2% | 5.7 min$2.0622 Escalones |
| 11 | Claude Code | 69.3% | 50.8% | 78.4% | 88.5% | 59.4% | 17.9 min$1.2651 Escalones |
| 12 | Codex | 69.2% | 56.1% | 81.5% | 71.3% | 68.1% | 4.1 min$2.6818 Escalones |
| 13 | Claude Code | 68.5% | 50.1% | 84.6% | 78.2% | 60.9% | 5.7 min$1.5258 Escalones |
| 14 | Antigravity | 68% | 48.7% | 84% | 77% | 62.3% | 4.3 min$0.89104 Escalones |
| 15 | ADK React | 66.9% | 41.8% | 78.4% | 85.1% | 62.3% | 15.3 min$7.4612 Escalones |
| 16 | Antigravity | 65.6% | 45.6% | 80.2% | 71.3% | 65.2% | 7 min$0.4774 Escalones |
| 17 | Claude Code | 65.4% | 44% | 79% | 74.7% | 63.8% | 11.9 min$2.7715 Escalones |
| 18 | ADK React | 64.7% | 58.7% | 75.9% | 57.5% | 66.7% | 5.3 min$2.5612 Escalones |
| 19 | Claude Code | 64.5% | 58.5% | 77.8% | 55.2% | 66.7% | 3.2 min$0.789 Escalones |
| 20 | Codex | 64.5% | 46.8% | 72.8% | 80.5% | 58% | 6.3 min$0.0518 Escalones |
| 21 | Claude Code | 64.4% | 38.9% | 78.4% | 79.3% | 60.9% | 22.4 min$3.4847 Escalones |
| 22 | Claude Code | 64.2% | 33.8% | 82.7% | 79.3% | 60.9% | 27.2 min$8.2957 Escalones |
| 23 | Codex | 63% | 48.9% | 75.3% | 65.5% | 62.3% | 4.6 min$0.9220 Escalones |
| 24 | ADK React | 61% | 25.8% | 80.2% | 81.6% | 56.5% | 30.6 min$2.3139 Escalones |
| 25 | ADK React | 60.9% | 35.3% | 77.2% | 75.9% | 55.1% | 15.7 min$4.1612 Escalones |
| 26 | Claude Code | 60.5% | 37.7% | 73.5% | 81.6% | 49.3% | 22.5 min$8.9947 Escalones |
| 27 | Claude Code | 60.5% | 43.4% | 75.3% | 71.3% | 52.2% | 21.1 min$0.0930 Escalones |
| 28 |  Claude Code | 60.3% | 37.1% | 83.3% | 58.6% | 62.3% | 24.4 min$0.1747 Escalones |
| 29 | ADK React | 59.7% | 17% | 80.2% | 85.1% | 56.5% | 38.7 min$0.9537 Escalones |
| 30 | Antigravity | 59.3% | 38.9% | 77.2% | 63.2% | 58% | 7.4 min$1.3178 Escalones |
| 31 | Claude Code | 59.3% | 36.3% | 76.5% | 67.8% | 56.5% | 14.1 min$1.5816 Escalones |
| 32 | Claude Code | 59.1% | 26.1% | 82.1% | 74.7% | 53.6% | 27.4 min$6.4738 Escalones |
| 33 | Claude Code | 59.1% | 39.4% | 75.9% | 69% | 52.2% | 16 min$9.3240 Escalones |
| 34 | ADK React | 58.7% | 31.4% | 81.5% | 60.9% | 60.9% | 26.3 min$2.3719 Escalones |
| 35 |  Claude Code | 58% | 32.9% | 82.7% | 65.5% | 50.7% | 28 min$3.1333 Escalones |
| 36 | ADK React | 57.6% | 34.7% | 82.7% | 60.9% | 52.2% | 26.8 min$0.1544 Escalones |
| 37 | Claude Code | 57% | 46.6% | 77.8% | 52.9% | 50.7% | 6.6 min$0.2218 Escalones |
| 38 | Claude Code | 54.4% | 37.9% | 72.8% | 62.1% | 44.9% | 12.1 min$0.6720 Escalones |
| 39 | ADK React | 53.6% | 17.3% | 74.7% | 75.9% | 46.4% | 41.6 min$2.3546 Escalones |
| 40 | ADK React | 52.8% | 27.5% | 77.2% | 52.9% | 53.6% | 31.9 min$1.6149 Escalones |
| 41 | ADK React | 52.5% | 36.3% | 76.5% | 44.8% | 52.2% | 19.2 min$1.5317 Escalones |
| 42 |  ADK React | 52.2% | 27.5% | 72.2% | 59.8% | 49.3% | 21.7 min$1.0920 Escalones |
| 43 | Claude Code | 51% | 26.5% | 75.9% | 60.9% | 40.6% | 28.6 min$1.8921 Escalones |
| 44 | Claude Code | 50.5% | 32% | 68.5% | 50.6% | 50.7% | 17.7 min$2.3932 Escalones |
| 45 | Claude Code | 50.2% | 21% | 78.4% | 44.8% | 56.5% | 39.4 min$0.4131 Escalones |
| 46 | ADK React | 49.1% | 21.7% | 75.3% | 51.7% | 47.8% | 40.1 min$1.4028 Escalones |
| 47 | ADK React | 48.6% | 34.1% | 76.5% | 33.3% | 50.7% | 7.1 min$0.0516 Escalones |
| 48 | Claude Code | 48.2% | 24.1% | 77.2% | 49.4% | 42% | 33.9 min$0.3424 Escalones |
| 49 | ADK React | 47.4% | 16.4% | 80.9% | 41.4% | 50.7% | 40.1 min$0.2228 Escalones |
| 50 |  ADK React | 46.6% | 23.4% | 56.2% | 67.8% | 39.1% | 43 min$2.3916 Escalones |
| 51 | ADK React | 46.5% | 19% | 71% | 48.3% | 47.8% | 46 min$1.7559 Escalones |
| 52 | Claude Code | 45.5% | 9.7% | 71.6% | 64.4% | 36.2% | 51.2 min$2.8515 Escalones |
| 53 | Antigravity | 44.3% | 21.9% | 72.2% | 42.5% | 40.6% | 15.7 min$1.0781 Escalones |
| 54 | ADK React | 42% | 14.3% | 77.2% | 29.9% | 46.4% | 42.5 min$1.6926 Escalones |
| 55 | ADK React | 41.8% | 12.4% | 78.4% | 35.6% | 40.6% | 55.5 min$0.2020 Escalones |
| 56 |  ADK React | 39.7% | 15.2% | 77.8% | 31% | 34.8% | 55.5 min$0.1717 Escalones |
| 57 | Claude Code | 39% | 13.6% | 76.5% | 29.9% | 36.2% | 58.7 min$0.5314 Escalones |
El estado de la IA ofensiva agente
Los agentes ya pueden realizar tareas cibernéticas estándar
Los agentes líderes ya completan la mayoría de nuestros retos básicos de seguridad reales en su primer intento.
- Gemini 4Argon +ADK React77.2%
- Gemini 4Argon +Antigravity77%
- Gemini 3.8Flash Cyber +ADK React74.9%
- ClaudeOpus 5 +Claude Code71.2%
El mismo modelo funciona de forma diferente entre arneses
El mismo modelo puede rendir sustancialmente mejor o peor bajo Claude Code frente a ADK React. Evaluamos el emparejamiento, no solo el modelo.
- Claude Sonnet 5 +ADK React42%
- Claude Sonnet 5 +Claude Code59.3%
Los ataques son baratos y tardan minutos
Un ataque exitoso de un agente de IA suele costar unos pocos euros y se completa en minutos. Intentos adicionales (por ejemplo, pass@3) aumentan la tasa de éxito del ataque.
Las vulnerabilidades de código siguen siendo difíciles de encontrar y explotar para los agentes
Cubrimos muchos desafíos de encontrar vulnerabilidades en una gran base de código y explotación de un día (CVE conocida). Encontramos que estas tareas son más difíciles de resolver para los agentes.
- Seguridad de API85.8%
- Seguridad en la nube82.6%
- Websec.fr CTFs74.7%
- Code Vulns65.8%
Conjuntos de datos
Code Vulns
221 Desafíos
Identificar patrones de vulnerabilidad conocidos en el código fuente y explotar los 1-day (CVE conocidos).
Identifica la causa raíz de la vulnerabilidad en Python, Java y Go, o aprovecha un CVE en vivo de un día.
Seguridad de API
54 Desafíos
Descubre y explota vulnerabilidades web mediante API en vivo.
Accede a todos los caminos explotables en los laboratorios sin código fuente y, a menudo, sin especificaciones de API.
Websec.fr CTFs
29 Desafíos
Analizar el código fuente de Web CTF y escribir exploits funcionales para capturar banderas.
Utiliza el público websec.fr tareas de la web.
Seguridad en la nube
23 Desafíos
Errores de configuración de exploits entre diferentes proveedores de nube (tomado de Wiz CTF Challenges).
Captura una bandera dentro de configuraciones tipo AWS / Azure / GCP / Kubernetes.
Arneses
ADK React
Un bucle ReAct sencillo desarrollado con ADK. Utiliza una única herramienta bash, no tiene herramientas cibernéticas especializadas y utiliza una indicación general del sistema.
Claude Code
CLI estándar de codificación de Anthropic. Utiliza herramientas ordinarias de archivos, búsqueda y shell, no tiene herramientas cibernéticas especializadas y utiliza un prompt general del sistema.
Antigravedad
La CLI de antigravedad de Google. Utiliza herramientas ordinarias de archivos, búsqueda y shell, no tiene herramientas cibernéticas especializadas y utiliza un prompt general del sistema. Publicado solo con modelos de Google.
Códice
Codex CLI de OpenAI. Utiliza herramientas ordinarias de archivos, búsqueda y shell, no tiene herramientas cibernéticas especializadas y utiliza un prompt general del sistema. Publicado únicamente con modelos OpenAI.
Metodología
El agente recibe solo la instrucción de la tarea, sin manuales de ataque adicionales ni plantillas de exploit.
Cada combinación de arnés-modelo-desafío se ejecuta 3 veces (pass@3: el mejor resultado entre partidas se obtiene por desafío), con un límite de 3 intentos por vez para errores de infrarestructura.
Cada partida de agente está limitada a 1000 segundos. Cuando expira el tiempo, el agente es detenido y el verificador califica lo que el agente haya producido. No se vuelve a intentar un tiempo de espera.
El nivel de razonamiento está configurado en alto en todos los modelos.
Anti-trampas: los agentes se ejecutan en contenedores Docker aislados sin bases de datos CVE ni recursos externos.
Toda la puntuación es determinista mediante ganchos API, banderas exactas, cadenas exactas de causa raíz y la ejecución de la ruta vulnerable.
La puntuación global es el macro-promedio en las 4 categorías.