Cyber Model Arena
Nous évaluons les agents IA à l’aide de modèles de base et de harnais standards sur de multiples tâches réelles de cybersécurité.
Qualité des modèles vs. efficacité
Taux de réussite par rapport au coût, au temps ou aux étapes par résolution sur k tentatives indépendantes.
Classement
Chaque pourcentage est un passage @1 dans cette catégorie.
# | Agent | Globalisation @ 1 | Code Vulns | Sécurité des API | Web Sec | Cloud Sec | Efficacité / passe |
|---|---|---|---|---|---|---|---|
| 1 |  ADK React | 77.2% | 65.8% | 85.8% | 74.7% | 82.6% | 4.3 min$0.7715 étapes |
| 2 | Antigravity | 77% | 64.9% | 87% | 69% | 87% | 8.4 min$0.9751 étapes |
| 3 | ADK React | 74.9% | 57% | 85.2% | 90.8% | 66.7% | 5 min$1.6258 étapes |
| 4 |  Claude Code | 71.2% | 55.2% | 84% | 81.6% | 63.8% | 12.2 min$2.6319 étapes |
| 5 |  Codex | 71.2% | 55.1% | 78.4% | 86.2% | 65.2% | 6.6 min$0.6721 étapes |
| 6 | Claude Code | 70.8% | 59.9% | 82.7% | 66.7% | 73.9% | 5.3 min$0.8416 étapes |
| 7 | Claude Code | 70.7% | 56.6% | 80.2% | 79.3% | 66.7% | 8.1 min$1.2316 étapes |
| 8 | Codex | 70.6% | 56.4% | 80.9% | 77% | 68.1% | 4.9 min$0.4418 étapes |
| 9 | Claude Code | 70.2% | 56.6% | 81.5% | 70.1% | 72.5% | 6.8 min$6.4816 étapes |
| 10 | Codex | 69.8% | 57.2% | 79.6% | 77% | 65.2% | 5.7 min$2.0622 étapes |
| 11 | Claude Code | 69.3% | 50.8% | 78.4% | 88.5% | 59.4% | 17.9 min$1.2651 étapes |
| 12 | Codex | 69.2% | 56.1% | 81.5% | 71.3% | 68.1% | 4.1 min$2.6818 étapes |
| 13 | Claude Code | 68.5% | 50.1% | 84.6% | 78.2% | 60.9% | 5.7 min$1.5258 étapes |
| 14 | Antigravity | 68% | 48.7% | 84% | 77% | 62.3% | 4.3 min$0.89104 étapes |
| 15 | ADK React | 66.9% | 41.8% | 78.4% | 85.1% | 62.3% | 15.3 min$7.4612 étapes |
| 16 | Antigravity | 65.6% | 45.6% | 80.2% | 71.3% | 65.2% | 7 min$0.4774 étapes |
| 17 | Claude Code | 65.4% | 44% | 79% | 74.7% | 63.8% | 11.9 min$2.7715 étapes |
| 18 | ADK React | 64.7% | 58.7% | 75.9% | 57.5% | 66.7% | 5.3 min$2.5612 étapes |
| 19 | Claude Code | 64.5% | 58.5% | 77.8% | 55.2% | 66.7% | 3.2 min$0.789 étapes |
| 20 | Codex | 64.5% | 46.8% | 72.8% | 80.5% | 58% | 6.3 min$0.0518 étapes |
| 21 | Claude Code | 64.4% | 38.9% | 78.4% | 79.3% | 60.9% | 22.4 min$3.4847 étapes |
| 22 | Claude Code | 64.2% | 33.8% | 82.7% | 79.3% | 60.9% | 27.2 min$8.2957 étapes |
| 23 | Codex | 63% | 48.9% | 75.3% | 65.5% | 62.3% | 4.6 min$0.9220 étapes |
| 24 | ADK React | 61% | 25.8% | 80.2% | 81.6% | 56.5% | 30.6 min$2.3139 étapes |
| 25 | ADK React | 60.9% | 35.3% | 77.2% | 75.9% | 55.1% | 15.7 min$4.1612 étapes |
| 26 | Claude Code | 60.5% | 37.7% | 73.5% | 81.6% | 49.3% | 22.5 min$8.9947 étapes |
| 27 | Claude Code | 60.5% | 43.4% | 75.3% | 71.3% | 52.2% | 21.1 min$0.0930 étapes |
| 28 |  Claude Code | 60.3% | 37.1% | 83.3% | 58.6% | 62.3% | 24.4 min$0.1747 étapes |
| 29 | ADK React | 59.7% | 17% | 80.2% | 85.1% | 56.5% | 38.7 min$0.9537 étapes |
| 30 | Antigravity | 59.3% | 38.9% | 77.2% | 63.2% | 58% | 7.4 min$1.3178 étapes |
| 31 | Claude Code | 59.3% | 36.3% | 76.5% | 67.8% | 56.5% | 14.1 min$1.5816 étapes |
| 32 | Claude Code | 59.1% | 26.1% | 82.1% | 74.7% | 53.6% | 27.4 min$6.4738 étapes |
| 33 | Claude Code | 59.1% | 39.4% | 75.9% | 69% | 52.2% | 16 min$9.3240 étapes |
| 34 | ADK React | 58.7% | 31.4% | 81.5% | 60.9% | 60.9% | 26.3 min$2.3719 étapes |
| 35 |  Claude Code | 58% | 32.9% | 82.7% | 65.5% | 50.7% | 28 min$3.1333 étapes |
| 36 | ADK React | 57.6% | 34.7% | 82.7% | 60.9% | 52.2% | 26.8 min$0.1544 étapes |
| 37 | Claude Code | 57% | 46.6% | 77.8% | 52.9% | 50.7% | 6.6 min$0.2218 étapes |
| 38 | Claude Code | 54.4% | 37.9% | 72.8% | 62.1% | 44.9% | 12.1 min$0.6720 étapes |
| 39 | ADK React | 53.6% | 17.3% | 74.7% | 75.9% | 46.4% | 41.6 min$2.3546 étapes |
| 40 | ADK React | 52.8% | 27.5% | 77.2% | 52.9% | 53.6% | 31.9 min$1.6149 étapes |
| 41 | ADK React | 52.5% | 36.3% | 76.5% | 44.8% | 52.2% | 19.2 min$1.5317 étapes |
| 42 |  ADK React | 52.2% | 27.5% | 72.2% | 59.8% | 49.3% | 21.7 min$1.0920 étapes |
| 43 | Claude Code | 51% | 26.5% | 75.9% | 60.9% | 40.6% | 28.6 min$1.8921 étapes |
| 44 | Claude Code | 50.5% | 32% | 68.5% | 50.6% | 50.7% | 17.7 min$2.3932 étapes |
| 45 | Claude Code | 50.2% | 21% | 78.4% | 44.8% | 56.5% | 39.4 min$0.4131 étapes |
| 46 | ADK React | 49.1% | 21.7% | 75.3% | 51.7% | 47.8% | 40.1 min$1.4028 étapes |
| 47 | ADK React | 48.6% | 34.1% | 76.5% | 33.3% | 50.7% | 7.1 min$0.0516 étapes |
| 48 | Claude Code | 48.2% | 24.1% | 77.2% | 49.4% | 42% | 33.9 min$0.3424 étapes |
| 49 | ADK React | 47.4% | 16.4% | 80.9% | 41.4% | 50.7% | 40.1 min$0.2228 étapes |
| 50 |  ADK React | 46.6% | 23.4% | 56.2% | 67.8% | 39.1% | 43 min$2.3916 étapes |
| 51 | ADK React | 46.5% | 19% | 71% | 48.3% | 47.8% | 46 min$1.7559 étapes |
| 52 | Claude Code | 45.5% | 9.7% | 71.6% | 64.4% | 36.2% | 51.2 min$2.8515 étapes |
| 53 | Antigravity | 44.3% | 21.9% | 72.2% | 42.5% | 40.6% | 15.7 min$1.0781 étapes |
| 54 | ADK React | 42% | 14.3% | 77.2% | 29.9% | 46.4% | 42.5 min$1.6926 étapes |
| 55 | ADK React | 41.8% | 12.4% | 78.4% | 35.6% | 40.6% | 55.5 min$0.2020 étapes |
| 56 |  ADK React | 39.7% | 15.2% | 77.8% | 31% | 34.8% | 55.5 min$0.1717 étapes |
| 57 | Claude Code | 39% | 13.6% | 76.5% | 29.9% | 36.2% | 58.7 min$0.5314 étapes |
L’état de l’IA offensive agente
Les agents peuvent déjà effectuer des tâches cyber standard
Les agents de premier plan relèvent déjà la plupart de nos défis de sécurité réels dès leur première tentative.
- Gemini 4Argon +ADK React77.2%
- Gemini 4Argon +Antigravity77%
- Gemini 3.8Flash Cyber +ADK React74.9%
- ClaudeOpus 5 +Claude Code71.2%
Le même modèle fonctionne différemment selon les harnais
Le même modèle peut performer nettement mieux ou moins bien sous Claude Code vs ADK React. Nous évaluons l’appariement, pas le modèle seul.
- Claude Sonnet 5 +ADK React42%
- Claude Sonnet 5 +Claude Code59.3%
Les attaques sont peu coûteuses et prennent plusieurs minutes
Une attaque d'agent IA réussie coûte généralement quelques dollars et s'achève en quelques minutes. Les tentatives supplémentaires (par ex., pass@3) augmentent le taux de réussite de l'attaque.
Les vulns de code restent difficiles à trouver et à exploiter pour les agents
Nous abordons de nombreux défis liés à la détection de vulns dans une grande base de code et à l’exploitation en un jour (CVE connue). Nous trouvons que ces tâches sont plus difficiles à résoudre pour les agents.
- Sécurité de l’API85.8%
- Sécurité cloud82.6%
- Websec.fr CTFs74.7%
- Code Vulns65.8%
Ensembles de données
Code Vulns
221 Défis
Identifier les schémas de vulnérabilité connus dans le code source et exploiter les 1-day (CVE connues).
Identifiez la cause racine de la vulnérabilité dans Python, Java et Go, ou exploitez un CVE en cours d’un jour.
Sécurité de l’API
54 Défis
Découvrez et exploitez les vulnérabilités web via une API en direct.
Atteindre tous les chemins exploitables dans les laboratoires sans code source, et souvent sans spécification API.
Websec.fr CTFs
29 Défis
Analyser Web CTF défie le code source et écrire des exploits fonctionnels pour capturer les flags.
Utilisez les tâches publiques websec.fr site web.
Sécurité cloud
23 Défis
Exploits de configurations incorrectes entre différents fournisseurs cloud (tirés des défis Wiz CTF).
Capturez un drapeau dans des configurations de type AWS / Azure / GCP / Kubernetes.
Harnais
ADK React
Une boucle ReAct simple développée avec ADK. Elle utilise un seul outil bash, ne dispose d'aucun outil cyber spécialisé et utilise une instruction système générale.
Claude Code
CLI standard de codage d’Anthropic. Il utilise des outils classiques de fichiers, de recherche et de shell, ne dispose pas d’outils cyber spécialisés, et utilise une invite système générale.
Antigravity
L’interface de l’interface antigravité de Google. Elle utilise des outils classiques de fichiers, de recherche et de shell, ne possède pas d’outils cyber spécialisés, et utilise une invite système générale. Publié uniquement avec les modèles Google.
Codex
La code de commande de commande d’OpenAI. Elle utilise des outils classiques de fichiers, de recherche et de shell, ne possède pas d’outils cyber spécialisés, et utilise une invite système générale. Publié uniquement avec des modèles OpenAI.
Méthodologie
L’agent ne reçoit que l’instruction de tâche, sans playbooks d’attaque supplémentaires ni modèles d’exploits.
Chaque combinaison de harnais, modèle et défi est exécutée 3 fois (pass@3 : le meilleur résultat entre les courses est pris par défi), avec une limite de 3 essais par fois pour les erreurs infra.
Chaque exécution d’agent est limitée à 1000 secondes. Lorsque le temps expire, l’agent est arrêté et le vérificateur attribue la note produite par l’agent. Un délai d’attente n’est pas retenté.
Le niveau de raisonnement est réglé à élevé sur tous les modèles.
Anti-triche : les agents fonctionnent dans des conteneurs Docker isolés sans bases de données CVE ni ressources externes.
Tous les scores sont déterministes via des hooks API, des drapeaux exacts, des chaînes exactes de cause principale, et l’exécution de l’affirmation du chemin vulnérable.
Le score global est la macro-moyenne dans les 4 catégories.