Cyber Model Arena
Wir bewerten KI-Agenten mit Foundation Models und Standard-Testumgebungen anhand mehrerer realer Cybersicherheitsaufgaben.
Modellqualität vs. Effizienz
Erfolgsrate im Vergleich zu Kosten, Zeit oder Schritten pro Lösung über k unabhängige Versuche.
Bestenliste
Jeder Prozentsatz entspricht pass@1 in dieser Kategorie.
# | Agent | Gesamt @ 1 | Code-Schwachstellen | API-Sicherheit | Web Sec | Cloud Sec | Effizienz / Pass |
|---|---|---|---|---|---|---|---|
| 1 |  ADK React | 77.2% | 65.8% | 85.8% | 74.7% | 82.6% | 4.3 min$0.7715 Schritte |
| 2 | Antigravity | 77% | 64.9% | 87% | 69% | 87% | 8.4 min$0.9751 Schritte |
| 3 | ADK React | 74.9% | 57% | 85.2% | 90.8% | 66.7% | 5 min$1.6258 Schritte |
| 4 |  Claude Code | 71.2% | 55.2% | 84% | 81.6% | 63.8% | 12.2 min$2.6319 Schritte |
| 5 |  Codex | 71.2% | 55.1% | 78.4% | 86.2% | 65.2% | 6.6 min$0.6721 Schritte |
| 6 | Claude Code | 70.8% | 59.9% | 82.7% | 66.7% | 73.9% | 5.3 min$0.8416 Schritte |
| 7 | Claude Code | 70.7% | 56.6% | 80.2% | 79.3% | 66.7% | 8.1 min$1.2316 Schritte |
| 8 | Codex | 70.6% | 56.4% | 80.9% | 77% | 68.1% | 4.9 min$0.4418 Schritte |
| 9 | Claude Code | 70.2% | 56.6% | 81.5% | 70.1% | 72.5% | 6.8 min$6.4816 Schritte |
| 10 | Codex | 69.8% | 57.2% | 79.6% | 77% | 65.2% | 5.7 min$2.0622 Schritte |
| 11 | Claude Code | 69.3% | 50.8% | 78.4% | 88.5% | 59.4% | 17.9 min$1.2651 Schritte |
| 12 | Codex | 69.2% | 56.1% | 81.5% | 71.3% | 68.1% | 4.1 min$2.6818 Schritte |
| 13 | Claude Code | 68.5% | 50.1% | 84.6% | 78.2% | 60.9% | 5.7 min$1.5258 Schritte |
| 14 | Antigravity | 68% | 48.7% | 84% | 77% | 62.3% | 4.3 min$0.89104 Schritte |
| 15 | ADK React | 66.9% | 41.8% | 78.4% | 85.1% | 62.3% | 15.3 min$7.4612 Schritte |
| 16 | Antigravity | 65.6% | 45.6% | 80.2% | 71.3% | 65.2% | 7 min$0.4774 Schritte |
| 17 | Claude Code | 65.4% | 44% | 79% | 74.7% | 63.8% | 11.9 min$2.7715 Schritte |
| 18 | ADK React | 64.7% | 58.7% | 75.9% | 57.5% | 66.7% | 5.3 min$2.5612 Schritte |
| 19 | Claude Code | 64.5% | 58.5% | 77.8% | 55.2% | 66.7% | 3.2 min$0.789 Schritte |
| 20 | Codex | 64.5% | 46.8% | 72.8% | 80.5% | 58% | 6.3 min$0.0518 Schritte |
| 21 | Claude Code | 64.4% | 38.9% | 78.4% | 79.3% | 60.9% | 22.4 min$3.4847 Schritte |
| 22 | Claude Code | 64.2% | 33.8% | 82.7% | 79.3% | 60.9% | 27.2 min$8.2957 Schritte |
| 23 | Codex | 63% | 48.9% | 75.3% | 65.5% | 62.3% | 4.6 min$0.9220 Schritte |
| 24 | ADK React | 61% | 25.8% | 80.2% | 81.6% | 56.5% | 30.6 min$2.3139 Schritte |
| 25 | ADK React | 60.9% | 35.3% | 77.2% | 75.9% | 55.1% | 15.7 min$4.1612 Schritte |
| 26 | Claude Code | 60.5% | 37.7% | 73.5% | 81.6% | 49.3% | 22.5 min$8.9947 Schritte |
| 27 | Claude Code | 60.5% | 43.4% | 75.3% | 71.3% | 52.2% | 21.1 min$0.0930 Schritte |
| 28 |  Claude Code | 60.3% | 37.1% | 83.3% | 58.6% | 62.3% | 24.4 min$0.1747 Schritte |
| 29 | ADK React | 59.7% | 17% | 80.2% | 85.1% | 56.5% | 38.7 min$0.9537 Schritte |
| 30 | Antigravity | 59.3% | 38.9% | 77.2% | 63.2% | 58% | 7.4 min$1.3178 Schritte |
| 31 | Claude Code | 59.3% | 36.3% | 76.5% | 67.8% | 56.5% | 14.1 min$1.5816 Schritte |
| 32 | Claude Code | 59.1% | 26.1% | 82.1% | 74.7% | 53.6% | 27.4 min$6.4738 Schritte |
| 33 | Claude Code | 59.1% | 39.4% | 75.9% | 69% | 52.2% | 16 min$9.3240 Schritte |
| 34 | ADK React | 58.7% | 31.4% | 81.5% | 60.9% | 60.9% | 26.3 min$2.3719 Schritte |
| 35 |  Claude Code | 58% | 32.9% | 82.7% | 65.5% | 50.7% | 28 min$3.1333 Schritte |
| 36 | ADK React | 57.6% | 34.7% | 82.7% | 60.9% | 52.2% | 26.8 min$0.1544 Schritte |
| 37 | Claude Code | 57% | 46.6% | 77.8% | 52.9% | 50.7% | 6.6 min$0.2218 Schritte |
| 38 | Claude Code | 54.4% | 37.9% | 72.8% | 62.1% | 44.9% | 12.1 min$0.6720 Schritte |
| 39 | ADK React | 53.6% | 17.3% | 74.7% | 75.9% | 46.4% | 41.6 min$2.3546 Schritte |
| 40 | ADK React | 52.8% | 27.5% | 77.2% | 52.9% | 53.6% | 31.9 min$1.6149 Schritte |
| 41 | ADK React | 52.5% | 36.3% | 76.5% | 44.8% | 52.2% | 19.2 min$1.5317 Schritte |
| 42 |  ADK React | 52.2% | 27.5% | 72.2% | 59.8% | 49.3% | 21.7 min$1.0920 Schritte |
| 43 | Claude Code | 51% | 26.5% | 75.9% | 60.9% | 40.6% | 28.6 min$1.8921 Schritte |
| 44 | Claude Code | 50.5% | 32% | 68.5% | 50.6% | 50.7% | 17.7 min$2.3932 Schritte |
| 45 | Claude Code | 50.2% | 21% | 78.4% | 44.8% | 56.5% | 39.4 min$0.4131 Schritte |
| 46 | ADK React | 49.1% | 21.7% | 75.3% | 51.7% | 47.8% | 40.1 min$1.4028 Schritte |
| 47 | ADK React | 48.6% | 34.1% | 76.5% | 33.3% | 50.7% | 7.1 min$0.0516 Schritte |
| 48 | Claude Code | 48.2% | 24.1% | 77.2% | 49.4% | 42% | 33.9 min$0.3424 Schritte |
| 49 | ADK React | 47.4% | 16.4% | 80.9% | 41.4% | 50.7% | 40.1 min$0.2228 Schritte |
| 50 |  ADK React | 46.6% | 23.4% | 56.2% | 67.8% | 39.1% | 43 min$2.3916 Schritte |
| 51 | ADK React | 46.5% | 19% | 71% | 48.3% | 47.8% | 46 min$1.7559 Schritte |
| 52 | Claude Code | 45.5% | 9.7% | 71.6% | 64.4% | 36.2% | 51.2 min$2.8515 Schritte |
| 53 | Antigravity | 44.3% | 21.9% | 72.2% | 42.5% | 40.6% | 15.7 min$1.0781 Schritte |
| 54 | ADK React | 42% | 14.3% | 77.2% | 29.9% | 46.4% | 42.5 min$1.6926 Schritte |
| 55 | ADK React | 41.8% | 12.4% | 78.4% | 35.6% | 40.6% | 55.5 min$0.2020 Schritte |
| 56 |  ADK React | 39.7% | 15.2% | 77.8% | 31% | 34.8% | 55.5 min$0.1717 Schritte |
| 57 | Claude Code | 39% | 13.6% | 76.5% | 29.9% | 36.2% | 58.7 min$0.5314 Schritte |
Der Zustand der agentisch offensiven KI
Agenten können bereits Standard-Cyberaufgaben ausführen
Führende Agenten lösen die meisten unserer grundlegenden, realen Sicherheitsherausforderungen bereits beim ersten Versuch.
- Gemini 4Argon +ADK React77.2%
- Gemini 4Argon +Antigravity77%
- Gemini 3.8Flash Cyber +ADK React74.9%
- ClaudeOpus 5 +Claude Code71.2%
Dasselbe Modell schneidet unterschiedlich zwischen den Gurten ab
Dasselbe Modell kann unter Claude Code im Vergleich zu ADK React wesentlich besser oder schlechter abschneiden. Wir bewerten die Kombination, nicht das Modell allein.
- Claude Sonnet 5 +ADK React42%
- Claude Sonnet 5 +Claude Code59.3%
Angriffe sind kostengünstig und dauern nur wenige Minuten
Ein erfolgreicher Angriff von KI-Agenten kostet typischerweise wenige US-Dollar und dauert nur wenige Minuten. Zusätzliche Versuche (z. B. pass@3) erhöhen die Erfolgsquote des Angriffs.
Code-Schwachstellen sind für Agenten immer noch schwer zu finden und auszunutzen
Wir decken zahlreiche Herausforderungen beim Auffinden von Schwachstellen in einer großen Codebasis sowie 1-Day-Exploits (bekannte CVEs) ab. Wir stellen fest, dass solche Aufgaben für Agenten schwieriger zu lösen sind.
- API-Sicherheit85.8%
- Cloud-Sicherheit82.6%
- Websec.fr-CTFs74.7%
- Code-Schwachstellen65.8%
Datensätze
Code-Schwachstellen
221 Herausforderungen
Bekannte Schwachstellenmuster im Quellcode identifizieren und 1-Day-Exploits (bekannte CVEs) ausnutzen.
Die Ursache einer Schwachstelle in Python, Java und Go identifizieren oder ein Live-1-Day-CVE ausnutzen.
API-Sicherheit
54 Herausforderungen
Webschwachstellen über eine Live-API entdecken und ausnutzen.
Alle ausnutzbaren Pfade in Labs ohne Quellcode und oft ohne API-Spezifikation erreichen.
Websec.fr-CTFs
29 Herausforderungen
Quellcode von Web-CTF-Herausforderungen analysieren und funktionierende Exploits schreiben, um Flags zu erfassen.
Die Aufgaben der öffentlichen Website websec.fr verwenden.
Cloud-Sicherheit
23 Herausforderungen
Fehlkonfigurationen bei verschiedenen Cloud-Anbietern ausnutzen (aus Wiz-CTF-Herausforderungen entnommen).
Ein Flag innerhalb von AWS- / Azure- / GCP- / Kubernetes-ähnlichen Setups erfassen.
Geschirre
ADK React
Eine einfache ReAct-Schleife, die mit dem ADK entwickelt wurde. Sie verwendet ein einzelnes Bash-Tool, verfügt über keine spezialisierten Cyber-Tools und nutzt einen allgemeinen System-Prompt.
Claude Code
Die Standard-Coding-CLI von Anthropic. Sie verwendet gewöhnliche Datei-, Such- und Shell-Tools, hat keine speziellen Cyber-Tools und nutzt einen allgemeinen System-Prompt.
Antigravitation
Googles Antigravitations-CLI. Sie verwendet gewöhnliche Datei-, Such- und Shell-Tools, verfügt über keine spezialisierten Cyber-Tools und verwendet eine allgemeine Systemeingabeaufforderung. Veröffentlicht ausschließlich mit Google-Modellen.
Codex
OpenAIs Codex CLI. Es verwendet gewöhnliche Datei-, Such- und Shell-Tools, verfügt über keine spezialisierten Cyber-Tools und verwendet eine allgemeine Systemaufforderung. Veröffentlicht ausschließlich mit OpenAI-Modellen.
Methodik
Der Agent erhält ausschließlich die Aufgabenanweisung, ohne zusätzliche Angriffs-Playbooks oder Exploit-Vorlagen.
Jede Kombination aus Testumgebung, Modell und Herausforderung wird 3-mal ausgeführt (pass@3: das beste Ergebnis über alle Durchläufe hinweg wird pro Herausforderung gewertet), mit einem Wiederholungslimit von 3 pro Zeit für Infrastrukturfehler.
Jeder Agenten-Durchlauf ist auf 1000 Sekunden begrenzt. Wenn die Zeit abläuft, wird der Agent gestoppt und der Prüfer bewertet das, was der Agent produziert hat. Ein Timeout wird nicht wiederholt.
Das Argumentationsniveau ist modellübergreifend auf „hoch“ eingestellt.
Anti-Cheat: Agenten laufen in isolierten Docker-Containern ohne CVE-Datenbanken und ohne externe Ressourcen.
Die gesamte Bewertung erfolgt deterministisch über API-Hooks, exakte Flags, exakte Root-Cause-Strings und das Zusichern, dass der anfällige Pfad ausgeführt wird.
Die Gesamtpunktzahl ist der Makrodurchschnitt über alle 4 Kategorien hinweg.