Wiz

Cyber Model Arena

Valutiamo gli agenti di IA con modelli di base e imbracaggi standard su molteplici compiti reali di cybersecurity.

Qualità del modello vs. efficienza

Tasso di successo rispetto a costo, tempo o passaggi per soluzione rispetto a k tentativi indipendenti.

Dataset
Imbracatura
X per ogni Soluzione
Pass@k

Classifica

Ogni percentuale è approvata @1 in quella categoria.

#
Agente
Complessivo @ 1
Code Vulns
API Sec
Web Sec
Cloud Sec
Efficienza / passaggio
1
ADK React
77.2%65.8%85.8%74.7%82.6%
4.3 min$0.7715 Passi
2
Antigravity
77%64.9%87%69%87%
8.4 min$0.9751 Passi
3
ADK React
74.9%57%85.2%90.8%66.7%
5 min$1.6258 Passi
4
Claude Code
71.2%55.2%84%81.6%63.8%
12.2 min$2.6319 Passi
5
Codex
71.2%55.1%78.4%86.2%65.2%
6.6 min$0.6721 Passi
6
Claude Code
70.8%59.9%82.7%66.7%73.9%
5.3 min$0.8416 Passi
7
Claude Code
70.7%56.6%80.2%79.3%66.7%
8.1 min$1.2316 Passi
8
Codex
70.6%56.4%80.9%77%68.1%
4.9 min$0.4418 Passi
9
Claude Code
70.2%56.6%81.5%70.1%72.5%
6.8 min$6.4816 Passi
10
Codex
69.8%57.2%79.6%77%65.2%
5.7 min$2.0622 Passi
11
Claude Code
69.3%50.8%78.4%88.5%59.4%
17.9 min$1.2651 Passi
12
Codex
69.2%56.1%81.5%71.3%68.1%
4.1 min$2.6818 Passi
13
Claude Code
68.5%50.1%84.6%78.2%60.9%
5.7 min$1.5258 Passi
14
Antigravity
68%48.7%84%77%62.3%
4.3 min$0.89104 Passi
15
ADK React
66.9%41.8%78.4%85.1%62.3%
15.3 min$7.4612 Passi
16
Antigravity
65.6%45.6%80.2%71.3%65.2%
7 min$0.4774 Passi
17
Claude Code
65.4%44%79%74.7%63.8%
11.9 min$2.7715 Passi
18
ADK React
64.7%58.7%75.9%57.5%66.7%
5.3 min$2.5612 Passi
19
Claude Code
64.5%58.5%77.8%55.2%66.7%
3.2 min$0.789 Passi
20
Codex
64.5%46.8%72.8%80.5%58%
6.3 min$0.0518 Passi
21
Claude Code
64.4%38.9%78.4%79.3%60.9%
22.4 min$3.4847 Passi
22
Claude Code
64.2%33.8%82.7%79.3%60.9%
27.2 min$8.2957 Passi
23
Codex
63%48.9%75.3%65.5%62.3%
4.6 min$0.9220 Passi
24
ADK React
61%25.8%80.2%81.6%56.5%
30.6 min$2.3139 Passi
25
ADK React
60.9%35.3%77.2%75.9%55.1%
15.7 min$4.1612 Passi
26
Claude Code
60.5%37.7%73.5%81.6%49.3%
22.5 min$8.9947 Passi
27
Claude Code
60.5%43.4%75.3%71.3%52.2%
21.1 min$0.0930 Passi
28
Claude Code
60.3%37.1%83.3%58.6%62.3%
24.4 min$0.1747 Passi
29
ADK React
59.7%17%80.2%85.1%56.5%
38.7 min$0.9537 Passi
30
Antigravity
59.3%38.9%77.2%63.2%58%
7.4 min$1.3178 Passi
31
Claude Code
59.3%36.3%76.5%67.8%56.5%
14.1 min$1.5816 Passi
32
Claude Code
59.1%26.1%82.1%74.7%53.6%
27.4 min$6.4738 Passi
33
Claude Code
59.1%39.4%75.9%69%52.2%
16 min$9.3240 Passi
34
ADK React
58.7%31.4%81.5%60.9%60.9%
26.3 min$2.3719 Passi
35
Claude Code
58%32.9%82.7%65.5%50.7%
28 min$3.1333 Passi
36
ADK React
57.6%34.7%82.7%60.9%52.2%
26.8 min$0.1544 Passi
37
Claude Code
57%46.6%77.8%52.9%50.7%
6.6 min$0.2218 Passi
38
Claude Code
54.4%37.9%72.8%62.1%44.9%
12.1 min$0.6720 Passi
39
ADK React
53.6%17.3%74.7%75.9%46.4%
41.6 min$2.3546 Passi
40
ADK React
52.8%27.5%77.2%52.9%53.6%
31.9 min$1.6149 Passi
41
ADK React
52.5%36.3%76.5%44.8%52.2%
19.2 min$1.5317 Passi
42
ADK React
52.2%27.5%72.2%59.8%49.3%
21.7 min$1.0920 Passi
43
Claude Code
51%26.5%75.9%60.9%40.6%
28.6 min$1.8921 Passi
44
Claude Code
50.5%32%68.5%50.6%50.7%
17.7 min$2.3932 Passi
45
Claude Code
50.2%21%78.4%44.8%56.5%
39.4 min$0.4131 Passi
46
ADK React
49.1%21.7%75.3%51.7%47.8%
40.1 min$1.4028 Passi
47
ADK React
48.6%34.1%76.5%33.3%50.7%
7.1 min$0.0516 Passi
48
Claude Code
48.2%24.1%77.2%49.4%42%
33.9 min$0.3424 Passi
49
ADK React
47.4%16.4%80.9%41.4%50.7%
40.1 min$0.2228 Passi
50
ADK React
46.6%23.4%56.2%67.8%39.1%
43 min$2.3916 Passi
51
ADK React
46.5%19%71%48.3%47.8%
46 min$1.7559 Passi
52
Claude Code
45.5%9.7%71.6%64.4%36.2%
51.2 min$2.8515 Passi
53
Antigravity
44.3%21.9%72.2%42.5%40.6%
15.7 min$1.0781 Passi
54
ADK React
42%14.3%77.2%29.9%46.4%
42.5 min$1.6926 Passi
55
ADK React
41.8%12.4%78.4%35.6%40.6%
55.5 min$0.2020 Passi
56
ADK React
39.7%15.2%77.8%31%34.8%
55.5 min$0.1717 Passi
57
Claude Code
39%13.6%76.5%29.9%36.2%
58.7 min$0.5314 Passi

Lo stato dell'IA offensiva agentica

Gli agenti possono già svolgere compiti standard di cyber

Gli agenti di primo piano già completano la maggior parte delle nostre sfide di sicurezza reali al primo tentativo.

  • 77.2%
    Gemini 4Argon +ADK React
  • 77%
    Gemini 4Argon +Antigravity
  • 74.9%
    Gemini 3.8Flash Cyber +ADK React
  • 71.2%
    ClaudeOpus 5 +Claude Code

Lo stesso modello si comporta in modo diverso tra i cablaggi

Lo stesso modello può ottenere risultati sostanzialmente migliori o peggiori con Claude Code rispetto ad ADK React. Valutiamo l'accoppiamento, non il modello da solo.

  • 42%
    Claude Sonnet 5 +ADK React
  • 59.3%
    Claude Sonnet 5 +Claude Code

Gli attacchi sono economici e richiedono minuti

Un attacco di agenti IA riuscito costa in genere pochi dollari e si completa in pochi minuti. I tentativi aggiuntivi (ad esempio, pass@3) aumentano il tasso di successo dell'attacco.

Tempo
4.3MINper ogni soluzione
Costo
$0.77per ogni soluzione

Le vulnerabilità del codice sono ancora difficili da trovare e sfruttare per gli agenti

Copriamo molte sfide nel trovare vulnerabilità in una grande base di codice e nello sfruttamento di 1 giorno (CVE noto). Troviamo tali compiti più difficili da risolvere per gli agenti.

  • 85.8%
    Sicurezza API
  • 82.6%
    Sicurezza nel cloud
  • 74.7%
    Websec.fr CTF
  • 65.8%
    Code Vulns

Dataset

Code Vulns

221 Sfide

Identificare i modelli di vulnerabilità noti nel codice sorgente e sfruttare i 1-day (CVE noti).

Identifica la causa principale della vulnerabilità in Python, Java e Go, oppure sfrutta un CVE in tempo reale di 1 giorno.

Sicurezza API

54 Sfide

Scopri ed sfrutta le vulnerabilità web tramite l'API in tempo reale.

Raggiungere tutti i percorsi sfruttabili nei laboratori senza codice sorgente, e spesso senza specifiche API.

Websec.fr CTF

29 Sfide

Analizza il Web CTF sfida il codice sorgente e scrive exploit operativi per catturare flag.

Usa il pubblico websec.fr attività sul sito.

Sicurezza nel cloud

23 Sfide

Configurazioni errate degli exploit tra diversi provider cloud (tratti da Wiz CTF Challenges).

Cattura una bandiera all'interno di configurazioni in stile AWS / Azure / GCP / Kubernetes.

Imbracature

ADK React

Un semplice ciclo ReAct sviluppato con ADK. Utilizza un singolo strumento bash, non ha strumenti informatici specializzati e utilizza un prompt di sistema generale.

Claude Code

CLI standard di codifica di Anthropic. Utilizza strumenti ordinari di file, ricerca e shell, non dispone di strumenti informatici specializzati e utilizza un prompt generale di sistema.

Antigravity

La CLI Antigravità di Google. Utilizza strumenti ordinari di file, ricerca e shell, non dispone di strumenti informatici specializzati e utilizza un suggerimento generale di sistema. Pubblicato solo con i modelli Google.

Codex

Codex CLI di OpenAI. Utilizza strumenti ordinari di file, ricerca e shell, non dispone di strumenti informatici specializzati e utilizza un prompt generale di sistema. Pubblicato solo con modelli OpenAI.

Metodologia

  • L'agente riceve solo l'istruzione del compito, senza playbook di attacco aggiuntivi o template di exploit.

  • Ogni combinazione di imbracatura-modello-sfida viene eseguita 3 volte (pass@3: il miglior risultato tra le run viene ottenuto per ogni sfida), con un limite di ritentativo di 3 per ogni volta per errori infra.

  • Ogni run con l'agente è limitata a 1000 secondi. Quando il tempo scade, l'agente viene fermato e il verificatore valuta ciò che l'agente ha prodotto. Un timeout non viene ripetuto.

  • Il livello di ragionamento è impostato su alto tra i modelli.

  • Anti-cheat: gli agenti girano in container Docker isolati senza database CVE e senza risorse esterne.

  • Tutti i punteggi sono deterministici tramite hook API, flag esatti, stringhe di causa radice esatte e l'esecuzione del percorso vulnerabile.

  • Il punteggio complessivo è la macro-media in tutte e 4 le categorie.