Che cos'è l'IA oscura?
La Dark AI prevede l'uso dannoso di tecnologie di intelligenza artificiale (AI) per facilitare gli attacchi informatici e le violazioni dei dati. Dark AI include l'armamento accidentale e strategico degli strumenti di intelligenza artificiale.
I vantaggi positivi dell'intelligenza artificiale includono una maggiore automazione, un processo decisionale basato sui dati potenziato, flussi di lavoro semplificati e costi tecnologici e IT ottimizzati. Per comprendere l'IA oscura, immagina queste capacità e vantaggi nelle mani degli avversari.
Sebbene gli attori delle minacce utilizzino l'intelligenza artificiale per una miriade di scopi, l'obiettivo principale in genere comporta la compromissione degli ecosistemi IT aziendali e l'accesso a dati sensibili. Dark AI offre ai criminali informatici modi nuovi e unici per sfruttare l'infrastruttura IT di un'azienda. Utilizzando l'intelligenza artificiale, i criminali informatici possono anche accelerare l'implementazione di minacce informatiche più note come malware, ransomware e attacchi di ingegneria sociale come il phishing.
Secondo Gartner, 8 dirigenti senior del rischio aziendale su 10 hanno affermato che gli attacchi informatici basati sull'intelligenza artificiale sono stati il principale rischio emergente nel 2024.
Il sessantasei percento ha affermato che la disinformazione guidata dall'intelligenza artificiale è stata la minaccia più potente del 2024. Mentre l'IA continua a crescere, svilupparsi e sconvolgere diversi settori, le aziende devono essere consapevoli della minaccia incombente dell'IA oscura.
Get an AI-SPM Sample Assessment
In this Sample Assessment Report, you’ll get a peek behind the curtain to see what an AI Security Assessment should look like.
Perché l'IA oscura è così pericolosa?
Prima di approfondire come e perché l'intelligenza artificiale oscura minaccia le aziende a differenza di qualsiasi altro rischio per la sicurezza, approfondiamo le applicazioni aziendali dell'intelligenza artificiale.
L'intelligenza artificiale svolge un ruolo importante nella sicurezza informatica contemporanea. Molte delle aziende leader di oggi includono strumenti di intelligenza artificiale nel loro stack di sicurezza informatica. Secondo IBM, nel 2023 le aziende con funzionalità di sicurezza informatica basate sull'intelligenza artificiale hanno risolto le violazioni dei dati 108 giorni prima rispetto alle aziende senza. Queste aziende hanno anche risparmiato 1,8 milioni di dollari in costi di violazione dei dati.
Oltre alla sicurezza informatica, le aziende utilizzano anche l'intelligenza artificiale (in particolare Intelligenza artificiale) per varie operazioni cloud mission-critical. Nostro ricerca rivela che il 70% delle imprese utilizza servizi di intelligenza artificiale gestiti basati su cloud, come i servizi di intelligenza artificiale di Azure, Azure OpenAI, Amazon SageMaker, Azure ML Studio, Vertex AI di Google Cloude la piattaforma di intelligenza artificiale GCP. Il 42% degli intervistati ha dichiarato di aver ospitato in una certa misura l'intelligenza artificiale con modelli come BERT, DistilBERT, RoBERTa, T5, Lama e MPNet. Tutti questi modelli, flussi di lavoro e pipeline di intelligenza artificiale sono vulnerabili agli attacchi dell'intelligenza artificiale oscura.
Ecco uno sguardo più da vicino al motivo per cui l'intelligenza artificiale oscura dovrebbe essere la massima priorità di sicurezza informatica di ogni azienda:
Frequenza di attacco migliorata: Gli strumenti di Dark AI possono distribuire codice dannoso e altri tipi di attacchi a velocità mai viste prima, sfidando costantemente le difese di un'azienda.
Volume d'attacco più elevato: Gli strumenti di intelligenza artificiale oscura consentono agli attori delle minacce di inviare codice dannoso in blocco e senza intervento manuale. In passato, questo sarebbe stato troppo dispendioso in termini di tempo e risorse per la maggior parte degli attori delle minacce.
Ingegneria sociale più realistica: L'intelligenza artificiale oscura può aiutare gli avversari ad automatizzare la distribuzione di e-mail e comunicazioni altamente realistiche e credibili che inducono i dipendenti a divulgare dati sensibili e a concedere l'accesso alle reti aziendali.
Maggiore probabilità di iniezioni tempestive: Con l'intelligenza artificiale oscura, gli avversari possono manipolare e corrompere i dati di addestramento di varie applicazioni GenAI mission-critical. Riuscito attacchi di iniezione rapida consegnare il potere e il controllo degli ecosistemi IT aziendali agli avversari.
Migliore capacità di aggirare gli strumenti di sicurezza informatica: Poiché gli strumenti di intelligenza artificiale oscura possono analizzare continuamente i dati, ottimizzare automaticamente e automatizzare gli attacchi, gli avversari possono esercitare costantemente pressioni sulla posizione di sicurezza informatica di un'azienda. Se le aziende non migliorano continuamente le loro fortificazioni, le violazioni dei dati diventano una minaccia ancora più imminente.
Aumento dell'uso di frodi multimediali: Gli attori delle minacce possono utilizzare l'intelligenza artificiale oscura per produrre artefatti multimediali dannosi e realistici. Gli aggressori informatici utilizzano questi artefatti multimediali per causare danni alla reputazione, diffondere notizie false utilizzando deepfake e ingannare i sistemi di sicurezza informatica e autenticazione aziendali tramite la clonazione vocale e la manipolazione biometrica. Esempio di vita reale: Nell'aprile 2024, un hacker ha tentato di ingannare un Ultimo Passaggio impersonando l'amministratore delegato dell'azienda durante una chiamata WhatsApp. Questo è stato fatto utilizzando un deepfake audio generato dall'intelligenza artificiale e questo attacco è solo uno dei tanti esempi in cui gli avversari generano audio (e/o foto) realistici per aggirare i meccanismi di sicurezza e ingannare i dipendenti.
Numero maggiore di criminali informatici: Dark AI supporta i criminali informatici di ogni provenienza, anche quelli senza acume tecnico. Prima dell'ascesa dell'intelligenza artificiale, le aziende dovevano avere a che fare solo con gli attori delle minacce con immense conoscenze tecniche e risorse. Oggi, con l'intelligenza artificiale oscura, chiunque abbia un laptop e intenzioni malevole può causare danni su larga scala.
100 Experts Weigh In on AI Security
Learn what leading teams are doing today to reduce AI threats tomorrow.
Strumenti del mondo reale per gli attacchi dell'intelligenza artificiale oscura
Questa sezione evidenzia cinque strumenti del mondo reale che gli attori delle minacce possono sfruttare per gli attacchi di intelligenza artificiale oscura.
Ricordate che non tutti gli strumenti di intelligenza artificiale oscura sono intrinsecamente dannosi. In molti casi, gli attori delle minacce possono decodificare strumenti legittimi o riutilizzare strumenti per scopi di intelligenza artificiale oscura.
| Tool | Description |
|---|---|
| FraudGPT | FraudGPT is a malicious mirror of ChatGPT that’s available through dark web marketplaces and social media platforms like Telegram. FraudGPT can help adversaries write malicious code, compose phishing messages, design hacking tools, create undetectable malware, and identify the most viewed or used websites and services. |
| AutoGPT | AutoGPT is an open-source tool that hackers use for malicious purposes. While not inherently destructive, AutoGPT allows threat actors to establish malicious end goals and train models to self-learn to achieve those goals. With tools like AutoGPT, threat actors can attempt thousands of potentially destructive prompts that involve breaching an enterprise’s defenses, accessing sensitive data, or poisoning GenAI tools and training data. |
| WormGPT | Another nefarious cousin of ChatGPT, WormGPT has none of the guardrails and security measures that its GPT-3-based architecture originally featured. Hackers trained WormGPT with a vast amount of cyberattack- and hacker-related training data, making it a powerful weapon against unsuspecting enterprises. |
| PoisonGPT | PoisonGPT is a unique dark AI tool because threat actors didn’t create it. Instead, PoisonGPT was an educational initiative conducted by researchers to reveal the vulnerabilities of large language models (LLMs) and the potential repercussions of poisoned LLMs and a compromised AI supply chain. By poisoning the training data of LLMs leveraged by enterprises, governments, and other institutions with PoisonGPT-esque tools and techniques, threat actors can cause unimaginable damage. |
| FreedomGPT | FreedomGPT is an open-source tool that anyone can download and use offline. Because it doesn’t feature any of the guardrails or filters that its more mainstream cousins have, FreedomGPT is unique. Without these filters, threat actors can weaponize FreedomGPT with malicious training data. This makes it easy for threat actors to spread or inject misinformation, biases, dangerous prompts, or explicit content into an enterprise’s IT environment. |
Best practice per mitigare le minacce dell'intelligenza artificiale oscura
Anche se le minacce oscure dell'IA incombono, ci sono misure che puoi adottare per mitigare le minacce informatiche e proteggere i tuoi ecosistemi di IA.
Sfrutta gli strumenti MLSecOps
MLSecOps, noto anche come AISecOps, è un campo della sicurezza informatica che prevede la protezione delle pipeline di intelligenza artificiale e machine learning. Sebbene una piattaforma di sicurezza cloud unificata sia la soluzione ideale per combattere l'intelligenza artificiale oscura e altre minacce informatiche, le aziende dovrebbero anche esplorare l'aumento del proprio stack di sicurezza con Strumenti MLSecOps come NB Defense, Adversarial Robustness Toolbox, Garak, Privacy Meter e Audit AI.
Assicurati che la tua soluzione DSPM includa la sicurezza AI
Per le aziende che sfruttano Gestione della postura di sicurezza dei dati (DSPM), è fondamentale garantire che la soluzione includa i dati di addestramento dell'intelligenza artificiale. La protezione dei dati di addestramento dell'intelligenza artificiale da strumenti di intelligenza artificiale oscuri mantiene gli ecosistemi di intelligenza artificiale come ChatGPT sicuro, non corrotto ed efficiente. Le aziende che non dispongono di una soluzione DSPM devono scegliere una soluzione in grado di proteggere i loro Dati di addestramento dell'intelligenza artificiale.
AI-SPM for Dummies [Guide]
This guide will give you actionable insights on how to protect your organization from AI-specific threats and empower your team to implement security measures that go beyond traditional approaches.
Get the Guide
Offri agli sviluppatori strumenti di sicurezza AI self-service
Per proteggere, sorvegliare e gestire le pipeline DevOps basate sull'intelligenza artificiale, fornisci agli sviluppatori potenti strumenti e funzionalità di sicurezza. Con una dashboard di sicurezza AI o un analizzatore del percorso di attacco per visualizzare, mantenere e ottimizzare le pipeline AI, le aziende non devono fare affidamento su un modello di sicurezza centralizzato.
Ottimizza le architetture tenant per i servizi GenAI
Per i loro servizi che incorporano GenAI, le aziende dovrebbero scegliere attentamente e configurare in modo complesso i modelli di architettura degli inquilini. Ad esempio, un'architettura condivisa a più tenant è ideale per i modelli di base o per i modelli ottimizzati in base specificata. Un'architettura tenant dedicata funziona meglio per i modelli ottimizzati dall'utente. Per i componenti di intelligenza artificiale come gli indici, le cronologie di richiesta e di risposta e gli endpoint API, le aziende dovrebbero valutare le complessità del loro caso d'uso prima di decidere l'architettura del tenant.
Fai luce sull'IA delle ombre
IA ombra si riferisce a qualsiasi strumento di intelligenza artificiale all'interno dell'ambiente IT di un'azienda di cui il team IT o di sicurezza non è a conoscenza. Gli strumenti di intelligenza artificiale nascosti possono essere un vettore di attacco per gli attori delle minacce. Dal punto di vista di un avversario, è più facile utilizzare strumenti di intelligenza artificiale oscura per sfruttare l'infrastruttura di intelligenza artificiale nascosta perché non devono aggirare alcun controllo di sicurezza. Ecco perché è fondamentale concentrarsi sull'identificazione e sulla gestione dell'IA ombra.
State of AI in the Cloud [2025]
Did you know that over 70% of organizations are using managed AI services in their cloud environments? That rivals the popularity of managed Kubernetes services, which we see in over 80% of organizations! See what else our research team uncovered about AI in their analysis of 150,000 cloud accounts.
Testa le applicazioni di intelligenza artificiale in ambienti sandbox
Per assicurarti che gli attori delle minacce non infettino le applicazioni basate sull'intelligenza artificiale con codice dannoso, testa meticolosamente tali applicazioni in ambienti sandbox. Con i test, le aziende possono ottenere una comprensione più accurata delle vulnerabilità, dei punti deboli e delle lacune della sicurezza che gli attori delle minacce potrebbero sfruttare.
Combatti l'intelligenza artificiale oscura con una soluzione di sicurezza cloud unificata
Ci sono innumerevoli strumenti di sicurezza tra cui scegliere per proteggersi dall'intelligenza artificiale oscura. Tuttavia, il modo più completo ed efficiente in cui le aziende possono proteggere le pipeline di intelligenza artificiale dalle minacce oscure dell'intelligenza artificiale è commissionare una soluzione di sicurezza cloud unificata: una piattaforma unificata consente di visualizzare la sicurezza dell'intelligenza artificiale e Gestione del rischio dell'IA da una prospettiva di sicurezza informatica più ampia e unifica le tue fortificazioni di sicurezza informatica.
In che modo Wiz può proteggerti dall'intelligenza artificiale oscura
Wiz AI-SPM (AI Security Posture Management) è una soluzione di sicurezza completa progettata per aiutare le organizzazioni a gestire e proteggere i propri ambienti di intelligenza artificiale. Fornisce una visibilità completa sulle pipeline di intelligenza artificiale, identifica le configurazioni errate e protegge da vari rischi legati all'intelligenza artificiale.
Wiz AI-SPM può aiutare a mitigare la minaccia dell'IA oscura in diversi modi chiave:
Visibilità dell'intero stack: AI-SPM fornisce una visibilità completa sulle pipeline di intelligenza artificiale attraverso il suo AI-BOM (distinta base) Funzionalità. Ciò consente ai team di sicurezza di:
Identifica tutti i servizi, le tecnologie, le librerie e gli SDK di intelligenza artificiale nell'ambiente senza utilizzare agenti.
Rileva immediatamente i nuovi servizi di intelligenza artificiale introdotti nell'ambiente.
Contrassegna diverse tecnologie come approvate, indesiderate o non recensite.
Questa visibilità è fondamentale per scoprire l'IA ombra e i sistemi di IA potenzialmente dannosi che potrebbero operare senza autorizzazione.
Rilevamento di configurazioni errate: Wiz AI-SPM aiuta a rafforzare le linee di base della sicurezza dell'IA identificando le configurazioni errate nei servizi di IA. Fornisce regole di configurazione integrate per valutare i servizi di intelligenza artificiale per problemi di sicurezza, ad esempio:
Notebook SageMaker con autorizzazioni eccessive
Notebook Vertex AI Workbench con indirizzi IP pubblici
Rilevando queste configurazioni errate, le organizzazioni possono ridurre le vulnerabilità che potrebbero essere sfruttate dall'intelligenza artificiale oscura.
Analisi del percorso di attacco: Wiz estende l'analisi del percorso di attacco all'intelligenza artificiale, valutando i rischi relativi a vulnerabilità, identità, esposizioni a Internet, dati, configurazioni errate e segreti. Ciò consente alle organizzazioni di:
Rimuovi in modo proattivo i percorsi di attacco critici dell'intelligenza artificiale
Comprendi il contesto completo dei rischi nel cloud e nei carichi di lavoro
Assegna priorità e affronta i problemi di sicurezza dell'IA più critici
Sicurezza dei dati: Wiz AI-SPM estende le funzionalità di Data Security Posture Management (DSPM) all'intelligenza artificiale. Questo aiuta:
Rileva automaticamente i dati di addestramento sensibili.
Garantisci la sicurezza dei dati di addestramento dell'IA con i controlli AI DSPM pronti all'uso
Identificare e rimuovere i percorsi di attacco che potrebbero portare a Perdita di dati o avvelenamento
Dashboard di sicurezza AI: Wiz offre una dashboard di sicurezza AI che fornisce una coda prioritaria di problemi di sicurezza AI. Questo aiuta gli sviluppatori di intelligenza artificiale e i data scientist a comprendere rapidamente la loro posizione di sicurezza dell'intelligenza artificiale e a concentrarsi sui rischi più critici.
Implementando queste funzionalità, Wiz AI-SPM aiuta le organizzazioni a mantenere una solida posizione di sicurezza per i loro sistemi di intelligenza artificiale, rendendo molto più difficile per l'intelligenza artificiale oscura operare inosservata all'interno dell'ambiente. La visibilità completa, il monitoraggio continuo e le funzionalità di mitigazione proattiva dei rischi lavorano insieme per ridurre la superficie di attacco e minimizzare il potenziale di attività di intelligenza artificiale non autorizzate o dannose.
Orange crea molti servizi di intelligenza artificiale generativa utilizzando OpenAI. Il supporto di Wiz per il servizio Azure OpenAI offre una visibilità significativamente migliorata nelle pipeline di intelligenza artificiale e consente di identificare e mitigare in modo proattivo i rischi per i team di sviluppo di intelligenza artificiale.
Accelerate AI Innovation, Securely
Learn why CISOs at the fastest growing companies choose Wiz to secure their organization's AI infrastructure.
