Cos'è la sicurezza dell'intelligenza artificiale?
La sicurezza dell'IA è una componente chiave della sicurezza informatica aziendale che si concentra sulla difesa dell'infrastruttura di IA dagli attacchi informatici. Concentrarsi sulla sicurezza dell'IA è fondamentale perché numerose tecnologie di IA sono intrecciate nel tessuto delle organizzazioni. L'IA è il motore dietro i moderni processi di sviluppo, l'automazione del carico di lavoro e l'analisi dei big data . Sta anche diventando sempre più una componente integrante di molti prodotti e servizi. Ad esempio, un'app bancaria fornisce servizi finanziari, ma le tecnologie basate sull'IA come chatbot e assistenti virtuali all'interno di queste app forniscono un fattore X.
Si prevede che il mercato globale delle infrastrutture AI raggiungerà oltre 96 miliardi di $ entro il 2027. Secondo McKinsey , c'è stato un aumento del 250% nell'adozione dell'AI dal 2017 al 2022 e i casi d'uso più importanti includevano l'ottimizzazione delle operazioni di servizio, la creazione di nuovi prodotti basati sull'AI, l'analisi del servizio clienti e la segmentazione dei clienti. Sfortunatamente, ognuno di questi casi d'uso dell'AI è suscettibile di attacchi informatici e altre vulnerabilità.
Questa è solo la punta dell'iceberg. Gli ingegneri dei dati e altri team agili sfruttano le soluzioni GenAI come i modelli di linguaggio di grandi dimensioni (LLM) per sviluppare applicazioni in modo rapido e su larga scala. Molti provider di servizi cloud (CSP) offrono servizi di intelligenza artificiale per supportare questo sviluppo. Potresti aver sentito parlare o utilizzato servizi di intelligenza artificiale come Azure Cognitive Services, Amazon Bedrock e Vertex AI di GCP. Mentre tali servizi e tecnologie consentono ai team di sviluppare e distribuire applicazioni di intelligenza artificiale più rapidamente, queste pipeline introducono numerosi rischi. La conclusione è che l'intelligenza artificiale non è così sicura come molti credono e richiede solide fortificazioni.
GenAI: le migliori pratiche [Promemoria]
Scopri le 7 strategie essenziali per proteggere le tue applicazioni di intelligenza artificiale generativa con il nostro completo Cheat Sheet sulle best practice di sicurezza GenAI.
Scarica il foglio riepilogativo
Quanto è (in)sicura l'intelligenza artificiale?
La narrazione che circonda l'IA si concentra spesso sull'etica e sulla possibilità che l'IA sostituisca la forza lavoro umana. Tuttavia, Forrester sostiene che gli 11 milioni di posti di lavoro negli Stati Uniti che saranno sostituiti dall'IA entro il 2032 saranno bilanciati da altre nuove opportunità di lavoro. La complessità relativamente trascurata è al crocevia tra IA e sicurezza informatica. Gli attori delle minacce sfruttano l'IA per distribuire malware e infettare codice e set di dati. Le vulnerabilità dell'IA sono un vettore comune per le violazioni dei dati e i cicli di vita dello sviluppo software (SDLC) che incorporano l'IA sono sempre più suscettibili alle vulnerabilità.
GenAI, in particolare, presenta molti rischi. Il potenziale pericoloso di GenAI è visibile in strumenti come WormGPT , che è simile a ChatGPT ma si concentra sulla conduzione di attività criminali. Fortunatamente, l'applicazione dell'IA nella sicurezza informatica viene utilizzata per scongiurare tali minacce con la sicurezza di ChatGPT in evoluzione. Il mercato dell'IA nella sicurezza informatica raggiungerà i 60,6 miliardi di dollari entro il 2028, dimostrando che i team di sicurezza umani faranno fatica a identificare e porre rimedio ad attacchi informatici su larga scala facilitati dall'IA senza utilizzare l'IA stessa.
L'intelligenza artificiale per la sicurezza informatica continuerà a svolgere un ruolo importante nella lotta alle minacce alla sicurezza basate sull'intelligenza artificiale. È importante perché gli attori della minaccia utilizzeranno i prompt LLM come vettore per manipolare i modelli GenAI per rivelare informazioni sensibili. È probabile che i CSP abbraccino presto la rivoluzione dell'intelligenza artificiale, il che significa che importanti decisioni relative all'infrastruttura e allo sviluppo saranno facilitate dai chatbot AI. L' uso dei chatbot come armi (come WormGPT o FraudGPT) suggerisce che le aziende dovranno fare i conti con molte sfide imprevedibili relative alla sicurezza informatica legate all'intelligenza artificiale.
È importante ricordare che l'IA può essere protetta. Tuttavia, non è intrinsecamente sicura.
Gartner® Emerging Tech: i 4 principali rischi per la sicurezza della GenAI
In questo rapporto, Gartner offre spunti e raccomandazioni ai responsabili della sicurezza e dei prodotti per ottenere un vantaggio competitivo affrontando le principali opportunità di trasformazione presentate da questi rischi.
Scarica il rapporto
Rischi per la sicurezza dell'intelligenza artificiale
Il modo migliore per affrontare la sicurezza dell'IA è comprendere a fondo i rischi. Diamo un'occhiata ai maggiori rischi per la sicurezza dell'IA .
Superficie di attacco aumentata
L'integrazione dell'IA, come GenAI, negli SDLC cambia radicalmente l'infrastruttura IT di un'azienda e introduce molti rischi sconosciuti. Si tratta essenzialmente di un ampliamento della superficie di attacco. La sfida di sicurezza globale dell'IA è garantire che tutta l'infrastruttura di IA sia sotto la supervisione dei team di sicurezza. Una visibilità completa dell'infrastruttura di IA può aiutare a porre rimedio alle vulnerabilità, ridurre i rischi e limitare la superficie di attacco.
Stato dell'intelligenza artificiale nel cloud 2024
Sapevi che oltre il 70% delle organizzazioni utilizza servizi di intelligenza artificiale gestiti nei propri ambienti cloud? Ciò rivaleggia con la popolarità dei servizi Kubernetes gestiti, che vediamo in oltre l'80% delle organizzazioni! Scopri cos'altro ha scoperto il nostro team di ricerca sull'intelligenza artificiale nella sua analisi di 150.000 account cloud.
Scarica PDF
Maggiore probabilità di violazioni e perdite di dati
I rischi di una superficie di attacco più ampia includono tempi di inattività, interruzioni, perdite di profitti, danni alla reputazione e altre importanti conseguenze a lungo termine. Secondo The Independent , 43 milioni di record sensibili sono stati compromessi solo nell'agosto 2023. Una sicurezza AI non ottimale può compromettere i tuoi gioielli di famiglia e aggiungerti alle liste delle vittime di violazioni dei dati.
Furto di credenziali di chatbot
Le credenziali rubate di ChatGPT e di altri chatbot sono la nuova merce calda nei mercati illegali sul dark web. Oltre 100.000 account ChatGPT sono stati compromessi tra il 2022 e il 2023, evidenziando un pericoloso rischio per la sicurezza dell'IA che probabilmente aumenterà.
Pipeline di sviluppo vulnerabili
Le pipeline AI tendono ad ampliare lo spettro di vulnerabilità. Ad esempio, il regno della scienza dei dati, che comprende l'ingegneria dei dati e dei modelli, spesso opera oltre i confini tradizionali dello sviluppo delle applicazioni, portando a nuovi rischi per la sicurezza.
Il processo di raccolta, elaborazione e archiviazione dei dati è fondamentale nel dominio dell'ingegneria dell'apprendimento automatico. L'integrazione con le attività di ingegneria dei modelli richiede protocolli di sicurezza robusti per proteggere i dati da violazioni, furto di proprietà intellettuale, attacchi alla supply chain e manipolazione o avvelenamento dei dati. Garantire l'integrità dei dati è fondamentale per ridurre le discrepanze dei dati sia deliberate che accidentali.
Avvelenamento dei dati
Il data poisoning è la manipolazione dei modelli GenAI. Comporta l'immissione di set di dati dannosi per influenzare i risultati e creare pregiudizi. Il Trojan Puzzle , un attacco progettato dai ricercatori, è un esempio di come gli attori della minaccia potrebbero essere in grado di influenzare e infettare i set di dati da cui un modello GenAI impara a coreografare payload dannosi.
Iniezioni dirette immediate
Le direct prompt injection sono un tipo di attacco in cui gli attori della minaccia progettano deliberatamente prompt LLM con l'intento di compromettere o esfiltrare dati sensibili. Esistono numerosi rischi associati alle direct prompt injection, tra cui l'esecuzione di codice dannoso e l'esposizione di dati sensibili.
Cybersecurity nell'era dell'intelligenza artificiale: tavola rotonda
Guarda Anna McAbee, Senior Solutions Architect, Security presso AWS, Rami McCarthy, Security Engineer presso Figma, e Alon Schindel, Director of Data & Threat Research presso Wiz, mentre valutano le implicazioni dell'intelligenza artificiale sulla sicurezza e discutono il modo migliore per utilizzare questa nuova potente tecnologia.
Guarda ora
Iniezioni rapide indirette
Un'iniezione di prompt indiretta si verifica quando un threat actor guida un modello GenAI verso una fonte di dati non attendibile per influenzare e manipolare le sue azioni. Questa fonte esterna non attendibile può essere progettata su misura dagli threat actor per indurre deliberatamente determinate azioni e influenzare i payload. Le ripercussioni delle iniezioni di prompt indirette includono l'esecuzione di codice dannoso, perdite di dati e fornitura di informazioni errate e dannose agli utenti finali.
Abuso di allucinazioni
L'intelligenza artificiale è sempre stata incline ad allucinare determinate informazioni e gli innovatori di tutto il mondo stanno lavorando per ridurre l'entità delle allucinazioni. Ma finché non lo faranno, le allucinazioni dell'intelligenza artificiale continueranno a rappresentare rischi significativi per la sicurezza informatica. Gli attori delle minacce stanno iniziando a registrare e "legittimare" potenziali allucinazioni dell'intelligenza artificiale in modo che gli utenti finali ricevano informazioni influenzate da set di dati dannosi e illegittimi.
Quadri e standard di sicurezza dell'intelligenza artificiale
Ora che conosci i maggiori rischi per la sicurezza dell'IA, diamo un'occhiata a come le aziende possono mitigarli. I framework di sicurezza informatica sono da tempo uno strumento potente per le aziende per proteggersi dalle crescenti minacce e questi framework di sicurezza dell'IA forniscono un set coerente di standard e best practice per porre rimedio alle minacce e alle vulnerabilità della sicurezza:
Il framework di gestione dei rischi dell'intelligenza artificiale del NIST suddivide la sicurezza dell'intelligenza artificiale in quattro funzioni principali: governare, mappare, misurare e gestire.
Il Sensible Regulatory Framework for AI Security e l'ATLAS Matrix di Mitre analizzano le tattiche di attacco e propongono alcune normative sull'intelligenza artificiale.
La Top 10 per gli LLM di OWASP identifica e propone standard per proteggere le vulnerabilità più critiche associate agli LLM, come le iniezioni rapide, le vulnerabilità della supply chain e il furto di modelli.
Il Secure AI Framework di Google offre un processo in sei fasi per mitigare le sfide associate ai sistemi di intelligenza artificiale. Tra queste rientrano le fortificazioni automatizzate della sicurezza informatica e la gestione basata sul rischio dell'intelligenza artificiale .
Il nostro framework PEACH enfatizza l'isolamento dei tenant tramite rafforzamento dei privilegi, rafforzamento della crittografia, rafforzamento dell'autenticazione, rafforzamento della connettività e igiene (PEACH). L'isolamento dei tenant è un principio di progettazione che suddivide i tuoi ambienti cloud in segmenti granulari con confini rigorosi e severi controlli di accesso.
Intelligenza artificiale e sicurezza informatica: lo stato attuale dell'arte e dove siamo diretti
Clint Gibler ha trascorso centinaia di ore a seguire il modo in cui l'intelligenza artificiale viene applicata alla sicurezza informatica e ora Clint intende sintetizzare i migliori articoli, documenti e interventi sulla sicurezza cloud, sicurezza web, AppSec, sicurezza offensiva e altro ancora in un unico intervento, in modo che tu possa comprendere rapidamente la situazione.
Guarda oraAlcune semplici raccomandazioni e best practice sulla sicurezza dell'intelligenza artificiale
La chiave per proteggere la tua infrastruttura AI è definire e seguire una serie di best practice . Ecco 10 delle nostre per iniziare:
1. Scegliere un framework di isolamento del tenant
Il framework di isolamento tenant PEACH è stato progettato per le applicazioni cloud, ma gli stessi principi si applicano alla sicurezza AI. L'isolamento tenant è un modo potente per combattere le complessità dell'integrazione GenAI.
How to leverage generative AI in cloud apps without putting user data at risk
Leggi di più
2. Personalizza la tua architettura GenAI
La tua architettura GenAI deve essere personalizzata attentamente per garantire che tutti i componenti abbiano limiti di sicurezza ottimizzati. Alcuni componenti potrebbero aver bisogno di limiti di sicurezza condivisi, altri potrebbero aver bisogno di limiti dedicati e per alcuni potrebbe dipendere da vari contesti.
3. Valutare i contorni e le complessità di GenAI
È fondamentale mappare le implicazioni dell'integrazione di GenAI nei prodotti, servizi e processi della tua organizzazione. Alcune considerazioni importanti sono che le risposte dei tuoi modelli di IA agli utenti finali siano private, accurate e costruite con set di dati legittimi.
4. Non trascurare le vulnerabilità tradizionali indipendenti dal cloud
Ricorda che GenAI non è diversa dalle altre applicazioni multi-tenant. Può comunque soffrire di sfide tradizionali come vulnerabilità API e perdite di dati. Assicurati che la tua organizzazione non trascuri le vulnerabilità cloud sovrastanti nel suo tentativo di mitigare le sfide specifiche dell'IA.
5. Garantire un sandboxing efficace ed efficiente
Il sandboxing consiste nel prendere applicazioni che incorporano GenAI in ambienti di test isolati e metterle sotto esame, ed è una pratica potente per mitigare le vulnerabilità dell'IA. Assicurati che i tuoi ambienti sandboxing siano configurati in modo ottimale, però. Ambienti sandbox non ottimali e processi creati in fretta possono esacerbare le vulnerabilità della sicurezza dell'IA.
6. Condurre revisioni di isolamento
Una revisione dell'isolamento del tenant fornisce una topologia completa delle interfacce rivolte al cliente e dei limiti di sicurezza interna. Ciò può aiutare a identificare le vulnerabilità di sicurezza dell'IA e a ottimizzare ulteriormente l'isolamento del tenant per prevenire incidenti di sicurezza informatica.
7. Dare priorità alla sanificazione degli input
Stabilisci alcune limitazioni all'input utente nei sistemi GenAI per mitigare le vulnerabilità di sicurezza dell'IA. Queste limitazioni non devono essere ultra-complicate. Ad esempio, puoi sostituire le caselle di testo con menu a discesa con opzioni di input limitate. La sfida più grande con la sanificazione dell'input sarà trovare un equilibrio tra una sicurezza solida e un'esperienza utente finale fluida.
8. Ottimizzare la gestione rapida
La gestione rapida è fondamentale nelle applicazioni che incorporano GenAI. Le aziende devono monitorare e registrare i prompt degli utenti finali e segnalare in rosso tutti i prompt che sembrano sospetti. Ad esempio, se un prompt mostra segni di esecuzione di codice dannoso, dovrebbe essere segnalato in rosso e affrontato.
9. Comprendere le implicazioni sulla sicurezza del feedback dei clienti
Questa potrebbe essere vista come una sfida alla sicurezza dell'IA relativamente a basso rischio, ma la tua postura e le tue pratiche di sicurezza dell'IA non dovrebbero avere crepe. Il fatto è che una casella di testo di feedback può consentire agli attori della minaccia di introdurre contenuti dannosi in un'applicazione che incorpora GenAI. Una semplice best practice è quella di sostituire le opzioni di feedback a testo libero con campi a discesa.
10. Collaborare con esperti di sicurezza AI affidabili
L'intelligenza artificiale sarà centrale nel prossimo capitolo dei progressi tecnologici. Ecco perché la sicurezza dell'intelligenza artificiale è fondamentale e non può essere considerata un ripensamento. Lavorare con esperti di sicurezza cloud affidabili e altamente qualificati è il modo migliore per rafforzare la tua postura di intelligenza artificiale e sicurezza informatica.
Proteggere l'intelligenza artificiale con Wiz
Wiz è il primo CNAPP a offrire funzionalità di sicurezza AI native completamente integrate nella piattaforma. Wiz for AI Security introduce le seguenti nuove funzionalità:
AI Security Posture Management (AI-SPM) : fornisce ai team di sicurezza e agli sviluppatori di intelligenza artificiale visibilità sui loro pipeline di intelligenza artificiale identificando ogni risorsa e tecnologia nel pipeline di intelligenza artificiale, senza alcun agente
Estensione di DSPM all'intelligenza artificiale: rileva automaticamente i dati di formazione sensibili e ti aiuta a garantirne la sicurezza, con nuovi controlli DSPM AI pronti all'uso
Estensione dell'analisi del percorso di attacco all'intelligenza artificiale : contesto completo del cloud e del carico di lavoro attorno alla pipeline di intelligenza artificiale che aiuta le organizzazioni a rimuovere in modo proattivo i percorsi di attacco nell'ambiente
Dashboard di sicurezza AI: fornisce una panoramica dei principali problemi di sicurezza AI con una coda di rischi in ordine di priorità, in modo che gli sviluppatori possano concentrarsi rapidamente su quello più critico
Wiz offre anche supporto per la sicurezza AI per gli utenti di Amazon SageMaker e Vertex AI che può aiutare a monitorare e mitigare i rischi per la sicurezza associati alla gestione dei modelli AI/ML. Le funzionalità personalizzate di Wiz per le integrazioni di Vertex AI e Amazon SageMaker includono ambienti sandbox robusti, visibilità completa sulle applicazioni cloud, la salvaguardia delle pipeline AI e l'implementazione agile dei modelli ML in produzione. Ottieni una demo per scoprire come puoi sfruttare tutte le capacità dell'AI senza preoccuparti della sicurezza.
Wiz è anche orgoglioso di essere un membro fondatore della Coalition for Secure AI . Unendo le forze con altri pionieri del settore, Wiz si impegna a promuovere la missione della coalizione di sviluppo di un'IA sicura ed etica. Come membro fondatore, Wiz svolge un ruolo cruciale nel dare forma alla direzione strategica della coalizione, contribuendo allo sviluppo delle politiche e promuovendo soluzioni innovative che migliorano la sicurezza e l'integrità delle tecnologie di IA.
Sviluppare applicazioni AI in modo sicuro
Scopri perché i CISO delle organizzazioni in più rapida crescita scelgono Wiz per proteggere l'infrastruttura di intelligenza artificiale della loro organizzazione. Ottieni una demo
