Qu’est-ce que la sécurité de l’IA ?
La sécurité de l’IA est un élément clé de la cybersécurité des entreprises, qui vise à défendre l’infrastructure de l’IA contre les cyberattaques. Il est essentiel de se concentrer sur la sécurité de l’IA, car de nombreuses technologies d’IA sont intégrées à la structure des organisations. L’IA est le moteur des processus de développement modernes, de l’automatisation des charges de travail et de l’analyse des big data . Elle devient également de plus en plus un élément essentiel de nombreux produits et services. Par exemple, une application bancaire fournit des services financiers, mais les technologies basées sur l’IA, comme les chatbots et les assistants virtuels au sein de ces applications, fournissent un facteur X.
Le marché mondial des infrastructures d’IA devrait atteindre plus de 96 milliards de dollars d’ici 2027. Selon McKinsey , l’adoption de l’IA a augmenté de 250 % entre 2017 et 2022, et les cas d’utilisation les plus importants comprenaient l’optimisation des opérations de service, la création de nouveaux produits basés sur l’IA, l’analyse du service client et la segmentation de la clientèle. Malheureusement, chacun de ces cas d’utilisation de l’IA est exposé aux cyberattaques et à d’autres vulnérabilités.
Ce n’est là qu’une partie émergée de l’iceberg. Les ingénieurs de données et autres équipes agiles exploitent les solutions GenAI telles que les grands modèles de langage (LLM) pour développer des applications rapidement et à grande échelle. De nombreux fournisseurs de services cloud (CSP) proposent des services d’IA pour soutenir ce développement. Vous avez peut-être entendu parler ou utilisé des services d’IA comme Azure Cognitive Services, Amazon Bedrock et Vertex AI de GCP. Bien que ces services et technologies permettent aux équipes de développer et de déployer des applications d’IA plus rapidement, ces pipelines présentent de nombreux risques. En fin de compte, l’IA n’est pas aussi sûre que beaucoup le pensent et elle nécessite des renforcements robustes.
Bonnes pratiques GenAI [Aide-mémoire]
Découvrez les 7 stratégies essentielles pour sécuriser vos applications d'IA générative avec notre aide-mémoire complet sur les meilleures pratiques de sécurité GenAI.
Télécharger la feuille de triche
Dans quelle mesure l’intelligence artificielle est-elle (ou non) sécurisée ?
Le discours sur l’IA se concentre souvent sur l’éthique et la possibilité que l’IA remplace la main-d’œuvre humaine. Pourtant, Forrester affirme que les 11 millions d’emplois qui seront remplacés par l’IA aux États-Unis d’ici 2032 seront compensés par d’autres nouvelles opportunités de travail. Cette complexité relativement négligée se situe à la croisée des chemins entre l’IA et la cybersécurité. Les acteurs malveillants exploitent l’IA pour diffuser des logiciels malveillants et infecter des codes et des ensembles de données. Les vulnérabilités de l’IA sont un vecteur courant de violations de données, et les cycles de vie de développement logiciel (SDLC) qui intègrent l’IA sont de plus en plus exposés aux vulnérabilités.
GenAI, en particulier, présente de nombreux risques. Le potentiel dangereux de GenAI est visible dans des outils comme WormGPT , qui est similaire à ChatGPT mais qui se concentre sur la conduite d’activités criminelles. Heureusement, l’application de l’IA dans la cybersécurité est utilisée pour repousser de telles menaces grâce à l’évolution de la sécurité de ChatGPT . Le marché de l’IA dans la cybersécurité atteindra 60,6 milliards de dollars d’ici 2028, ce qui prouve que les équipes de sécurité humaines auront du mal à identifier et à remédier aux cyberattaques à grande échelle facilitées par l’IA sans utiliser elles-mêmes l’IA.
L’IA en cybersécurité continuera de jouer un rôle important dans la lutte contre les menaces de sécurité alimentées par l’IA. C’est important car les acteurs malveillants utiliseront les invites LLM comme vecteur pour manipuler les modèles GenAI afin de révéler des informations sensibles. Les CSP sont susceptibles d’adopter pleinement la révolution de l’IA bientôt, ce qui signifie que les décisions importantes liées à l’infrastructure et au développement seront facilitées par les chatbots IA. L’ utilisation de chatbots comme armes (comme WormGPT ou FraudGPT) suggère que les entreprises devront faire face à de nombreux défis imprévisibles en matière de cybersécurité liés à l’IA.
Il est important de se rappeler que l'IA peut être sécurisée. Cependant, elle n'est pas intrinsèquement sécurisée.
Gartner® Emerging Tech : les 4 principaux risques de sécurité de GenAI
Dans ce rapport, Gartner propose des informations et des recommandations aux responsables de la sécurité et des produits pour obtenir un avantage concurrentiel en abordant les principales opportunités de transformation présentées par ces risques.
Télécharger le rapport
Risques de sécurité liés à l'IA
La meilleure façon de s'attaquer à la sécurité de l'IA est de bien comprendre les risques. Examinons les plus grands risques de sécurité de l'IA .
Surface d'attaque augmentée
L'intégration de l'IA, comme GenAI, dans les SDLC modifie fondamentalement l'infrastructure informatique d'une entreprise et introduit de nombreux risques inconnus. Il s'agit essentiellement d'un élargissement de la surface d'attaque. Le défi de sécurité primordial de l'IA est de garantir que toute l'infrastructure d'IA soit sous la responsabilité des équipes de sécurité. Une visibilité complète de l'infrastructure d'IA peut aider à remédier aux vulnérabilités, à réduire les risques et à limiter votre surface d'attaque.
État de l'IA dans le Cloud 2024
Saviez-vous que plus de 70 % des organisations utilisent des services d'IA gérés dans leurs environnements cloud ? Cela rivalise avec la popularité des services Kubernetes gérés, que nous observons dans plus de 80 % des organisations ! Découvrez ce que notre équipe de recherche a découvert d'autre sur l'IA dans son analyse de 150 000 comptes cloud.
Télécharger le PDF
Risque accru de violations et de fuites de données
Les risques d’une surface d’attaque plus large comprennent les temps d’arrêt, les perturbations, les pertes de bénéfices, les atteintes à la réputation et d’autres conséquences majeures à long terme. Selon The Independent , 43 millions de dossiers sensibles ont été compromis rien qu’en août 2023. Une sécurité de l’IA sous-optimale peut compromettre vos joyaux de la couronne et vous ajouter à la liste des victimes de violations de données.
Vol d'identifiants de chatbot
Les identifiants ChatGPT et autres chatbots volés sont la nouvelle marchandise à la mode sur les marchés illégaux du dark web. Plus de 100 000 comptes ChatGPT ont été compromis entre 2022 et 2023, mettant en évidence un risque de sécurité dangereux pour l'IA qui est susceptible d'augmenter.
Pipelines de développement vulnérables
Les pipelines d’IA ont tendance à élargir le spectre des vulnérabilités. Par exemple, le domaine de la science des données, qui englobe l’ingénierie des données et des modèles, opère souvent au-delà des limites traditionnelles du développement d’applications, ce qui entraîne de nouveaux risques de sécurité.
Le processus de collecte, de traitement et de stockage des données est fondamental dans le domaine de l'ingénierie de l'apprentissage automatique. L'intégration avec les tâches d'ingénierie des modèles exige des protocoles de sécurité robustes pour protéger les données contre les violations, le vol de propriété intellectuelle, les attaques de la chaîne d'approvisionnement et la manipulation ou l'empoisonnement des données. Garantir l'intégrité des données est essentiel pour réduire les écarts de données délibérés et accidentels.
Empoisonnement des données
L'empoisonnement des données est la manipulation des modèles GenAI. Il s'agit d'introduire des ensembles de données malveillants pour influencer les résultats et créer des biais. Le Trojan Puzzle , une attaque conçue par des chercheurs, est un exemple de la manière dont les acteurs malveillants pourraient être en mesure d'influencer et d'infecter des ensembles de données à partir desquels un modèle GenAI apprend pour orchestrer des charges utiles malveillantes.
Injections rapides directes
Les injections directes d'invites sont un type d'attaque dans lequel les acteurs malveillants conçoivent délibérément des invites LLM dans le but de compromettre ou d'exfiltrer des données sensibles. De nombreux risques sont associés à l'injection directe d'invites, notamment l'exécution de code malveillant et l'exposition de données sensibles.
La cybersécurité à l'ère de l'IA : table ronde
Regardez Anna McAbee, architecte de solutions senior, sécurité chez AWS, Rami McCarthy, ingénieur en sécurité chez Figma, et Alon Schindel, directeur de la recherche sur les données et les menaces chez Wiz, alors qu'ils évaluent les implications de l'IA sur la sécurité et discutent de la meilleure façon d'utiliser cette nouvelle technologie puissante.
Regarder maintenant
Injections indirectes rapides
Une injection indirecte se produit lorsqu'un acteur malveillant dirige un modèle GenAI vers une source de données non fiable pour influencer et manipuler ses actions. Cette source externe non fiable peut être conçue sur mesure par des acteurs malveillants pour induire délibérément certaines actions et influencer les charges utiles. Les répercussions des injections indirectes comprennent l'exécution de code malveillant, les fuites de données et la fourniture aux utilisateurs finaux d'informations erronées et malveillantes.
Abus d'hallucinations
L'IA a toujours eu tendance à halluciner certaines informations, et les innovateurs du monde entier s'efforcent de réduire l'ampleur de ces hallucinations. Mais tant qu'elles n'y parviennent pas, les hallucinations de l'IA continuent de poser des risques importants en matière de cybersécurité. Les acteurs malveillants commencent à enregistrer et à « légitimer » les hallucinations potentielles de l'IA afin que les utilisateurs finaux reçoivent des informations influencées par des ensembles de données malveillants et illégitimes.
Cadres et normes de sécurité de l'IA
Maintenant que vous connaissez les principaux risques de sécurité liés à l'IA, examinons brièvement comment les entreprises peuvent les atténuer. Les cadres de cybersécurité constituent depuis longtemps un outil puissant pour les entreprises afin de se protéger des menaces croissantes, et ces cadres de sécurité de l'IA fournissent un ensemble cohérent de normes et de bonnes pratiques pour remédier aux menaces et aux vulnérabilités de sécurité :
Le cadre de gestion des risques liés à l'intelligence artificielle du NIST décompose la sécurité de l'IA en quatre fonctions principales : gouverner, cartographier, mesurer et gérer.
Le cadre réglementaire sensible de Mitre pour la sécurité de l'IA et ATLAS Matrix analysent les tactiques d'attaque et proposent certaines réglementations en matière d'IA.
Le Top 10 de l'OWASP pour les LLM identifie et propose des normes pour protéger les vulnérabilités les plus critiques associées aux LLM, telles que les injections rapides, les vulnérabilités de la chaîne d'approvisionnement et le vol de modèles.
Le framework Secure AI de Google propose un processus en six étapes pour atténuer les défis associés aux systèmes d'IA. Il s'agit notamment de renforcements automatisés de la cybersécurité et d' une gestion des risques basée sur l'IA .
Notre propre infrastructure PEACH met l'accent sur l'isolation des locataires via le renforcement des privilèges, le renforcement du chiffrement, le renforcement de l'authentification, le renforcement de la connectivité et l'hygiène (PEACH). L'isolation des locataires est un principe de conception qui décompose vos environnements cloud en segments granulaires avec des limites strictes et des contrôles d'accès rigoureux.
IA et cybersécurité : l'état actuel de l'art et la direction que nous prenons
Clint Gibler a passé des centaines d'heures à suivre la manière dont l'IA est appliquée à la cybersécurité, et maintenant Clint va distiller les meilleurs articles, documents et discussions sur la sécurité du cloud, la sécurité Web, AppSec, la sécurité offensive et plus encore dans un seul exposé afin que vous puissiez rapidement comprendre la situation.
Regarder maintenantQuelques recommandations simples et bonnes pratiques en matière de sécurité de l'IA
La clé pour protéger votre infrastructure d'IA est de définir et de suivre un ensemble de bonnes pratiques . En voici 10 pour vous aider à démarrer :
1. Choisissez un cadre d'isolation des locataires
Le cadre d'isolation des locataires PEACH a été conçu pour les applications cloud, mais les mêmes principes s'appliquent à la sécurité de l'IA. L'isolation des locataires est un moyen efficace de lutter contre les complexités de l'intégration GenAI.
How to leverage generative AI in cloud apps without putting user data at risk
En savoir plus
2. Personnalisez votre architecture GenAI
Votre architecture GenAI doit être soigneusement personnalisée pour garantir que tous les composants disposent de limites de sécurité optimisées. Certains composants peuvent nécessiter des limites de sécurité partagées, d'autres des limites dédiées et, pour certains, cela peut dépendre de divers contextes.
3. Évaluer les contours et les complexités de GenAI
Il est indispensable de cartographier les implications de l'intégration de GenAI dans les produits, services et processus de votre organisation. Il est important de prendre en compte que les réponses de vos modèles d'IA aux utilisateurs finaux sont privées, précises et construites à partir d'ensembles de données légitimes.
4. Ne négligez pas les vulnérabilités traditionnelles indépendantes du cloud
N'oubliez pas que GenAI ne diffère pas des autres applications multi-locataires. Elle peut néanmoins être confrontée à des problèmes traditionnels tels que les vulnérabilités des API et les fuites de données. Veillez à ce que votre organisation ne néglige pas les vulnérabilités globales du cloud dans sa quête d'atténuation des défis spécifiques à l'IA.
5. Assurer un sandboxing efficace et efficient
Le sandboxing consiste à placer des applications qui intègrent GenAI dans des environnements de test isolés et à les soumettre à un scanner. Il s'agit d'une pratique puissante pour atténuer les vulnérabilités de l'IA. Assurez-vous cependant que vos environnements sandbox sont configurés de manière optimale. Les environnements sandbox sous-optimaux et les processus créés à la hâte peuvent exacerber les vulnérabilités de sécurité de l'IA.
6. Effectuer des examens d'isolement
Une analyse de l'isolement des locataires fournit une topologie complète des interfaces orientées client et des limites de sécurité internes. Cela peut aider à identifier les vulnérabilités de sécurité de l'IA et à optimiser davantage l'isolement des locataires pour prévenir les incidents de cybersécurité.
7. Donner la priorité à la désinfection des entrées
Établissez certaines limites sur les entrées utilisateur dans les systèmes GenAI pour atténuer les vulnérabilités de sécurité de l'IA. Ces limites ne doivent pas nécessairement être ultra-compliquées. Par exemple, vous pouvez remplacer les zones de texte par des menus déroulants avec des options de saisie limitées. Le plus grand défi en matière de nettoyage des entrées sera de trouver un équilibre entre une sécurité robuste et une expérience utilisateur fluide.
8. Optimiser le traitement rapide
La gestion rapide est essentielle dans les applications qui intègrent GenAI. Les entreprises doivent surveiller et enregistrer les invites des utilisateurs finaux et signaler toute invite qui semble suspecte. Par exemple, si une invite présente des signes d'exécution de code malveillant, elle doit être signalée et traitée.
9. Comprendre les implications des commentaires des clients en matière de sécurité
Cela peut être considéré comme un défi de sécurité de l'IA à risque relativement faible, mais votre posture et vos pratiques de sécurité de l'IA ne devraient pas présenter de failles. Le fait est qu'une zone de texte de commentaires peut permettre aux acteurs malveillants d'introduire du contenu malveillant dans une application qui intègre GenAI. Une bonne pratique simple consiste à remplacer les options de commentaires en texte libre par des champs déroulants.
10. Travaillez avec des experts réputés en sécurité de l'IA
L'IA sera au cœur du prochain chapitre des avancées technologiques. C'est pourquoi la sécurité de l'IA est essentielle et ne peut être considérée comme une réflexion de dernière minute. Travailler avec des experts en sécurité cloud réputés et hautement qualifiés est le meilleur moyen de renforcer votre posture en matière d'IA et de cybersécurité.
Sécuriser l'IA avec Wiz
Wiz est la première CNAPP à proposer des fonctionnalités de sécurité IA natives entièrement intégrées à la plateforme. Wiz for AI Security introduit les nouvelles fonctionnalités suivantes :
Gestion de la posture de sécurité de l'IA (AI-SPM) : offre aux équipes de sécurité et aux développeurs d'IA une visibilité sur leurs pipelines d'IA en identifiant chaque ressource et technologie du pipeline d'IA, sans aucun agent
Extension de DSPM à l'IA : détecte automatiquement les données de formation sensibles et vous aide à garantir leur sécurité, avec de nouveaux contrôles d'IA DSPM prêts à l'emploi
Extension de l'analyse du chemin d'attaque à l'IA : contexte complet du cloud et de la charge de travail autour du pipeline d'IA aidant les organisations à supprimer de manière proactive les chemins d'attaque dans l'environnement
Tableau de bord de sécurité de l'IA : fournit un aperçu des principaux problèmes de sécurité de l'IA avec une file d'attente de risques prioritaires afin que les développeurs puissent se concentrer rapidement sur le plus critique
Wiz propose également un support de sécurité IA pour les utilisateurs d'Amazon SageMaker et de Vertex AI qui peut aider à surveiller et à atténuer les risques de sécurité associés à la gestion des modèles IA/ML. Les fonctionnalités personnalisées de Wiz pour les intégrations Vertex AI et Amazon SageMaker incluent des environnements sandboxing robustes, une visibilité complète sur les applications cloud, la protection des pipelines IA et le déploiement agile des modèles ML en production. Obtenez une démonstration pour découvrir comment vous pouvez exploiter toutes les capacités de l'IA sans vous soucier de la sécurité.
Wiz est également fier d'être membre fondateur de la Coalition for Secure AI . En s'associant à d'autres pionniers du domaine, Wiz s'engage à faire progresser la mission de la coalition en matière de développement d'une IA sûre et éthique. En tant que membre fondateur, Wiz joue un rôle crucial dans l'élaboration de l'orientation stratégique de la coalition, en contribuant à l'élaboration des politiques et en promouvant des solutions innovantes qui améliorent la sécurité et l'intégrité des technologies d'IA.
Développer des applications d'IA en toute sécurité
Découvrez pourquoi les RSSI des organisations à la croissance la plus rapide choisissent Wiz pour sécuriser l'infrastructure d'IA de leur organisation. Obtenir une démo
