Quels sont les meilleurs outils pour sécuriser l’IA ? Si vous cherchez la réponse en ligne, vous remarquerez un manque de connaissances important. Bien qu’il existe de nombreuses informations sur les outils SecOps optimisés par l’IA, il n’existe pas grand-chose sur les outils de sécurité qui alimentent les opérations SecOps pour les applications d’IA et d’apprentissage automatique (ML). C’est là qu’intervient cet article.
Dans cet article de blog, nous allons nous plonger dans le paysage des outils MLSecOps en passant en revue les cinq domaines fondamentaux de MLSecOps, en explorant l’importance croissante de MLSecOps pour les organisations et en présentant six outils open source intéressants à découvrir, ainsi que la solution de gestion de la posture de sécurité de l’IA proposée par Wiz.
State of AI in the Cloud [2025]
Based on the sample size of hundreds of thousands of public cloud accounts, our second annual State of AI in the Cloud report highlights where AI is growing, which new players are emerging, and just how quickly the landscape is shifting.
Get the report
Une introduction à MLSecOps
MLSecOps, ou AISecOps, est une nouvelle discipline qui vise à définir des processus SecOps et des bonnes pratiques spécifiquement adaptés à la sécurisation des pipelines de ML et d’IA à grande échelle. Combinant des éléments clés de SecOps et de MLOps, MLSecOps est apparu comme une augmentation nécessaire du DevSecOps traditionnel, répondant aux défis distinctifs des applications d’IA et du MLOps.
Qu’est-ce que MLSecOps ?
La sécurisation des applications d’IA est l’objectif de MLSecOps, un domaine qui a d’abord gagné un public plus large en 2023.
MLSecOps est encore très nouveau (d’où le manque d’information en ligne !), mais de nombreuses ressources sont défendues par le Communauté MLSecOps. L’une de ces contributions est la définition de cinq domaines fondamentaux de MLSecOps, y compris des objectifs sur lesquels les équipes de sécurité peuvent concentrer leurs efforts :
Vulnérabilité de la chaîne d’approvisionnement: Évaluez la sécurité de l’ensemble de la chaîne d’approvisionnement de l’IA.
Provenance du modèle: Retracer l’origine, la lignée et l’évolution des modèles d’IA tout au long de leur cycle de vie.
Gouvernance, risque et conformité (GRC) : Établir des politiques, des procédures et des contrôles pour le respect des normes réglementaires internes et externes.
IA de confiance: Offrir des systèmes d’IA transparents, équitables et responsables envers les parties prenantes internes et les utilisateurs externes.
Machine learning contradictoire: Sécurisez les systèmes d’IA en les testant contre les attaques adverses, en particulier celles visant à influencer le comportement du modèle.
(Gardez à l’esprit qu’il s’agit de la première itération des objectifs MLSecOps, et vous pouvez vous attendre à ce que la liste s’allonge au fil du temps.)
La liste de la communauté MLSecOps aborde deux aspects fondamentaux des applications d’IA : la dépendance à l’égard de fournisseurs open source ou tiers pour les ensembles de données, les bibliothèques, les cadres, les modèles, l’infrastructure et les solutions ; et la nature non déterministe des modèles d’IA, qui les rend difficiles à comprendre et à protéger, ainsi qu’impossibles à contrôler totalement. En se concentrant sur ces cinq domaines de la sécurité de l’IA, les entreprises peuvent publier des applications d’IA sûres pour l’organisation et les utilisateurs.
Comment les organisations adoptent-elles le MLSecOps ?
MLSecOps est une discipline spécialisée qui nécessite des solutions ad hoc.
Bien que certaines grandes organisations aient déjà adopté MLSecOps, la plupart d’entre elles ne font que commencer ou envisagent de le faire. Compte tenu des connaissances techniques et des ressources nécessaires pour commencer à utiliser MLSecOps, il est logique que la plupart des entreprises partent de zéro.
Néanmoins, compte tenu du fait que MLSecOps devrait devenir indispensable pour toutes les organisations à mesure que l’adoption de l’IA ne cesse d’augmenter, et compte tenu du fait que de nouvelles réglementations, telles que la Législation européenne sur l’IA et le Décret présidentiel de 2023 sur la sécurité de l’IA, entrent en vigueur, les équipes de sécurité doivent faire de la protection des applications d’IA une priorité.
The State of AI in the Cloud Report 2024
Did you know that over 70% of organizations are using managed AI services in their cloud environments? That rivals the popularity of managed Kubernetes services, which we see in over 80% of organizations! See what else our research team uncovered about AI in their analysis of 150,000 cloud accounts.
Download Report
Les 6 meilleurs outils de sécurité open source de l’IA
Choisir les bons outils est le meilleur moyen de renforcer votre posture de sécurité de l’IA. Vous trouverez ci-dessous des informations sur certains des outils de sécurité de l’IA open source les plus intéressants disponibles. Ces outils ont été sélectionnés comme largement applicables à une variété de modèles et de cadres d’IA, mais d’autres outils open source spécialisés existent également, tels que Analyse du modèle TensorFlow, et ceux-ci méritent d’être étudiés afin de répondre aux besoins uniques de votre organisation.
Lorsque vous évaluez l’adoption de ces outils open source, gardez à l’esprit qu’ils peuvent avoir une maintenance et un support limités. Le choix le plus sûr est de faire appel à des fournisseurs de sécurité tiers, que vous pouvez en savoir plus sur Gestion de la posture de sécurité de l’IA de Wiz à la fin de l’article.
1. Défense du Nouveau-Brunswick
Défense du Nouveau-Brunswick est une extension JupyterLab et un outil CLI pour la gestion des vulnérabilités de l’IA, proposé par Protect AI.
JupyterLab est l’environnement de développement de modèles d’IA le plus utilisé par les équipes de science des données du monde entier. En fournissant une gestion des vulnérabilités directement à la source du développement du modèle, NB Defense permet aux équipes d’intégrer la sécurité dès le début du cycle de vie du ML. Il permet également au personnel non lié à la sécurité d’introduire directement des contrôles de sécurité fiables de manière simple et facile à utiliser.
Fonctionnalité principale : Détection précoce des vulnérabilités, qu’il s’agisse de secrets, de données PII ou de vulnérabilités et d’expositions courantes (CVE) et de licences tierces, en fournissant des conseils contextuels aux data scientists au sein de JupyterLab et une analyse avancée automatisée des référentiels pour les opérateurs de sécurité.
Domaine d’intérêt MLSecOps : IA de confiance, via DevSecOps et analyse des vulnérabilités
2. Boîte à outils de robustesse antagoniste
La boîte à outils de robustesse antagoniste (ART) est une bibliothèque Python pour la défense ML contre les menaces adverses, hébergée par l’IA Linux & Fondation des données.
L’IA peut offrir de nombreuses voies différentes aux acteurs adverses, de l’extraction des données des utilisateurs à la création de deep fakes ou à la diffusion de fausses informations. ART a été créé en pensant à la fois aux développeurs et aux chercheurs : la bibliothèque prend en charge l’évaluation d’une grande variété de modèles et d’applications développés sur tous les types de données et leur défense contre les menaces antagonistes les plus courantes pour l’IA.
Fonctionnalité principale : Protège contre l’évasion, l’empoisonnement, l’inférence et les attaques antagonistes par extraction grâce à un large catalogue d’attaques, d’estimateurs, de défenses, d’évaluations et de mesures prédéfinis.
Domaine d’intérêt MLSecOps : Apprentissage automatique contradictoire, via Équipe rouge et bleue
Boîte à imbéciles et CleverHans sont deux bibliothèques similaires à ART qui valent également la peine d’être consultées.
3. Garak
Garak est un package Python pour l’analyse de vulnérabilité des grands modèles de langage (LLM), créé par Leon Derczynski.
La nouvelle vague d’adoption de l’IA a commencé avec la commercialisation de LLM comme ChatGPT. Les LLM sont rapidement adoptés par de nombreuses organisations pour libérer le potentiel commercial, souvent via des intégrations tierces. Garak offre la possibilité de scanner tous les LLM les plus populaires, d’OpenAI à HuggingFace et LangChain, pour s’assurer qu’ils sont sécurisés.
Fonctionnalité principale : Fournit des scanners de vulnérabilité prédéfinis pour les LLM afin de détecter les hallucinations, la désinformation, le langage nuisible, les jailbreaks, la vulnérabilité à divers types de injection rapide, et plus encore
Domaine d’intérêt MLSecOps : Apprentissage automatique contradictoire, via analyse de vulnérabilité des LLM pour le red teaming
4. Compteur de confidentialité
Compteur de confidentialité est une bibliothèque Python pour auditer la confidentialité des données des modèles ML, développée par le NUS Data Privacy and Trustworthy Machine Learning Lab.
Les modèles d’IA sont entraînés sur de grandes quantités de données. Fuite de données d’entraînement est l’une des menaces les plus courantes et les plus coûteuses pour les modèles d’IA. Privacy Meter fournit une analyse quantitative des risques fondamentaux pour la vie privée de (presque) tout modèle statistique et ML, rassemblés dans des rapports prêts à l’emploi avec des informations détaillées sur les risques individuels et agrégés des enregistrements de données. Les scores de confidentialité vous permettent d’identifier facilement les enregistrements de données d’entraînement à haut risque de fuite via les paramètres ou les prédictions du modèle.
Fonctionnalité principale : Effectue des attaques par inférence d’appartenance à la pointe de la technologie, personnalisables via des tuiles de configuration pour utiliser une variété de jeux, d’algorithmes et de signaux de confidentialité prédéfinis.
Domaine d’intérêt MLSecOps : Une IA de confiance, via l’évaluation des risques, notamment dans le cadre du processus d’analyse d’impact sur la protection des données
5. Audit IA
Audit IA est une bibliothèque Python pour les tests de biais ML, proposée par pymetrics.
Les modèles d’IA apprennent des modèles fournis dans les données d’entraînement et peuvent perpétuer les préjugés et la discrimination qui y sont présents. Audit AI fournit des moyens de mesurer les biais pour les modèles statistiques et ML via un package convivial construit sur deux bibliothèques que les data scientists connaissent très bien : pandas et sklearn. Les data scientists peuvent utiliser les résultats de biais fournis par Audit AI pour apporter des modifications au pipeline de développement de modèles susceptibles d’atténuer les biais.
Fonctionnalité principale : Fournit des implémentations de tests de biais et de techniques d’audit d’algorithmes pour les tâches de classification et de régression, telles que le test z de Fisher et le facteur de Bayes
Domaine d’intérêt MLSecOps : Une IA de confiance, via des tests et des audits manuels
6. Exploits IA
Exploits IA est une collection d’exploits et de modèles d’analyse des vulnérabilités du monde réel, gérée par Protect AI.
Les équipes de sécurité peuvent étendre l’expertise en IA fournie par les PME internes en testant les applications d’IA contre les exploits collectés dans les exploits d’ia. S’appuyant sur les recherches effectuées par Protect AI et les vulnérabilités découvertes sur la plateforme Huntr Bug Bounty, cette collection d’exploits du monde réel vise à vous aider à protéger vos systèmes d’IA actuels. AI-Exploits vous aide également à vérifier les fournisseurs tiers.
Fonctionnalité principale : Recherche une variété de vulnérabilités à l’aide d’outils prédéfinis. Chaque outil est composé de modules permettant d’exploiter la vulnérabilité et de modèles permettant d’analyser automatiquement la vulnérabilité. Actuellement, il ne prend en charge que H2O, MLflow et Ray pour l’exécution de code à distance, l’inclusion de fichiers locaux, l’écriture arbitraire de fichiers, la falsification de requêtes intersites et la falsification de requêtes côté serveur.
Domaine d’intérêt MLSecOps : Vulnérabilité de la chaîne d’approvisionnement et apprentissage automatique antagoniste, via l’analyse des vulnérabilités et le red teaming
Renforcez la sécurité de votre IA avec Wiz
Pour vos applications d’IA natives du cloud, vous pouvez compter sur Le Gestion de la posture de sécurité de l’IA (AI-SPM) pour sécuriser vos applications d’IA.
AI-SPM offre une visibilité complète sur vos pipelines d’IA en découvrant et en documentant automatiquement les services et les technologies d’IA pour produire une nomenclature d’IA, vous protégeant ainsi contre IA de l’ombre. AI-SPM applique également des bases de configuration sécurisées avec des règles intégrées qui peuvent détecter les erreurs de configuration dans les services d’IA ainsi que dans votre IaC, et il vous permet de découvrir et de supprimer de manière proactive les chemins d’attaque critiques liés aux modèles d’IA et aux données d’entraînement avec une hiérarchisation précise des risques.
Avec Wiz, vous pouvez compter sur une infrastructure et des services gérés de pointe pour la sécurité de votre IA, ce qui peut vous aider à mettre en place une couche de sécurité solide pour vos pipelines d’IA, dès maintenant. Pour en savoir plus, consultez le Page web de Wiz pour l’IA. Si vous préférez un Démo en direct, nous serions ravis d’entrer en contact avec vous.
Develop AI Applications Securely
Learn why CISOs at the fastest growing companies choose Wiz to secure their organization's AI infrastructure.
