Qu’est-ce que le data poisoning ?
Le data poisoning est une attaque adversariale. Il cible les datasets d’entraînement des modèles d’IA et de machine learning (ML) afin de dégrader ou de contrôler le comportement du modèle.
Renforcez votre sécurité cloud
Découvrez des pratiques avancées pour réduire les risques, améliorer la posture cloud et sécuriser vos environnements critiques.
Les attaquants glissent des informations trompeuses ou incorrectes dans le dataset d’entraînement. Ils ajoutent de nouvelles données, modifient des données existantes ou en suppriment certaines pour corrompre la compréhension du modèle.
Les secteurs qui s’appuient sur des décisions pilotées par l’IA, comme la finance, la santé et les systèmes autonomes, sont des cibles prioritaires. L’impact d’un comportement erroné du modèle y est particulièrement élevé.
L’impact potentiel d’une attaque de data poisoning
En raison du data poisoning, les systèmes dépendants des données deviennent nettement moins fiables et efficaces. Selon le rapport State of AI in the Cloud de Wiz, « 70 % des environnements cloud [utilisent] des services d’IA ».
Voici quelques effets possibles de ces attaques sur l’IA et les grands modèles de langage (LLM) :
| Problèmes liés aux LLM | Impact |
|---|---|
| Les équipes s’appuient sur des données empoisonnées pour prendre des décisions. | Des données malveillantes introduisent des biais. Ces biais faussent les résultats et les décisions fondées sur le dataset empoisonné. Intégrer des données inexactes ou biaisées dans un modèle financier conduit à de mauvais choix d’investissement et nuit à la stabilité financière de l’organisation. Dans le domaine médical, des données biaisées produisent des diagnostics et des recommandations de traitement inexacts, au détriment de la santé des patients. |
| Les organisations souffrent d’imprécision et d’un rappel inexact. | Les données empoisonnées dégradent l’exactitude, la précision et le rappel des modèles prédictifs. Des outputs peu fiables et des taux d’erreur plus élevés s’ensuivent alors et compromettent des systèmes entiers. En marketing, cela conduit à cibler le mauvais segment. En cybersécurité, de vraies menaces passent inaperçues. L’efficacité réduite de ces modèles diminue leur valeur et entraîne des pertes importantes. |
| Les équipes de sécurité font face à une défaillance ou à une exploitation potentielle du système. | Le data poisoning crée des attaques par porte dérobée. Des pirates introduisent des déclencheurs dans les datasets. Les systèmes se comportent alors de façon imprévisible. Ils contournent les mesures de sécurité ou manipulent les outputs du système à des fins malveillantes. |
Dans les infrastructures critiques, les vulnérabilités introduites via des backdoor attacks entraînent des conséquences graves. Le groupe de pirates LAPSUS$ a tenté d’empoisonner les données de modèles d’IA. Il a utilisé une combinaison de tactiques, dont une porte dérobée pour obtenir un accès système.
Comment fonctionne une attaque de data poisoning
Le data poisoning se produit lors des attaques courantes suivantes :
Injection de fausses données : Les attaquants manipulent un dataset. Ils ajoutent des points de données fictifs ou trompeurs, ou s’appuient sur une prompt injection. L’entraînement et les prédictions s’en trouvent faussés. Manipuler un système de recommandation avec de fausses notes clients change la perception de la qualité d’un produit.
Modification de données existantes : Les attaquants altèrent des points de données authentiques. Ils introduisent des erreurs et induisent le système en erreur, sans ajouter de nouvelles données. Modifier des valeurs dans une base de transactions financières compromet la détection de fraude ou fausse le calcul des profits et des pertes.
Suppression de données : Supprimer des points de données critiques crée des lacunes. Ces lacunes nuisent à la généralisation du modèle. Elles affectent souvent les performances sur les cas limites, précisément les scénarios que de nombreux systèmes de sécurité et de sûreté sont conçus pour détecter. Un système de cybersécurité devient aveugle à certaines attaques réseau si les données d’attaque disparaissent.
Attaques de data poisoning ciblées et non ciblées
Dans les attaques de data poisoning ciblées, les malicious actors cherchent des résultats précis. Ils font par exemple mal classer certaines entrées par un système. Les backdoor attacks appartiennent à cette catégorie : des déclencheurs spécifiques imposent un comportement prédéfini. Un système de caméras de sécurité ignore alors des intrus portant un déguisement précis.
Les attaques de data poisoning non ciblées affaiblissent les modèles de machine learning. Elles injectent des données corrompues ou trompeuses dans les datasets d’entraînement. Ces attaques dégradent la précision et la fiabilité du modèle et produisent des erreurs dans l’output.
Dans une attaque non ciblée, un pirate ajoute du bruit aléatoire ou des e-mails mal étiquetés au dataset d’entraînement de votre filtre antispam. Le modèle classe alors mal des e-mails ou des tickets critiques et perturbe les workflows d’entreprise.
2 exemples de data poisoning dans le monde réel
À quoi ressemble une vulnérabilité de data poisoning ? Voici deux exemples concrets de menaces de data poisoning :
Des chercheurs révèlent des vulnérabilités de data poisoning en IA
En 2024, des chercheurs de l’University of Texas ont trouvé des vulnérabilités de data poisoning dans des systèmes d’IA. Le projet, baptisé ConfusedPilot, a porté sur des modèles comme Microsoft 365 Copilot et sur la génération augmentée par récupération (RAG). Les chercheurs ont ajouté des données malveillantes dans des documents référencés par l’IA.
Lorsque les utilisateurs cherchaient des informations, l’IA s’appuyait sur des données empoisonnées et renvoyait des réponses inexactes et fausses. Même après la suppression des documents, les requêtes produisaient encore des outputs trompeurs.
ConfusedPilot a montré avec quelle facilité des données empoisonnées peuvent créer des hallucinations, même après la suppression des documents sources malveillants. À mesure que les entreprises s’appuient davantage sur l’IA, ce type de points de données perturbe les opérations et l’intégrité des données.
Hugging Face et Wiz stoppent l’empoisonnement d’un data pipeline
Les chercheurs de Wiz ont collaboré avec Hugging Face sur un risque critique. Ils ont découvert une vulnérabilité qui permettait à des threat actors de téléverser des données malveillantes sur la plateforme de Hugging Face. Si des organisations intégraient ces données, elles compromettaient leur propre pipeline d’IA. Ce type de data poisoning ouvre la voie à une manipulation de toute l’infrastructure de l’organisation.
Wiz a limité les risques futurs en intégrant des capacités de détection de sa plateforme. Ces capacités surveillent les composants d’IA dans les environnements clients. La solution signale aussi les comportements suspects et offre une visibilité complète grâce à des fonctionnalités comme l’AI Security Posture Management (AI-SPM).
Techniques pour prévenir le data poisoning
Se défendre contre le data poisoning exige une approche complète. Une gestion robuste des données, associée à des techniques de détection avancées, change la donne face aux threat actors.
Voici quelques leviers à activer :
Le guide pratique des responsables sécurité
Obtenez des conseils concrets pour prioriser les risques, aligner les équipes et renforcer vos programmes CloudSec.
Mettre en place une validation robuste des données
Des procédures de validation strictes freinent l’introduction de données contaminées. Les stratégies clés incluent :
Provenance des données : Suivre la provenance et l’historique des données aide à localiser et retirer les sources dangereuses. Des sources fiables limitent le data poisoning.
Validation croisée : Valider le modèle sur plusieurs sous-ensembles de données révèle des anomalies et des incohérences. Cela réduit le risque de surapprentissage sur des données contaminées. Vous mesurez ainsi les performances du modèle dans la marge d’amélioration attendue.
Surveiller les anomalies liées aux données d’entraînement et au comportement
La détection automatique d’anomalies aide à repérer et signaler les schémas anormaux qui peuvent indiquer une altération. Les stratégies clés incluent :
Détection d’outliers dans les datasets : Utilisez des méthodes statistiques et des algorithmes de clustering, comme DBSCAN, afin d’identifier des points de données anormaux. Ces approches repèrent des données manipulées avant qu’elles ne corrompent les modèles.
Suivi du comportement du modèle : Pratiquez des revues régulières pour comparer les outputs du modèle à des baselines. Un décalage inattendu de précision ou de performance signale souvent un empoisonnement. Les tests canary aident à détecter ces problèmes tôt.
Techniques pour détecter rapidement le data poisoning
Détecter vite les incidents limite les dégâts du data poisoning pour votre organisation. Appliquez les mesures suivantes afin de remédier aux problèmes en temps réel :
Intégrer des algorithmes de détection d’anomalies
Des algorithmes sophistiqués peuvent révéler des anomalies de données qui pointent vers des tentatives d’empoisonnement. Les stratégies clés incluent :
Méthodes statistiques : Elles trouvent des anomalies et des tendances qui peuvent indiquer une manipulation des données. Les techniques de clustering, par exemple, identifient les points de données qui s’écartent fortement de la moyenne.
Détection basée sur le ML : Comme couche de protection supplémentaire, des modèles de ML identifient des schémas courants dans les données contaminées. Vous suivez ainsi les métriques et le fonctionnement des modèles qui traitent des informations sensibles.
Établir des audits système réguliers
Des audits système périodiques renforcent la fiabilité des données et identifient tôt les signes de data poisoning. Les stratégies clés incluent :
Surveillance des performances : Suivez en continu les performances du système sur un ensemble de validation. Vous identifiez ainsi des baisses inhabituelles d’exactitude, de précision ou de rappel, signes possibles de data poisoning.
Analyse comportementale : Analysez le comportement du système sur des cas de test ou des cas limites. Vous révélez ainsi des vulnérabilités liées au data poisoning. Ces failles apparaissent lorsque les systèmes ingèrent des données d’une source non sollicitée et non reconnue.
L’intégrité des données reste centrale. Elle demeure le facteur principal de décision dans de nombreux secteurs, surtout ceux qui adoptent rapidement l’IA. L’innovation et la coopération continues soutiennent à la fois l’avantage concurrentiel et la fiabilité des systèmes pilotés par les données.
Mettre en place un plan d’action de réponse rapide après une attaque de data poisoning
Que se passe-t-il si un point de données se présente à votre porte ? Votre équipe de sécurité a besoin d’un plan de découverte et de remédiation. Ce plan prévient, atténue et corrige les dommages.
Voici cinq étapes pour le mettre en œuvre :
1. Mettre en place une surveillance et des alertes en temps réel
La première ligne de défense est la surveillance continue. Votre équipe de sécurité s’appuie sur l’automatisation et les alertes afin de sécuriser et surveiller les data pipelines et les modèles d’IA. Des solutions avancées comme Wiz détectent aussi les anomalies, valident les données et fournissent des évaluations de risque priorisées et contextualisées. Vous ciblez ainsi les menaces les plus critiques.
AMÉLIOREZ DÈS AUJOURD’HUI VOTRE SURVEILLANCE ET VOTRE DÉTECTION AVEC DES REVUES AUTOMATIQUES EN TEMPS RÉEL, DES SEUILS D’ALERTE PERSONNALISÉS ET L’INTÉGRATION DES ALERTES À VOS PROCESSUS D’INCIDENT RESPONSE.
2. Revenir à un dataset ou à un état de modèle sain
Si vous détectez un data poisoning, rétablissez rapidement vos systèmes sur une infrastructure saine. Vous évitez ainsi toute interruption.
Le moyen le plus efficace de nettoyer votre dataset consiste à conserver des sauvegardes régulières. Couvrez vos datasets d’entraînement et vos points de contrôle de modèle. Utilisez des systèmes de contrôle de version comme Git pour le code ou DVC pour les données. Des scripts de rollback automatisés accélèrent le retour en arrière et limitent les temps d’arrêt.
METTEZ CES ÉTAPES EN ŒUVRE EN PLANIFIANT DES SAUVEGARDES VERSIONNÉES AUTOMATISÉES POUR VOS DATASETS ET MODÈLES, EN UTILISANT DES OUTILS COMME DVC POUR GÉRER LES MODÈLES ET DES DONNÉES REPRODUCTIBLES, ET EN SIMULANT LES PROCÉDURES DE ROLLBACK POUR TESTER LA PRÉPARATION.
3. Mener une investigation d’incident et une analyse des causes racines
Une fois le dataset et les modèles rétablis, déterminez ce qui s’est passé. Identifiez la vulnérabilité qui a permis l’attaque. Concentrez-vous sur l’arborescence des données et le suivi afin de localiser l’empoisonnement.
L’AI-SPM de Wiz, par exemple, donne de la visibilité sur vos flux de données, les révisions de modèles et les chemins d’attaque. Avec cet outil, vous étudiez vos logs et les changements de données. Vous localisez ainsi le point d’entrée.
LORSQUE VOUS METTEZ EN ŒUVRE CES ÉTAPES DE SUIVI, DOCUMENTEZ VOS CONSTATS AFIN DE METTRE À JOUR VOTRE PLAN D’INCIDENT RESPONSE.
4. Revalider et resanitiser les données
La remédiation ne s’arrête pas après le rollback du système. Réexaminez ensuite vos informations. Des outils comme OpenRefine ou Trifacta Wrangler automatisent le retrait des points de données suspects.
EXÉCUTEZ DES ALGORITHMES DE DÉTECTION D’ANOMALIES ET DE CLUSTERING SUR LES DONNÉES NOUVELLES ET HISTORIQUES, PUIS EFFECTUEZ UNE VALIDATION CROISÉE AVEC D’AUTRES SOURCES AUTORITAIRES OU CRÉDIBLES.
5. Corriger et renforcer les data pipelines
Après vérification de vos données, votre équipe de sécurité crée de nouvelles étapes et ajustements. L’objectif est d’empêcher qu’une attaque similaire se reproduise.
Commencez par améliorer le suivi de la provenance des données. Renforcez aussi les contrôles d’accès sur toutes vos sources de données. Unifiez ensuite vos données via une architecture de pipeline extract, load, transform. Vous centralisez le processus et réduisez les risques liés aux processus fragmentés. Enfin, auditez régulièrement et menez des penetration tests sur vos ressources d’IA et votre pipeline.
APPLIQUEZ PÉRIODIQUEMENT LE PRINCIPE DU MOINDRE PRIVILÈGE (POLP) AUX SOURCES DE DONNÉES SENSIBLES ET RÉÉVALUEZ LES IDENTIFIANTS. CELA LIMITE L’EXPOSITION EN CAS DE COMPROMISSION D’IDENTIFIANTS ET RÉSERVE L’ACCÈS AUX DONNÉES SENSIBLES AUX UTILISATEURS AUTORISÉS, CE QUI RÉDUIT LE RISQUE DE DATA POISONING.
Wiz : la façon la plus simple de détecter et d’atténuer les risques de data poisoning
L’AI-SPM regroupe des capacités qui sécurisent les pipelines d’IA. Elle accélère l’adoption de l’IA tout en protégeant contre les risques associés dans les environnements cloud. Wiz est devenue la première plateforme CNAPP (cloud native application protection platform) à introduire des capacités d’AI-SPM en 2023, avec des fonctionnalités natives de sécurité de l’IA.
Wiz propose plusieurs fonctionnalités pour aider les équipes à détecter et atténuer les risques de data poisoning dans les systèmes d’IA :
Visibilité full-stack : L’AI bill of materials de Wiz offre une visibilité complète sur les pipelines d’IA, les services, les technologies et les kits de développement logiciel, sans agents (agentless). Les organisations identifient ainsi les points d’entrée potentiels des attaques de data poisoning.
Sécurité des données pour l’IA : La plateforme étend ses capacités de data security posture management à l’IA. Elle détecte automatiquement les données d’entraînement sensibles et identifie les risques de data leakage. Vous protégez ainsi l’accès non autorisé et la manipulation des données d’entraînement, deux leviers d’empoisonnement.
Analyse des chemins d’attaque : L’analyse des chemins d’attaque de Wiz s’étend aux systèmes d’IA. Les organisations détectent les chemins d’attaque potentiels vers les modèles d’IA et les données d’entraînement. Elles identifient ainsi les vulnérabilités exploitables pour le data poisoning.
Détection des erreurs de configuration de l’IA : Cette solution applique des baselines de configuration sécurisées pour les services d’IA. Des règles intégrées et la gestion des risques liés à l’IA détectent les erreurs de configuration. Des configurations correctes freinent l’accès non autorisé aux données d’entraînement et aux modèles.
Model scanning : Wiz propose des capacités de model scanning. Elles détectent des problèmes dans les modèles d’IA, y compris des signes de data poisoning ou des comportements inattendus issus de données d’entraînement compromises.
Tableau de bord de sécurité de l’IA : Cette plateforme CNAPP fournit un tableau de bord de sécurité de l’IA. Il offre une vue d’ensemble des principaux problèmes, avec une file de risques priorisée. Les développeurs d’IA et les équipes de sécurité identifient et traitent ainsi rapidement les menaces de data poisoning.
Vous voulez cartographier les chemins d’attaque vers vos données d’entraînement et vos modèles déployés ? Voir Wiz en action et explorez l’AI-SPM de Wiz dans votre environnement.
Découvrez Wiz en action
Voyez comment Wiz vous aide à détecter, prioriser et corriger rapidement les risques dans vos environnements cloud.
En combinant ces capacités, la solution AI-SPM de Wiz aide les organisations à identifier et atténuer de façon proactive les risques de data poisoning. La couverture s’étend de l’infrastructure d’IA aux données d’entraînement et aux modèles déployés. Vous voulez voir ces capacités dans votre environnement ? Obtenez une démo et explorez comment Wiz cartographie les chemins d’attaque vers vos données d’entraînement d’IA et vos modèles déployés.
Pour plus de conseils sur l’évaluation de votre posture de sécurité de l’IA, téléchargez le guide AI-SPM de Wiz dès aujourd’hui. Demandez une démo et explorez comment Wiz sécurise votre environnement cloud.