Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 14 heures
Plan du cours
Le paysage des menaces pour l'IA
- Pourquoi la sécurité de l'IA est différente : non-déterminisme, raisonnement opaque et prompt comme surface d'attaque.
- Taxonomie des attaques : attaques au moment de l'entraînement, au moment de l'inférence et dans la chaîne d'approvisionnement.
- Le modèle d'adversaire du ML : qui attaque les systèmes d'IA et pourquoi.
OWASP Top 10 pour les applications LLM
- Injection de prompts : vecteurs d'attaque directs et indirects.
- Gestion non sécurisée des sorties et falsification de requêtes entre plugins (Cross-Plugin Request Forgery).
- Empoisonnement des données d'entraînement et vulnérabilités de la chaîne d'approvisionnement.
- Dénégation de service contre les modèles, divulgation d'informations sensibles et autorité excessive.
- TP pratique : exploitation de chaque catégorie OWASP contre une application de test.
Tests d'intrusion sur l'injection de prompts et le jailbreak
- Taxonomie des techniques d'injection : directe, indirecte, multi-étapes et multimodale.
- Red teaming automatisé avec Giskard, Garak et des outils de fuzzing personnalisés.
- Classification du jailbreak et évaluation des défenses.
- Création d'un environnement de red teaming pour la sécurité continue des LLM.
Attaques au niveau du modèle et défenses associées
- Extraction de modèles : vol des poids et fonctionnalités du modèle via des requêtes API.
- Inférence d'appartenance (membership inference) : déterminer si une donnée a été utilisée dans l'ensemble d'entraînement.
- Exemples adversariaux : perturbations conçues pour tromper les classificateurs et les plongements (embeddings).
- Empoisonnement des données : corruption des données d'entraînement pour induire des portes dérobées ou dégrader les performances.
Contrôles de sécurité des entrées et sorties
- Nettoyage des entrées au-delà des défenses web traditionnelles.
- Filtrage des sorties : toxicité, fuite de données personnelles (PII), exécution de code halluciné.
- Les garde-fous (guardrails) comme infrastructure de sécurité : NeMo, Guardrails AI et politiques personnalisées.
- Application des formats de sortie structurés comme périmètre de sécurité.
Sécurité de la chaîne d'approvisionnement en IA
- Provenance des modèles : vérification de l'authenticité et de l'intégrité du modèle.
- Scan des dépendances pour les frameworks ML et les formats de modèles.
- Déploiement sécurisé des modèles : sandboxing, isolation réseau et accès de moindre privilège.
- Vérification des modèles fine-tunés et communautaires pour détecter les malwares intégrés.
Sécurité opérationnelle des systèmes d'IA
- Contrôle d'accès pour les points de terminaison des modèles, les entrepôts vectoriels et les outils d'agent.
- Journalisation des audits pour chaque interaction et décision du modèle.
- Réponse aux incidents pour les violations spécifiques à l'IA : lorsque le modèle lui-même est compromis.
- Tests de sécurité continus dans la CI/CD pour les pipelines ML.
Mise en place d'un programme de sécurité pour l'IA
- Modèle de maturité de la sécurité de l'IA et feuille de route.
- Intégration de la sécurité de l'IA dans les programmes existants de sécurité des applications (AppSec) et du cloud.
- Cadres de gouvernance et réglementations émergentes pour les systèmes d'IA.
- Création et maintenance d'un jeu de procédures organisationnel pour la sécurité de l'IA.
Pré requis
- Expérience du déploiement de modèles ML ou d'applications LLM en production.
- Connaissance des concepts de sécurité, y compris l'authentification, l'autorisation et la modélisation des menaces.
- Maîtrise de Python pour les exercices de tests adversariaux.
Public visé
- Ingénieurs en sécurité élargissant leur champ d'action aux surfaces de menace AI/ML.
- Ingénieurs ML responsables de la sûreté et de la robustesse des modèles.
- Membres des équipes de red team intégrant les systèmes d'IA dans leur périmètre de test.
Nos clients témoignent (1)
inventorier et identifier les différentes expositions aux risques au sein de l'IA
Gary Cook - Cybersecurity and Information Technology Risk Division
Formation - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
Traduction automatique
