Formation Sécurité OWASP pour l'IA Générative

Jour 1 : Fondements et menaces principales

Module 1 : Introduction au projet OWASP pour la sécurité de l'IA générative (1 heure)

Objectifs d'apprentissage :

• Comprendre l'évolution depuis l'OWASP Top 10 vers les défis spécifiques à la sécurité de l'IA générative.
• Explorer l'écosystème et les ressources du projet OWASP pour la sécurité de l'IA générative.
• Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité IA.

Sujets abordés :

• Aperçu de la mission et du périmètre du projet OWASP pour la sécurité de l'IA générative.
• Introduction au cadre Threat Defense COMPASS.
• Compréhension du paysage de la sécurité IA et des exigences réglementaires.
• Surfaces d'attaque IA vs vulnérabilités traditionnelles des applications web.

Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces.

Module 2 : OWASP Top 10 pour les LLM - Partie 1 (2,5 heures)

Objectifs d'apprentissage :

• Maîtriser les cinq premières vulnérabilités critiques des LLM.
• Comprendre les vecteurs d'attaque et les techniques d'exploitation.
• Appliquer des stratégies d'atténuation pratiques.

Sujets abordés :

LLM01 : Injection d'invite (Prompt Injection)

• Techniques directes et indirectes d'injection d'invite.
• Attaques par instructions cachées et contamination croisée des invites.
• Exemples pratiques : Contournement des chatbots (jailbreaking) et contournement des mesures de sécurité.
• Stratégies de défense : Nettoyage des entrées, filtrage des invites, confidentialité différentielle.

LLM02 : Divulgation d'informations sensibles

• Extraction des données d'entraînement et fuite du prompt système.
• Analyse du comportement du modèle pour exposer les informations sensibles.
• Implications en matière de confidentialité et considérations de conformité réglementaire.
• Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données.

LLM03 : Vulnérabilités de la chaîne d'approvisionnement

• Dépendances aux modèles tiers et sécurité des plugins.
• Ensembles d'entraînement compromis et empoisonnement des modèles.
• Évaluation des risques fournisseurs pour les composants IA.
• Bonnes pratiques de déploiement sécurisé et de vérification des modèles.

Exercice pratique : Laboratoire démontrant des attaques par injection d'invite contre des applications LLM vulnérables et la mise en œuvre de mesures défensives.

Module 3 : OWASP Top 10 pour les LLM - Partie 2 (2 heures)

Sujets abordés :

LLM04 : Empoisonnement des données et des modèles

• Techniques de manipulation des données d'entraînement.
• Modification du comportement du modèle par des entrées empoisonnées.
• Attaques backdoor et vérification de l'intégrité des données.
• Prévention : Pipelines de validation des données, suivi de la provenance.

LLM05 : Gestion incorrecte des sorties

• Traitement non sécurisé du contenu généré par le LLM.
• Injection de code via les sorties générées par l'IA.
• Cross-site scripting (XSS) via les réponses IA.
• Cadres de validation et de nettoyage des sorties.

Exercice pratique : Simulation d'attaques par empoisonnement des données et mise en œuvre de mécanismes robustes de validation des sorties.

Module 4 : Menaces LLM avancées (1,5 heure)

Sujets abordés :

LLM06 : Excès d'agence (Excessive Agency)

• Risques de prise de décision autonome et violations des limites.
• Gestion de l'autorité et des permissions des agents.
• Interactions système involontaires et élévation de privilèges.
• Mise en œuvre de garde-fous et de contrôles de supervision humaine.

LLM07 : Fuite du prompt système

• Vulnérabilités exposant les instructions système.
• Divulgation d'identifiants et de logique via les invites.
• Techniques d'attaque pour extraire les prompts système.
• Sécurisation des instructions système et de la configuration externe.

Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès et de surveillance appropriés.

Jour 2 : Menaces avancées et mise en œuvre

Module 5 : Menaces IA émergentes (2 heures)

Objectifs d'apprentissage :

• Comprendre les menaces de pointe en sécurité IA.
• Mettre en œuvre des techniques avancées de détection et de prévention.
• Concevoir des systèmes IA résilients face aux attaques sophistiquées.

Sujets abordés :

LLM08 : Faiblesses des vecteurs et des embeddings

• Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles.
• Empoisonnement des embeddings et attaques de manipulation de similarité.
• Exemples adversariaux dans la recherche sémantique.
• Sécurisation des magasins vectoriels et mise en œuvre de la détection d'anomalies.

LLM09 : Désinformation et fiabilité du modèle

• Détection et atténuation des hallucinations.
• Amplification des biais et considérations d'équité.
• Mécanismes de vérification des faits et de la source.
• Validation du contenu et intégration de la supervision humaine.

LLM10 : Consommation non bornée (Unbounded Consumption)

• Épuisement des ressources et attaques par déni de service.
• Stratégies de limitation du débit et de gestion des ressources.
• Optimisation des coûts et contrôles budgétaires.
• Systèmes de surveillance des performances et d'alerte.

Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations.

Module 6 : Sécurité de l'IA agentique (2 heures)

Objectifs d'apprentissage :

• Comprendre les défis de sécurité uniques des agents IA autonomes.
• Appliquer la taxonomie OWASP pour l'IA agentique aux systèmes réels.
• Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents.

Sujets abordés :

• Introduction à l'IA agentique et aux systèmes autonomes.
• Taxonomie des menaces OWASP pour l'IA agentique : Conception de l'agent, mémoire, planification, utilisation d'outils, déploiement.
• Sécurité et risques de coordination des systèmes multi-agents.
• Attaques par mauvaise utilisation des outils, empoisonnement de la mémoire et hijacking des objectifs.
• Sécurisation de la communication et des processus décisionnels des agents.

Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP pour l'IA agentique sur un système multi-agents de service client.

Module 7 : Implémentation d'OWASP Threat Defense COMPASS (2 heures)

Objectifs d'apprentissage :

• Maîtriser l'application pratique de Threat Defense COMPASS.
• Intégrer l'évaluation des menaces IA dans les programmes de sécurité organisationnels.
• Développer des stratégies complètes de gestion des risques IA.

Sujets abordés :

• Plongée approfondie dans la méthodologie Threat Defense COMPASS.
• Intégration du cycle OODA (Observer, Orienter, Décider, Agir).
• Cartographie des menaces vers les cadres MITRE ATT&CK et ATLAS.
• Construction de tableaux de bord de stratégie de résilience aux menaces IA.
• Intégration avec les outils et processus de sécurité existants.

Exercice pratique : Évaluation complète des menaces en utilisant COMPASS pour un scénario de déploiement Microsoft Copilot.

Module 8 : Mise en œuvre pratique et meilleures pratiques (2,5 heures)

Objectifs d'apprentissage :

• Concevoir des architectures IA sécurisées dès la conception.
• Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes IA.
• Créer des cadres de gouvernance pour la sécurité IA.

Sujets abordés :

Cycle de développement sécurisé de l'IA :

• Principes de sécurité intégrée (security-by-design) pour les applications IA.
• Pratiques de revue de code pour les intégrations LLM.
• Méthodologies de test et analyse statique des vulnérabilités.
• Sécurité du déploiement et durcissement en production.

Surveillance et détection :

• Exigences spécifiques de journalisation et de surveillance pour l'IA.
• Détection d'anomalies pour les systèmes IA.
• Procédures de réponse aux incidents pour les événements de sécurité IA.
• Techniques de forensique et d'enquête.

Gouvernance et conformité :

• Cadres et politiques de gestion des risques IA.
• Considérations de conformité réglementaire (RGPD, AI Act, etc.).
• Évaluation des risques tiers pour les fournisseurs IA.
• Formation à la sensibilisation à la sécurité pour les équipes de développement IA.

Exercice pratique : Concevoir une architecture de sécurité complète pour un chatbot d'entreprise, incluant la surveillance, la gouvernance et les procédures de réponse aux incidents.

Module 9 : Outils et technologies (1 heure)

Objectifs d'apprentissage :

• Évaluer et implémenter des outils de sécurité IA.
• Comprendre le paysage actuel des solutions de sécurité IA.
• Développer des capacités pratiques de détection et de prévention.

Sujets abordés :

• Écosystème d'outils de sécurité IA et paysage des fournisseurs.
• Outils de sécurité open source : Garak, PyRIT, Giskard.
• Solutions commerciales pour la sécurité et la surveillance IA.
• Patterns d'intégration et stratégies de déploiement.
• Critères de sélection des outils et cadres d'évaluation.

Exercice pratique : Démonstration pratique des outils de test de sécurité IA et planification de l'implémentation.

Module 10 : Tendances futures et conclusion (1 heure)

Objectifs d'apprentissage :

• Comprendre les menaces émergentes et les futurs défis de sécurité.
• Développer des stratégies d'apprentissage continu et d'amélioration.
• Élaborer des plans d'action pour les programmes de sécurité IA organisationnels.

Sujets abordés :

• Menaces émergentes : Deepfakes, injection d'invite avancée, inversion de modèle.
• Évolutions futures du projet OWASP pour l'IA générative et feuille de route.
• Construction de communautés de sécurité IA et partage des connaissances.
• Amélioration continue et intégration de la veille stratégique (threat intelligence).

Exercice de planification d'action : Élaborer un plan d'action sur 90 jours pour mettre en œuvre les pratiques de sécurité OWASP pour l'IA générative dans les organisations des participants.