Formation Sécurité GenAI OWASP

Jour 1 : Fondements et menaces principales

Module 1 : Introduction au projet Sécurité GenAI d'OWASP (1 heure)

Objectifs pédagogiques :

• Comprendre l'évolution des OWASP Top 10 vers les défis de sécurité spécifiques à la GenAI
• Explorer l'écosystème et les ressources du projet Sécurité GenAI d'OWASP
• Identifier les principales différences entre la sécurité des applications traditionnelles et la sécurité de l'IA

Sujets abordés :

• Aperçu de la mission et du périmètre du projet Sécurité GenAI d'OWASP
• Introduction au cadre Threat Defense COMPASS
• Compréhension du paysage de la sécurité IA et des exigences réglementaires
• Surfaces d'attaque IA par rapport aux vulnérabilités des applications web traditionnelles

Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces

Module 2 : OWASP Top 10 pour les LLM - Partie 1 (2,5 heures)

Objectifs pédagogiques :

• Maîtriser les cinq vulnérabilités LLM critiques
• Comprendre les vecteurs d'attaque et les techniques d'exploitation
• Appliquer des stratégies d'atténuation pratiques

Sujets abordés :

LLM01 : Injection de prompts

• Techniques d'injection de prompts directe et indirecte
• Attaques par instructions cachées et contamination croisée des prompts
• Exemples pratiques : Jailbreaking des chatbots et contournement des mesures de sécurité
• Stratégies de défense : Sanitisation des entrées, filtrage des prompts, confidentialité différentielle

LLM02 : Divulgation d'informations sensibles

• Extraction des données d'entraînement et fuite des prompts système
• Analyse du comportement du modèle pour la détection de la divulgation d'informations sensibles
• Implications en matière de confidentialité et considérations de conformité réglementaire
• Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données

LLM03 : Vulnérabilités de la chaîne d'approvisionnement

• Dépendances aux modèles tiers et sécurité des plugins
• Jeux de données d'entraînement compromis et empoisonnement des modèles
• Évaluation des risques des fournisseurs de composants IA
• Pratiques de déploiement et de vérification sécurisés des modèles

Exercice pratique : Démo en laboratoire des attaques par injection de prompts contre des applications LLM vulnérables et mise en œuvre de mesures défensives

Module 3 : OWASP Top 10 pour les LLM - Partie 2 (2 heures)

Sujets abordés :

LLM04 : Empoisonnement des données et des modèles

• Techniques de manipulation des données d'entraînement
• Modification du comportement du modèle par des entrées empoisonnées
• Attaques par portes dérobées et vérification de l'intégrité des données
• Prévention : Pipelines de validation des données, suivi de l'origine

LLM05 : Traitement incorrect des sorties

• Traitement non sécurisé du contenu généré par les LLM
• Injection de code via les sorties générées par l'IA
• Scripting inter-site (XSS) via les réponses de l'IA
• Frameworks de validation et de sanitisation des sorties

Exercice pratique : Simulation d'attaques par empoisonnement des données et mise en œuvre de mécanismes de validation robustes des sorties

Module 4 : Menaces LLM avancées (1,5 heure)

Sujets abordés :

LLM06 : Agence excessive

• Risques liés à la prise de décision autonome et violations de limites
• Autorité des agents et gestion des autorisations
• Interactions système non intentionnelles et escalade de privilèges
• Mise en œuvre de garde-fous et de contrôles de supervision humaine

LLM07 : Fuite des prompts système

• Vulnérabilités d'exposition des instructions système
• Divulgation decredentials et de logique via les prompts
• Techniques d'attaque pour extraire les prompts système
• Sécurisation des instructions système et de la configuration externe

Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès et une surveillance appropriés

Jour 2 : Menaces avancées et mise en œuvre

Module 5 : Menaces IA émergentes (2 heures)

Objectifs pédagogiques :

• Comprendre les menaces de sécurité IA de pointe
• Mettre en œuvre des techniques avancées de détection et de prévention
• Concevoir des systèmes IA résilients face aux attaques sophistiquées

Sujets abordés :

LLM08 : Faiblesses des vecteurs et des embeddings

• Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles
• Empoisonnement des embeddings et attaques de manipulation de similarité
• Exemples adverses dans la recherche sémantique
• Protection des magasins de vecteurs et mise en œuvre de la détection d'anomalies

LLM09 : Désinformation et fiabilité des modèles

• Détection et atténuation des hallucinations
• Amplification des biais et considérations d'équité
• Mécanismes de vérification des faits et des sources
• Validation du contenu et intégration de la supervision humaine

LLM10 : Consommation illimitée

• Épuisement des ressources et attaques par déni de service
• Stratégies de limitation de débit et de gestion des ressources
• Optimisation des coûts et contrôles budgétaires
• Systèmes de surveillance des performances et d'alertes

Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations

Module 6 : Sécurité de l'IA agentique (2 heures)

Objectifs pédagogiques :

• Comprendre les défis de sécurité uniques des agents IA autonomes
• Appliquer la taxonomie OWASP Agentic AI à des systèmes réels
• Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents

Sujets abordés :

• Introduction à l'IA agentique et aux systèmes autonomes
• Taxonomie des menaces OWASP Agentic AI : Conception, Mémoire, Planification, Utilisation d'outils, Déploiement
• Sécurité des systèmes multi-agents et risques de coordination
• Mauvaise utilisation des outils, empoisonnement de la mémoire et détournement de l'objectif
• Sécurisation de la communication des agents et des processus de prise de décision

Exercice pratique : Modélisation des menaces à l'aide de la taxonomie OWASP Agentic AI sur un système de service client multi-agents

Module 7 : Mise en œuvre d'OWASP Threat Defense COMPASS (2 heures)

Objectifs pédagogiques :

• Maîtriser l'application pratique de Threat Defense COMPASS
• Intégrer l'évaluation des menaces IA dans les programmes de sécurité organisationnels
• Développer des stratégies complètes de gestion des risques IA

Sujets abordés :

• Approfondissement de la méthodologie Threat Defense COMPASS
• Intégration de la boucle OODA : Observer, Se positionner, Décider, Agir
• Cartographie des menaces aux frameworks MITRE ATT&CK et ATLAS
• Construction de tableaux de bord de stratégie de résilience face aux menaces IA
• Intégration avec les outils et processus de sécurité existants

Exercice pratique : Évaluation complète des menaces à l'aide de COMPASS pour un scénario de déploiement Microsoft Copilot

Module 8 : Mise en œuvre pratique et meilleures pratiques (2,5 heures)

Objectifs pédagogiques :

• Concevoir des architectures IA sécurisées dès le départ
• Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes IA
• Créer des cadres de gouvernance pour la sécurité IA

Sujets abordés :

Cycle de vie de développement IA sécurisé :

• Principes de sécurité par conception pour les applications IA
• Pratiques de revue de code pour les intégrations LLM
• Méthodologies de test et scan des vulnérabilités
• Sécurité du déploiement et durcissement en production

Surveillance et détection :

• Exigences de journalisation et de surveillance spécifiques à l'IA
• Détection d'anomalies pour les systèmes IA
• Procédures de réponse aux incidents pour les événements de sécurité IA
• Techniques de forensique et d'enquête

Gouvernance et conformité :

• Frameworks et politiques de gestion des risques IA
• Considérations de conformité réglementaire (RGPD, AI Act, etc.)
• Évaluation des risques des tiers pour les fournisseurs d'IA
• Sensibilisation à la sécurité pour les équipes de développement IA

Exercice pratique : Conception d'une architecture de sécurité complète pour un chatbot IA d'entreprise, incluant la surveillance, la gouvernance et les procédures de réponse aux incidents

Module 9 : Outils et technologies (1 heure)

Objectifs pédagogiques :

• Évaluer et mettre en œuvre des outils de sécurité IA
• Comprendre le paysage actuel des solutions de sécurité IA
• Construire des capacités pratiques de détection et de prévention

Sujets abordés :

• Écosystème d'outils de sécurité IA et paysage des fournisseurs
• Outils de sécurité open source : Garak, PyRIT, Giskard
• Solutions commerciales pour la sécurité et la surveillance IA
• Modèles d'intégration et stratégies de déploiement
• Critères de sélection d'outils et frameworks d'évaluation

Exercice pratique : Démo pratique des outils de test de sécurité IA et planification de la mise en œuvre

Module 10 : Tendances futures et conclusion (1 heure)

Objectifs pédagogiques :

• Comprendre les menaces émergentes et les futurs défis de sécurité
• Développer des stratégies d'apprentissage continu et d'amélioration
• Créer des plans d'action pour les programmes de sécurité IA organisationnels

Sujets abordés :

• Menaces émergentes : Deepfakes, injection de prompts avancée, inversion de modèle
• Développements et feuille de route futurs du projet GenAI d'OWASP
• Construction de communautés de sécurité IA et partage des connaissances
• Amélioration continue et intégration de l'intelligence sur les menaces

Exercice de planification d'action : Élaborer un plan d'action de 90 jours pour mettre en œuvre les pratiques de sécurité GenAI d'OWASP dans les organisations des participants