Plan du cours
Module 1 — Comment les applications IA se brisent
Laboratoire : aucun — présentation de l'architecture et discussion
Modèle mental du constructeur concernant la surface d'attaque.
Sujets :
- Architectures LLM, RAG et agents du point de vue du développeur
- Le cycle de vie requête/réponse d'une fonctionnalité IA
- Flux de prompts : messages système, développeur, utilisateur et outils
- Où les données non fiables entrent (et ré-entrent) dans le modèle
- Les frontières de confiance qu'un développeur possède par rapport à celles héritées
- Pourquoi les attaques IA sont sémantiques, pas syntaxiques
- Cartographie des 10 menaces LLM d'OWASP vers le code que vous écrivez
Sage-folie clé : Chaque endroit où un texte non fiable atteint le modèle — ou où la sortie du modèle atteint votre code — est une frontière dont vous avez la charge.
Module 2 — Injection de prompt pour les constructeurs
Laboratoire : Lab 01 — 01-Prompt-Injection
Le « moment injection SQL » pour l'IA — mais vous ne pouvez pas l'échapper complètement.
Sujets :
- Injection de prompt directe vs indirecte
- Instructions cachées dans les documents, pages web et sorties d'outils
- Brisures de sécurité (jailbreaks) et confusion de rôle
- Pourquoi la séparation instructions/données est cruciale
- Conception défensive des prompts (délimiteurs, structure, autorité minimale)
- Pourquoi la prévention est partielle — concevez pour le confinement
Pratique :
- attaquez votre propre chatbot
- contournez un filtre naïf
- restructurez le prompt pour réduire le rayon d'explosion
Module 3 — Traiter la sortie du modèle comme non fiable
Laboratoire : Lab 02 — 02-Output-Handling
La classe de bogues que les développeurs sous-estiment le plus.
Sujets :
- Sortie du modèle en tant qu'entrée non fiable pour le reste de l'application
- Gestion non sécurisée des sorties (LLM02) : XSS, SSRF, injection commande/SQL en aval
- Ne jamais évaluer/exécuter/rendre la sortie brute du modèle
- Sorties structurées et validation de schéma
- Encodage des sorties et listes d'autorisation (allowlists)
- Rendu sûr dans les contextes web/UI
Pratique :
- trouvez et corrigez une vulnérabilité de gestion non sécurisée des sorties
- imposez un schéma JSON sur les réponses du modèle
Module 4 — Sécurité RAG
Laboratoire : Lab 03 — 03-RAG-Security
Une des plus grandes nouvelles surfaces d'attaque — et elle est à votre charge de construire.
Sujets :
- Menaces contre les bases de données vectorielles et la récupération
- Sanitisation lors de l'ingestion
- Provenance des documents et notation de confiance
- Mise à l'échelle de la récupération et isolement des métadonnées
- Instructions cachées dans le contenu récupéré (injection indirecte)
- Exfiltration de données via la récupération
Pratique : - empoisonnez un pipeline RAG avec un document malveillant - ajoutez la sanitisation lors de l'ingestion et la mise à l'échelle de la récupération pour le défendre
Module 5 — Sécurité des agents et des outils
Laboratoire : Lab 04 — 04-Agent-Safety
Où un bug devient une action.
Sujets :
- Agence excessive (LLM06) et abus d'outils
- Moindre privilège pour les agents
- Listes d'autorisation des outils et validation des arguments
- Gates d'approbation et humain dans la boucle
- Mise en bac à sable (sandboxing) de l'exécution des outils
- Identifiants limités et à durée de vie courte pour les agents
- Limitation des boucles autonomes et du chaînage
Pratique :
- sécurisez un agent ayant trop de permissions
- ajoutez une liste d'autorisation + une gate d'approbation à un outil dangereux
Module 6 — Secrets, identité et coûts
Laboratoire : Lab 05 — 05-Secrets-and-Cost
Les erreurs opérationnelles qui blessent le plus rapidement.
Sujets :
- Gestion des clés API et des secrets (jamais dans les prompts, le code ou les logs)
- Authentification et autorisation par utilisateur pour les fonctionnalités IA
- Propagation de l'identité utilisateur aux outils et à la récupération
- Déni de portefeuille : consommation illimitée de tokens/coûts
- Limites de taux, budgets de tokens et timeouts
- Journalisation sans divulguer de secrets ou de données personnelles (PII)
Pratique :
- retirez les secrets du chemin des prompts/du code
- ajoutez des limites de taux par utilisateur et un budget de tokens/coûts
Module 7 — Bibliothèques de garde-fous (Guardrails)
Laboratoire : Lab 06 — 06-Guardrails
Acheter vs construire pour la sécurité des entrées/sorties.
Sujets :
- Ce que font les frameworks de garde-fous (et ce qu'ils ne font pas)
- Garde-fous d'entrée : classificateurs d'injection/PII/thèmes
- Garde-fous de sortie : validation, filtrage, vérifications d'ancrage
- Quand un garde-fou est approprié par rapport à votre propre contrôle déterministe
- Couche de garde-fous avec les contrôles des modules précédents
- Performance, faux positifs et modes d'échec
Pratique :
- ajoutez une couche de garde-fou entrée/sortie à une fonctionnalité IA
- mesurez ce qu'elle capture et ce qu'elle manque
Module 8 — Test d'intrusion (Red-teaming) de votre propre application
Laboratoire : Lab 07 — 07-Red-Teaming
Déployez-la comme si un attaquant l'avait déjà compromise.
Sujets :
- Construction d'une suite d'abus/tests pour les fonctionnalités IA
- Tests automatisés d'injection de prompt et de brisures (jailbreaks)
- Régression des garde-fous et politiques
- Exécution des contrôles de sécurité IA dans CI
- Chaîne d'approvisionnement des modèles et dépendances (provenance, pinning)
- Une checklist de pré-déploiement pour la sécurité des fonctionnalités IA
Pratique :
- écrivez des tests red-teaming automatisés pour une fonctionnalité IA
- intégrez-les dans un contrôle CI
Module 9 — Notation de la sécurité IA : Le cadre SAIS-100
Laboratoire : aucun — exercice de notation (utilise l'application Capstone)
Transformez tout ce que vous avez construit en une score répétable.
Sujets :
- L'Hexagone de la sécurité IA : six questions au lieu de « est-ce sécurisé ? »
- Les six catégories notées (Données, Prompt, Agent, Chaîne d'approvisionnement, Détection, Gouvernance)
- La grille de 100 points et ses pondérations
- Bandes de verdict et la règle de survoltage unique
- L'échelle éléphant du Score Sécurité IA (SAIS-100) en tant que cadre rébrandé et exécutable
- Notation avant/après durcissement comme métrique
Pratique :
- notez l'application Capstone sur l'échelle de 100 points
- identifiez le changement unique qui augmente le plus le score
Sage-folie clé : Les trois catégories les plus pondérées correspondent aux frontières de confiance qu'un développeur possède — donc le score mesure exactement ce que ce cours a enseigné.
Projet Capstone
Les participants durcissent une application IA délibérément vulnérable de bout en bout.
L'application de départ contient :
- un prompt injectable
- une gestion des sorties non sécurisée
- un pipeline RAG non mis à l'échelle
- un agent sur-permissionné
- des secrets dans le chemin du prompt
- aucune limite de coût
Les participants appliquent les notions du cours :
- restructurent les prompts pour le confinement
- valident et encodez les sorties du modèle
- sanitisez et mettez à l'échelle la récupération
- appliquent le moindre privilège et des gates d'approbation à l'agent
- retirez les secrets et ajoutez des limites de coûts/taux
- ajoutez des garde-fous et des tests red-teaming automatisés
Livrable : une application durcie plus une auto-évaluation courte sur les 10 menaces LLM d'OWASP.
Carte Module - Laboratoire
Les laboratoires s'exécutent dans l'ordre des labos, qui suit l'ordre des modules. Le cours comporte 9 modules et 7 labos : le Module 1 est une présentation de l'architecture/discussion et le Module 9 est un exercice de notation, donc aucun n'a son propre dossier de labo.
- Lab 01 - 01-Prompt-Injection : Attaquez votre chatbot & concevez pour le confinement (Module 2)
- Lab 02 - 02-Output-Handling : Corrigez un bug de gestion non sécurisée des sorties (Module 3)
- Lab 03 - 03-RAG-Security : Empoisonnez puis défendez un pipeline RAG (Module 4)
- Lab 04 - 04-Agent-Safety : Sécurisez un agent sur-permissionné (Module 5)
- Lab 05 - 05-Secrets-and-Cost : Sécurisez les clés + ajoutez des garde-fous de coût (Module 6)
- Lab 06 - 06-Guardrails : Ajoutez une couche de garde-fou entrée/sortie (Module 7)
- Lab 07 - 07-Red-Teaming : Tests red-teaming automatisés dans CI (Module 8)
Le Module 1 (Comment les applications IA se brisent) n'a pas de labo — il s'exécute en tant que présentation de l'architecture et discussion. Le Module 9 (Notation de la sécurité IA) n'a pas de dossier de labo — il s'exécute en tant qu'exercice de notation contre l'application Capstone.
Pré requis
- Niveau : Intermédiaire.
- Les participants doivent être à l'aise avec : la création et la consommation d'APIs REST, un langage de script (les laboratoires utilisent Python), l'authentification application de base, git et la ligne de commande (CLI).
- Aucune connaissance préalable en apprentissage automatique n'est requise — il s'agit d'un cours de sécurité applicative destiné aux personnes qui construisent des applications avec des LLMs, pas à celles qui les entraînent.
Public cible
- Ingénieurs logiciels / backend développant des fonctionnalités LLM
- Développeurs full-stack et API
- Ingénieurs en applications IA/ML
- Ingénieurs plateforme déployant copilotes et agents
- Chefs techniques (tech leads) et ingénieurs seniors responsables des fonctionnalités IA
Nos clients témoignent (2)
J'ai vraiment apprécié d'apprendre sur les attaques par IA et les outils disponibles pour commencer à pratiquer et à utiliser activement pour les tests de sécurité. J'ai acquis beaucoup de connaissances que je n'avais pas au début, et le cours a répondu à mes attentes. Ma partie préférée de la formation était le navigateur Comet, et j'ai été impressionné par ce qu'il pouvait faire. C'est assurément quelque chose que je vais explorer davantage. Globalement, c'était un excellent cours et j'ai beaucoup apprécié d'apprendre le Top 10 OWASP GenAI.
Patrick Collins - Optum
Formation - OWASP GenAI Security
Traduction automatique
Les connaissances professionnelles et la manière dont il les a présentées devant nous
Miroslav Nachev - PUBLIC COURSE
Formation - Cybersecurity in AI Systems
Traduction automatique