Plan du cours
Introduction à l'apprentissage par renforcement et à l'IA agentique
- Prise de décision sous incertitude et planification séquentielle
- Composants clés du RL : agents, environnements, états et récompenses
- Rôle du RL dans les systèmes d'IA adaptatifs et agentiques
Processus décisionnels de Markov (MDP)
- Définition formelle et propriétés des MDP
- Fonctions de valeur, équations de Bellman et programmation dynamique
- Évaluation, amélioration et itération des politiques
Apprentissage par renforcement sans modèle (Model-Free)
- Apprentissage Monte Carlo et Temporal-Difference (TD)
- Q-learning et SARSA
- Pratique : mise en œuvre de méthodes RL tabulaires en Python
Apprentissage par renforcement profond (Deep RL)
- Combinaison de réseaux de neurones et de RL pour l'approximation de fonctions
- Réseaux Q profonds (DQN) et réplique d'expérience (experience replay)
- Architectures Actor-Critic et gradients de politique
- Pratique : entraînement d'un agent à l'aide de DQN et PPO avec Stable-Baselines3
Stratégies d'exploration et façonnage des récompenses (Reward Shaping)
- Équilibre entre exploration et exploitation (ε-greedy, UCB, méthodes d'entropie)
- Conception de fonctions de récompense et évitement des comportements indésirables
- Façonnage des récompenses et apprentissage par curriculum
Sujets avancés en RL et prise de décision
- Apprentissage par renforcement multi-agents et stratégies coopératives
- Apprentissage par renforcement hiérarchique et cadre des options (options framework)
- RL hors ligne (Offline RL) et apprentissage par imitation pour un déploiement plus sûr
Environnements de simulation et évaluation
- Utilisation de OpenAI Gym et d'environnements personnalisés
- Espaces d'actions continus vs discrets
- Métriques de performance, de stabilité et d'efficacité en échantillonnage des agents
Intégration du RL dans les systèmes d'IA agentiques
- Combinaison du raisonnement et du RL dans des architectures d'agents hybrides
- Intégration de l'apprentissage par renforcement avec des agents utilisant des outils
- Considérations opérationnelles pour le passage à l'échelle et le déploiement
Projet de synthèse (Capstone)
- Conception et mise en œuvre d'un agent d'apprentissage par renforcement pour une tâche simulée
- Analyse des performances d'entraînement et optimisation des hyperparamètres
- Démonstration du comportement adaptatif et de la prise de décision dans un contexte agentique
Conclusion et prochaines étapes
Pré requis
- Maîtrise solide de la programmation en Python
- Bonne compréhension des concepts d'apprentissage automatique et d'apprentissage profond
- Familiarité avec l'algèbre linéaire, la probabilité et les méthodes d'optimisation de base
Public cible
- Ingénieurs en apprentissage par renforcement et chercheurs en IA appliquée
- Développeurs en robotique et automatisation
- Équipes d'ingénierie travaillant sur des systèmes d'IA adaptatifs et agentiques
Nos clients témoignent (3)
Le formateur est patient et très aidant. Il maîtrise bien le sujet.
CLIFFORD TABARES - Universal Leaf Philippines, Inc.
Formation - Agentic AI for Business Automation: Use Cases & Integration
Traduction automatique
Bon mélange de connaissances et de pratique
Ion Mironescu - Facultatea S.A.I.A.P.M.
Formation - Agentic AI for Enterprise Applications
Traduction automatique
Le mélange de théorie et de pratique, ainsi que des perspectives de haut niveau et de bas niveau
Ion Mironescu - Facultatea S.A.I.A.P.M.
Formation - Autonomous Decision-Making with Agentic AI
Traduction automatique
