Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 21 heures
Plan du cours
Fondements du débogage et de l'évaluation Mastra
- Compréhension des modèles de comportement des agents et des modes d'échec
- Principes fondamentaux du débogage dans Mastra
- Évaluation des actions déterministes et non déterministes des agents
Configuration des environnements de test d'agents
- Configuration de boîtes à sable de test et d'espaces d'évaluation isolés
- Capture de journaux, de traces et de télémétrie pour une analyse détaillée
- Préparation des jeux de données et des prompts pour un test structuré
Débogage du comportement des agents IA
- Suivi des chemins de décision et des signaux de raisonnement interne
- Identification des hallucinations, des erreurs et des comportements non intentionnels
- Utilisation de tableaux de bord d'observabilité pour l'investigation des causes racines
Métriques d'évaluation et cadres de benchmarking
- Définition de métriques d'évaluation quantitatives et qualitatives
- Mesure de l'exactitude, de la cohérence et de la conformité contextuelle
- Application de jeux de données de référence pour une évaluation reproductible
Génie de la fiabilité pour les agents IA
- Conception de tests de fiabilité pour les agents de longue durée
- Détection du dérive (drift) et de la dégradation des performances des agents
- Mise en œuvre de mesures de sauvegarde pour les workflows critiques
Processus d'assurance qualité et automatisation
- Construction de pipelines QA pour une évaluation continue
- Automatisation des tests de régression pour les mises à jour des agents
- Intégration de la QA avec les workflows CI/CD et d'entreprise
Techniques avancées pour la réduction des hallucinations
- Stratégies de prompt engineering pour réduire les sorties indésirables
- Boucles de validation et mécanismes d'autovérification
- Expérimentation avec des combinaisons de modèles pour améliorer la fiabilité
Rapports, surveillance et amélioration continue
- Élaboration de rapports QA et de fiches de score des agents
- Surveillance du comportement à long terme et des motifs d'erreurs
- Itération sur les cadres d'évaluation pour les systèmes évolutifs
Synthèse et prochaines étapes
Pré requis
- Comprendre le comportement des agents IA et les interactions des modèles
- Expérience dans le débogage ou le test de systèmes logiciels complexes
- Connaissance des outils d'observabilité ou de journalisation
Public cible
- Ingénieurs QA
- Ingénieurs en fiabilité IA
- Développeurs responsables de la qualité et des performances des agents
