Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction au LLMOps
- LLMOps vs MLOps : les défis uniques de l'exploitation des LLM
- Cycle de vie des applications LLM : invite, évaluation, déploiement, surveillance
- Liste de contrôle de préparation à la production pour les applications GenAI
Gestion et versioning des invites (prompts)
- Systèmes de templating des invites et injection de variables
- Version sémantique des invites avec tests de régression automatisés
- Régistres d'invites et workflows de collaboration
Évaluation des LLM à grande échelle
- Dimensions d'évaluation : précision, pertinence, sécurité, ancrage (groundedness)
- Métriques « LLM-as-judge » et pipelines d'évaluation humaine
- Frameworks d'évaluation automatisés : RAGAS, DeepEval et évaluateurs personnalisés
- Barres qualité dans les CI/CD pour les déploiements de LLM
Garde-fous de sécurité et gouvernance du contenu
- Garde-fous d'entrée et de sortie : NeMo Guardrails et Guardrails AI
- Détection des informations personnelles identifiables (PII), filtrage de la toxicité et délimitation des sujets
- Stratégies de défense contre les jailbreak et l'injection d'invites
- Tests adversariaux (red-teaming) des applications LLM pour garantir la sécurité
Observabilité et surveillance des LLM
- Télémesure : utilisation de tokens, latence, coût et métriques de qualité
- Détection de la dérive dans les sorties des LLM et les espaces d'intégration (embedding spaces)
- Pistage au niveau des sessions pour les conversations multi-tours avec des agents
- Tableaux de bord et alertes avec LangSmith, Arize et OpenTelemetry
Passerelle IA et orchestration des modèles
- Routage multi-providers avec LiteLLM et Portkey
- Stratégies de repli, logique de retry et disjoncteurs (circuit breakers)
- Sélection de modèles consciente des coûts et équilibrage de charge
- Limitation du débit, gestion des quotas et gouvernance des clés API
Optimisation des performances
- Mise en cache sémantique avec des vector stores et stratégies de correspondance exacte
- Application de sorties structurées via un décodage contraint
- Modes de groupement (batching), de streaming et de concurrence
- Optimisation de la latence entre différents providers de modèles
Gouvernance, conformité et audit
- Traces d'audit des LLM : journaux d'invites, journaux de réponses et traçabilité des décisions
- Considérations relatives au séjour des données et à la confidentialité pour les API LLM
- Politiques en tant que code (Policy-as-code) pour l'utilisation des LLM au sein des organisations
- Élaboration d'un guide interne des opérations sur les LLM
Pré requis
- Expérience dans la construction ou l'intégration d'applications propulsées par des LLM.
- Connaissance de Python et des API REST.
- Compréhension de base des concepts de prompt engineering (ingénierie des invites).
Public visé
- Ingénieurs ML et praticiens du MLOps passant aux opérations sur les LLM.
- Ingénieurs plateforme responsables de l'infrastructure LLM.
- Chefs techniques gérant les déploiements GenAI en production.
14 Heures
Nos clients témoignent (2)
utilisation de prompts appropriés et efficaces
Marses Pacaldo
Formation - Generative AI and Prompt Engineering for Corporate Professionals
Traduction automatique
Le style interactif, les exercices
Tamas Tutuntzisz
Formation - Introduction to Prompt Engineering
Traduction automatique