Prenez contact avec nous

Plan du cours

Introduction au LLMOps

  • LLMOps vs MLOps : les défis uniques de l'exploitation des LLM
  • Cycle de vie des applications LLM : invite, évaluation, déploiement, surveillance
  • Liste de contrôle de préparation à la production pour les applications GenAI

Gestion et versioning des invites (prompts)

  • Systèmes de templating des invites et injection de variables
  • Version sémantique des invites avec tests de régression automatisés
  • Régistres d'invites et workflows de collaboration

Évaluation des LLM à grande échelle

  • Dimensions d'évaluation : précision, pertinence, sécurité, ancrage (groundedness)
  • Métriques « LLM-as-judge » et pipelines d'évaluation humaine
  • Frameworks d'évaluation automatisés : RAGAS, DeepEval et évaluateurs personnalisés
  • Barres qualité dans les CI/CD pour les déploiements de LLM

Garde-fous de sécurité et gouvernance du contenu

  • Garde-fous d'entrée et de sortie : NeMo Guardrails et Guardrails AI
  • Détection des informations personnelles identifiables (PII), filtrage de la toxicité et délimitation des sujets
  • Stratégies de défense contre les jailbreak et l'injection d'invites
  • Tests adversariaux (red-teaming) des applications LLM pour garantir la sécurité

Observabilité et surveillance des LLM

  • Télémesure : utilisation de tokens, latence, coût et métriques de qualité
  • Détection de la dérive dans les sorties des LLM et les espaces d'intégration (embedding spaces)
  • Pistage au niveau des sessions pour les conversations multi-tours avec des agents
  • Tableaux de bord et alertes avec LangSmith, Arize et OpenTelemetry

Passerelle IA et orchestration des modèles

  • Routage multi-providers avec LiteLLM et Portkey
  • Stratégies de repli, logique de retry et disjoncteurs (circuit breakers)
  • Sélection de modèles consciente des coûts et équilibrage de charge
  • Limitation du débit, gestion des quotas et gouvernance des clés API

Optimisation des performances

  • Mise en cache sémantique avec des vector stores et stratégies de correspondance exacte
  • Application de sorties structurées via un décodage contraint
  • Modes de groupement (batching), de streaming et de concurrence
  • Optimisation de la latence entre différents providers de modèles

Gouvernance, conformité et audit

  • Traces d'audit des LLM : journaux d'invites, journaux de réponses et traçabilité des décisions
  • Considérations relatives au séjour des données et à la confidentialité pour les API LLM
  • Politiques en tant que code (Policy-as-code) pour l'utilisation des LLM au sein des organisations
  • Élaboration d'un guide interne des opérations sur les LLM

Pré requis

  • Expérience dans la construction ou l'intégration d'applications propulsées par des LLM.
  • Connaissance de Python et des API REST.
  • Compréhension de base des concepts de prompt engineering (ingénierie des invites).

Public visé

  • Ingénieurs ML et praticiens du MLOps passant aux opérations sur les LLM.
  • Ingénieurs plateforme responsables de l'infrastructure LLM.
  • Chefs techniques gérant les déploiements GenAI en production.
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (2)

Cours à venir

Catégories Similaires