Prenez contact avec nous

Plan du cours

Préparation des modèles d'apprentissage automatique pour le déploiement

  • Emballage des modèles avec Docker
  • Exportation des modèles depuis TensorFlow et PyTorch
  • Considérations concernant le versionnement et le stockage

Servir les modèles sur Kubernetes

  • Vue d'ensemble des serveurs d'inférence
  • Déploiement de TensorFlow Serving et TorchServe
  • Configuration des points d'accès aux modèles

Techniques d'optimisation de l'inférence

  • Stratégies de regroupement (batching)
  • Gestion des demandes concurrentes
  • Réglage de la latence et du débit

Mise à l'échelle automatique des charges de travail ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provisionnement GPU et gestion des ressources

  • Configuration des nœuds GPU
  • Vue d'ensemble du plugin de périphérique NVIDIA
  • Demandes et limites de ressources pour les charges de travail ML

Stratégies de déploiement et de versionnage des modèles

  • Déploiements bleu/vert
  • Modèles de déploiement canari
  • Tests A/B pour l'évaluation des modèles

Surveillance et observabilité du ML en production

  • Métriques pour les charges de travail d'inférence
  • Pratiques de journalisation et de traçage
  • Tableaux de bord et alertes

Considérations relatives à la sécurité et à la fiabilité

  • Sécurisation des points d'accès aux modèles
  • Politiques réseau et contrôle d'accès
  • Garantie de haute disponibilité

Résumé et prochaines étapes

Pré requis

  • Une compréhension des workflows d'applications conteneurisées
  • Une expérience avec des modèles de machine learning basés sur Python
  • Une familiarité avec les fondamentaux de Kubernetes

Public cible

  • Ingénieurs ML
  • Ingénieurs DevOps
  • Équipes d'ingénierie de plateforme
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (3)

Cours à venir

Catégories Similaires