Plan du cours
Préparation des modèles d'apprentissage automatique pour le déploiement
- Emballage des modèles avec Docker
- Exportation de modèles depuis TensorFlow et PyTorch
- Considérations relatives à la versioning et au stockage
Servir les modèles sur Kubernetes
- Aperçu des serveurs d'inférence
- Déploiement de TensorFlow Serving et TorchServe
- Configuration des points d'accès aux modèles
Techniques d'optimisation de l'inférence
- Stratégies de lot (batching)
- Gestion des requêtes concurrentes
- Ajustement de la latence et du débit
Auto-mise à l'échelle des charges de travail ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisionnement des GPU et gestion des ressources
- Configuration des nœuds GPU
- Aperçu du plugin de périphérique NVIDIA
- Requêtes et limites de ressources pour les charges de travail ML
Stratégies de déploiement et de publication de modèles
- Déploiements Blue/Green
- Modèles de déploiement canari
- Tests A/B pour l'évaluation des modèles
Surveillance et observabilité du ML en production
- Métriques pour les charges de travail d'inférence
- Pratiques de journalisation et de suivi (tracing)
- Tableaux de bord et alertes
Enjeux de sécurité et de fiabilité
- Sécurisation des points d'accès aux modèles
- Politiques réseau et contrôle d'accès
- Garantie de la haute disponibilité
Synthèse et prochaines étapes
Pré requis
- Une compréhension des flux de travail des applications conteneurisées
- Une expérience avec les modèles d'apprentissage automatique basés sur Python
- Une familiarité avec les fondamentaux de Kubernetes
Public cible
- Ingénieurs ML
- Ingénieurs DevOps
- Équipes d'ingénierie de plateforme
Nos clients témoignent (4)
compréhension de base des conteneurs/Kubernetes et de leur interaction fonctionnalités de la plateforme OpenShift
Eric Scholze - NOW IT GmbH
Formation - Introduction to Containers, Kubernetes & OpenShift
Traduction automatique
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Formation - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Comment les formateurs transmettent-ils efficacement leurs connaissances
Vu Thoai Le - Reply Polska sp. z o. o.
Formation - Certified Kubernetes Administrator (CKA) - exam preparation
Traduction automatique
Les connaissances et les échanges avec Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Formation - Docker and Kubernetes
Traduction automatique