Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction
- Vue d'ensemble des défis de mise à l'échelle de l'apprentissage profond
- Aperçu de DeepSpeed et de ses caractéristiques
- DeepSpeed vs. d'autres bibliothèques distribuées d'apprentissage profond
Pour commencer
- Mise en place de l'environnement de développement
- Installer PyTorch et DeepSpeed
- Configurer DeepSpeed pour l'apprentissage distribué
Fonctionnalités d'optimisation de DeepSpeed
- Pipeline de formation DeepSpeed
- ZeRO (optimisation de la mémoire)
- Point de contrôle de l'activation
- Point de contrôle du gradient
- Parallélisme du pipeline
Mise à l'échelle des modèles avec DeepSpeed
- Mise à l'échelle de base avec DeepSpeed
- Techniques avancées de mise à l'échelle
- Considérations sur les performances et meilleures pratiques
- Techniques de débogage et de dépannage
Sujets avancés sur DeepSpeed
- Techniques d'optimisation avancées
- Utilisation de DeepSpeed avec un entraînement en précision mixte
- DeepSpeed sur différents matériels (par ex. GPUs, TPUs)
- DeepSpeed avec plusieurs nœuds d'entraînement
Intégrer DeepSpeed avec PyTorch
- Intégrer DeepSpeed avec les flux de travail PyTorch
- Utiliser DeepSpeed avec PyTorch Lightning
Résolution des problèmes
- Déboguer les problèmes courants de DeepSpeed
- Surveillance et journalisation
Résumé et prochaines étapes
- Récapitulation des concepts et fonctionnalités clés
- Meilleures pratiques pour l'utilisation de DeepSpeed en production
- Ressources supplémentaires pour en savoir plus sur DeepSpeed
Pré requis
- Connaissance intermédiaire des principes de l'apprentissage profond
- Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
- Familiarité avec la programmation Python.
Audience
- Scientifiques des données
- Ingénieurs en apprentissage automatique
- Développeurs
21 Heures
Nos clients témoignent (2)
Organisation, conformément à l'ordre du jour proposé, les connaissances approfondies du formateur dans ce sujet
Ali Kattan - TWPI
Formation - Natural Language Processing with TensorFlow
Traduction automatique
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Formation - TensorFlow for Image Recognition
Traduction automatique