Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera dans les plus brefs délais.
Merci pour votre réservation ! Un membre de notre équipe vous contactera dans les plus brefs délais.
Plan du cours
Introduction
- Aperçu des défis liés à la mise à l'échelle de l'apprentissage profond
- Aperçu de DeepSpeed et de ses caractéristiques
- DeepSpeed vs. d'autres bibliothèques distribuées d'apprentissage profond
Pour commencer
- Mise en place de l'environnement de développement
- Installation de PyTorch et de DeepSpeed
- Configuration de DeepSpeed pour l'entraînement distribué
Caractéristiques de l'optimisation DeepSpeed
- Pipeline de formation DeepSpeed
- ZeRO (optimisation de la mémoire)
- Point de contrôle de l'activation
- Point de contrôle du gradient
- Parallélisme du pipeline
Mise à l'échelle des modèles avec DeepSpeed
- Mise à l'échelle de base avec DeepSpeed
- Techniques avancées de mise à l'échelle
- Considérations sur les performances et meilleures pratiques
- Techniques de débogage et de dépannage
Sujets avancés de DeepSpeed
- Techniques d'optimisation avancées
- Utilisation de DeepSpeed avec un entraînement de précision mixte
- DeepSpeed sur différents matériels (par ex. GPUs, TPUs)
- DeepSpeed avec plusieurs nœuds d'entraînement
Intégrer DeepSpeed à PyTorch
- Intégrer DeepSpeed aux flux de travail PyTorch
- Utiliser DeepSpeed avec PyTorch Lightning
Dépannage
- Débogage des problèmes courants de DeepSpeed
- Surveillance et journalisation
Résumé et prochaines étapes
- Récapitulation des concepts et fonctionnalités clés
- Meilleures pratiques pour l'utilisation de DeepSpeed en production
- Ressources supplémentaires pour en savoir plus sur DeepSpeed
Pré requis
- Connaissance intermédiaire des principes de l'apprentissage profond
- Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
- Familiarité avec la programmation Python
Audience
- Data scientists
- Ingénieurs en apprentissage machine
- Développeurs
21 heures