Plan du cours

Introduction

  • Aperçu des défis liés à la mise à l'échelle de l'apprentissage profond
  • Aperçu de DeepSpeed et de ses caractéristiques
  • DeepSpeed vs. d'autres bibliothèques distribuées d'apprentissage profond

Pour commencer

  • Mise en place de l'environnement de développement
  • Installation de PyTorch et de DeepSpeed
  • Configuration de DeepSpeed pour l'entraînement distribué

Caractéristiques de l'optimisation DeepSpeed

  • Pipeline de formation DeepSpeed
  • ZeRO (optimisation de la mémoire)
  • Point de contrôle de l'activation
  • Point de contrôle du gradient
  • Parallélisme du pipeline

Mise à l'échelle des modèles avec DeepSpeed

  • Mise à l'échelle de base avec DeepSpeed
  • Techniques avancées de mise à l'échelle
  • Considérations sur les performances et meilleures pratiques
  • Techniques de débogage et de dépannage

Sujets avancés de DeepSpeed

  • Techniques d'optimisation avancées
  • Utilisation de DeepSpeed avec un entraînement de précision mixte
  • DeepSpeed sur différents matériels (par ex. GPUs, TPUs)
  • DeepSpeed avec plusieurs nœuds d'entraînement

Intégrer DeepSpeed à PyTorch

  • Intégrer DeepSpeed aux flux de travail PyTorch
  • Utiliser DeepSpeed avec PyTorch Lightning

Dépannage

  • Débogage des problèmes courants de DeepSpeed
  • Surveillance et journalisation

Résumé et prochaines étapes

  • Récapitulation des concepts et fonctionnalités clés
  • Meilleures pratiques pour l'utilisation de DeepSpeed en production
  • Ressources supplémentaires pour en savoir plus sur DeepSpeed

Pré requis

  • Connaissance intermédiaire des principes de l'apprentissage profond
  • Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
  • Familiarité avec la programmation Python

Audience

  • Data scientists
  • Ingénieurs en apprentissage machine
  • Développeurs
  21 heures
 

Nombre de participants


Début

Fin


Dates are subject to availability and take place between 09:30 and 16:30.
Les formations ouvertes requièrent plus de 3 participants.

Cours Similaires

Catégories Similaires