Plan du cours
Introduction
- Vue d'ensemble des défis de mise à l'échelle de l'apprentissage profond
- Aperçu de DeepSpeed et de ses caractéristiques
- DeepSpeed vs. d'autres bibliothèques distribuées d'apprentissage profond
Pour commencer
- Mise en place de l'environnement de développement
- Installer PyTorch et DeepSpeed
- Configurer DeepSpeed pour l'apprentissage distribué
Fonctionnalités d'optimisation de DeepSpeed
- Pipeline de formation DeepSpeed
- ZeRO (optimisation de la mémoire)
- Point de contrôle de l'activation
- Point de contrôle du gradient
- Parallélisme du pipeline
Mise à l'échelle des modèles avec DeepSpeed
- Mise à l'échelle de base avec DeepSpeed
- Techniques avancées de mise à l'échelle
- Considérations sur les performances et meilleures pratiques
- Techniques de débogage et de dépannage
Sujets avancés sur DeepSpeed
- Techniques d'optimisation avancées
- Utilisation de DeepSpeed avec un entraînement en précision mixte
- DeepSpeed sur différents matériels (par ex. GPUs, TPUs)
- DeepSpeed avec plusieurs nœuds d'entraînement
Intégrer DeepSpeed avec PyTorch
- Intégrer DeepSpeed avec les flux de travail PyTorch
- Utiliser DeepSpeed avec PyTorch Lightning
Résolution des problèmes
- Déboguer les problèmes courants de DeepSpeed
- Surveillance et journalisation
Résumé et prochaines étapes
- Récapitulation des concepts et fonctionnalités clés
- Meilleures pratiques pour l'utilisation de DeepSpeed en production
- Ressources supplémentaires pour en savoir plus sur DeepSpeed
Pré requis
- Connaissance intermédiaire des principes de l'apprentissage profond
- Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
- Familiarité avec la programmation Python.
Audience
- Scientifiques des données
- Ingénieurs en apprentissage automatique
- Développeurs
Nos clients témoignent (3)
J'ai vraiment aimé la fin où nous avons pris le temps de jouer avec CHAT GPT. La salle n'était pas très bien organisée pour cela - au lieu d'une grande table, quelques petites tables auraient été préférables afin que nous puissions travailler en petits groupes et brainstormer.
Nola - Laramie County Community College
Formation - Artificial Intelligence (AI) Overview
Traduction automatique
Travailler à partir des principes fondamentaux de manière concentrée, puis passer à l'application d'études de cas le même jour
Maggie Webb - Department of Jobs, Regions, and Precincts
Formation - Artificial Neural Networks, Machine Learning, Deep Thinking
Traduction automatique
Qu'il utilisait des données réelles d'entreprise. Le formateur avait une très bonne approche en faisant participer et concourir les stagiaires
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Formation - Applied AI from Scratch in Python
Traduction automatique