Formation DeepSpeed for Deep Learning
DeepSpeed est une bibliothèque d'optimisation de l'apprentissage profond qui facilite la mise à l'échelle des modèles d'apprentissage profond sur du matériel distribué. Développée par Microsoft, DeepSpeed s'intègre à PyTorch pour offrir une meilleure mise à l'échelle, une formation plus rapide et une meilleure utilisation des ressources.
Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists et aux ingénieurs en apprentissage automatique de niveau débutant ou intermédiaire qui souhaitent améliorer les performances de leurs modèles d'apprentissage profond.
A l'issue de cette formation, les participants seront capables de :
- Comprendre les principes de l'apprentissage profond distribué.
- Installer et configurer DeepSpeed.
- Mettre à l'échelle des modèles d'apprentissage profond sur du matériel distribué en utilisant DeepSpeed.
- Implémenter et expérimenter les fonctionnalités de DeepSpeed pour l'optimisation et l'efficacité de la mémoire.
Format du cours permettant d'évaluer les participants
- Exposé et discussion interactifs.
- Beaucoup d'exercices et de pratique.
- Mise en œuvre pratique dans un environnement live-lab.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.
Plan du cours
Introduction
- Vue d'ensemble des défis de mise à l'échelle de l'apprentissage profond
- Aperçu de DeepSpeed et de ses caractéristiques
- DeepSpeed vs. d'autres bibliothèques distribuées d'apprentissage profond
Pour commencer
- Mise en place de l'environnement de développement
- Installer PyTorch et DeepSpeed
- Configurer DeepSpeed pour l'apprentissage distribué
Fonctionnalités d'optimisation de DeepSpeed
- Pipeline de formation DeepSpeed
- ZeRO (optimisation de la mémoire)
- Point de contrôle de l'activation
- Point de contrôle du gradient
- Parallélisme du pipeline
Mise à l'échelle des modèles avec DeepSpeed
- Mise à l'échelle de base avec DeepSpeed
- Techniques avancées de mise à l'échelle
- Considérations sur les performances et meilleures pratiques
- Techniques de débogage et de dépannage
Sujets avancés sur DeepSpeed
- Techniques d'optimisation avancées
- Utilisation de DeepSpeed avec un entraînement en précision mixte
- DeepSpeed sur différents matériels (par ex. GPUs, TPUs)
- DeepSpeed avec plusieurs nœuds d'entraînement
Intégrer DeepSpeed avec PyTorch
- Intégrer DeepSpeed avec les flux de travail PyTorch
- Utiliser DeepSpeed avec PyTorch Lightning
Résolution des problèmes
- Déboguer les problèmes courants de DeepSpeed
- Surveillance et journalisation
Résumé et prochaines étapes
- Récapitulation des concepts et fonctionnalités clés
- Meilleures pratiques pour l'utilisation de DeepSpeed en production
- Ressources supplémentaires pour en savoir plus sur DeepSpeed
Pré requis
- Connaissance intermédiaire des principes de l'apprentissage profond
- Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
- Familiarité avec la programmation Python.
Audience
- Scientifiques des données
- Ingénieurs en apprentissage automatique
- Développeurs
Les formations ouvertes requièrent plus de 3 participants.
Formation DeepSpeed for Deep Learning - Booking
Formation DeepSpeed for Deep Learning - Enquiry
DeepSpeed for Deep Learning - Demande d'informations consulting
Demande d'informations consulting
Nos clients témoignent (2)
Organisation, conformément à l'ordre du jour proposé, les connaissances approfondies du formateur dans ce sujet
Ali Kattan - TWPI
Formation - Natural Language Processing with TensorFlow
Traduction automatique
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Formation - TensorFlow for Image Recognition
Traduction automatique
Cours à venir
Cours Similaires
Advanced Stable Diffusion: Deep Learning for Text-to-Image Generation
21 HeuresCette formation en direct avec instructeur en France (en ligne ou sur site) s'adresse aux data scientists de niveau intermédiaire à avancé, aux ingénieurs en apprentissage automatique, aux chercheurs en apprentissage profond et aux experts en vision par ordinateur qui souhaitent élargir leurs connaissances et leurs compétences en apprentissage profond pour la génération de texte à image.
À l'issue de cette formation, les participants seront en mesure de :
- Comprendre les architectures et les techniques avancées d'apprentissage profond pour la génération texte-image.
- Mettre en œuvre des modèles complexes et des optimisations pour la synthèse d'images de haute qualité.
- Optimiser les performances et l'évolutivité pour les grands ensembles de données et les modèles complexes.
- Ajuster les hyperparamètres pour une meilleure performance et généralisation du modèle.
- Intégrer Stable Diffusion avec d'autres cadres et outils d'apprentissage profond.
AlphaFold
7 HeuresCette formation en direct dans France (en ligne ou sur place) s'adresse aux biologistes qui souhaitent comprendre le fonctionnement de AlphaFold et utiliser les modèles AlphaFold comme guides dans leurs études expérimentales.
A l'issue de cette formation, les participants seront capables de :
- Comprendre les principes de base de AlphaFold.
- Apprendre comment fonctionne AlphaFold.
- Apprendre à interpréter les prédictions et les résultats de AlphaFold.
Deep Learning pour la Vision avec Caffe
21 HeuresCaffe est un cadre d'apprentissage en profondeur conçu pour l'expression, la rapidité et la modularité.
Ce cours explore l’application de Caffe tant que cadre d’apprentissage approfondi pour la reconnaissance d’images en prenant comme exemple le MNIST.
Public
Ce cours convient aux chercheurs et ingénieurs Deep Learning intéressés par l'utilisation de Caffe tant que cadre.
Une fois ce cours terminé, les délégués seront en mesure de:
- comprendre la structure et les mécanismes de déploiement de Caffe
- effectuer des tâches d'installation / environnement de production / architecture et configuration
- évaluer la qualité du code, effectuer le débogage, la surveillance
- implémenter une production avancée telle que des modèles d'entraînement, implémenter des couches et se connecter
Deep Learning Neural Networks with Chainer
14 HeuresCette formation en France (en ligne ou sur site) s'adresse aux chercheurs et aux développeurs qui souhaitent utiliser Chainer pour construire et entraîner des réseaux neuronaux en Python tout en rendant le code facile à déboguer.
A l'issue de cette formation, les participants seront capables de :
- Mettre en place l'environnement de développement nécessaire pour commencer à développer des modèles de réseaux neuronaux.
- Définir et mettre en œuvre des modèles de réseaux neuronaux à l'aide d'un code source compréhensible.
- Exécuter des exemples et modifier des algorithmes existants pour optimiser les modèles d'apprentissage profond tout en tirant parti des GPUs pour obtenir de hautes performances.
Using Computer Network ToolKit (CNTK)
28 HeuresComputer Network ToolKit (CNTK) est Microsoft un cadre d'apprentissage machine Open Source, multi-machine, multiGPU, hautement efficace pour l'apprentissage des RNN pour la parole, le texte et les images.
Audience
Ce cours s'adresse aux ingénieurs et architectes souhaitant utiliser CNTK dans leurs projets.
Deep Learning for Vision
21 HeuresPublic
Ce cours convient aux chercheurs et ingénieurs Deep Learning intéressés par l'utilisation des outils disponibles (principalement open source) pour l'analyse d'images informatiques.
Ce cours fournit des exemples de travail.
Edge AI with TensorFlow Lite
14 HeuresCette formation en direct dans France (en ligne ou sur site) est destinée aux développeurs de niveau intermédiaire, aux scientifiques des données et aux praticiens de l'IA qui souhaitent tirer parti de TensorFlow Lite pour les applications d'IA de pointe.
À l'issue de cette formation, les participants seront en mesure de :
- Comprendre les principes fondamentaux de TensorFlow Lite et son rôle dans l'Edge AI.
- Développer et optimiser des modèles d'IA à l'aide de TensorFlow Lite.
- Déployer des modèles TensorFlow Lite sur divers appareils périphériques.
- Utiliser des outils et des techniques pour la conversion et l'optimisation des modèles.
- Mettre en œuvre des applications pratiques d'Edge AI à l'aide de TensorFlow Lite.
Accelerating Deep Learning with FPGA and OpenVINO
35 HeuresCette formation en direct avec instructeur en France (en ligne ou sur site) s'adresse aux data scientists qui souhaitent accélérer les applications d'apprentissage automatique en temps réel et les déployer à l'échelle.
À l'issue de cette formation, les participants seront en mesure de :
- Installer la boîte à outils OpenVINO.
- Accélérer une application de vision artificielle en utilisant un FPGA.
- Exécuter différentes couches CNN sur le FPGA.
- Mettre à l'échelle l'application sur plusieurs nœuds dans un cluster Kubernetes.
Distributed Deep Learning with Horovod
7 HeuresCette formation en France (en ligne ou sur site) est destinée aux développeurs ou aux scientifiques des données qui souhaitent utiliser Horovod pour exécuter des formations distribuées d'apprentissage profond et le mettre à l'échelle pour l'exécuter sur plusieurs GPU en parallèle.
À la fin de cette formation, les participants seront capables de :
- Mettre en place l'environnement de développement nécessaire pour commencer à exécuter des formations d'apprentissage profond.
- Installer et configurer Horovod pour former des modèles avec TensorFlow, Keras, PyTorch et Apache MXNet.
- Mettre à l'échelle la formation à l'apprentissage profond avec Horovod pour l'exécuter sur plusieurs GPU.
Deep Learning with Keras
21 HeuresCette formation en direct avec instructeur en France (en ligne ou sur site) est destinée aux personnes techniques qui souhaitent appliquer un modèle d'apprentissage profond à des applications de reconnaissance d'images.
A l'issue de cette formation, les participants seront capables de :
- Installer et configurer Keras.
- Prototyper rapidement des modèles d'apprentissage profond.
- Implémenter un réseau convolutif.
- Implémenter un réseau récurrent.
- Exécuter un modèle d'apprentissage profond sur un CPU et GPU.
Introduction to Stable Diffusion for Text-to-Image Generation
21 HeuresCette formation en direct (en ligne ou sur site) est destinée aux scientifiques des données, aux ingénieurs en apprentissage automatique et aux chercheurs en vision par ordinateur qui souhaitent tirer parti de Stable Diffusion pour générer des images de haute qualité pour une variété de cas d'utilisation.
À l'issue de cette formation, les participants seront en mesure de :
- Comprendre les principes de Stable Diffusion et son fonctionnement pour la génération d'images.
- Construire et entraîner des modèles Stable Diffusion pour des tâches de génération d'images.
- Appliquer Stable Diffusion à divers scénarios de génération d'images, tels que l'inpainting, l'outpainting et la traduction d'image à image.
- Optimiser les performances et la stabilité des modèles Stable Diffusion.
Tensorflow Lite for Microcontrollers
21 HeuresCette formation en <loc> ; (en ligne ou sur site) est destinée aux ingénieurs qui souhaitent écrire, charger et exécuter des modèles d'apprentissage automatique sur de très petits appareils embarqués.
A l'issue de cette formation, les participants seront capables de :
- Installer TensorFlow Lite.
- Charger des modèles d'apprentissage automatique sur un appareil embarqué pour lui permettre de détecter la parole, de classer des images, etc.
- Ajouter l'IA aux appareils matériels sans dépendre de la connectivité réseau.
Deep Learning avec TensorFlow
21 HeuresTensorFlow est une API de deuxième génération de la bibliothèque de logiciels open source de Go ogle pour Deep Learning . Le système est conçu pour faciliter la recherche en apprentissage automatique et faciliter la transition rapide d'un prototype de recherche à un système de production.
Public
Ce cours est destiné aux ingénieurs souhaitant utiliser TensorFlow pour leurs projets d' Deep Learning .
Une fois ce cours terminé, les délégués:
- comprendre la structure et les mécanismes de déploiement de TensorFlow
- être capable d'effectuer des tâches d'installation / environnement de production / architecture et configuration
- être capable d'évaluer la qualité du code, effectuer le débogage, la surveillance
- être capable de mettre en œuvre une production avancée comme des modèles de formation, la création de graphiques et la journalisation
TensorFlow pour la Reconnaissance d'Image
28 HeuresCe cours explore, avec des exemples spécifiques, l’application de Tensor Flow aux objectifs de la reconnaissance d’image.
Public
Ce cours est destiné aux ingénieurs qui souhaitent utiliser TensorFlow aux fins de la reconnaissance d'image.
Une fois ce cours terminé, les délégués seront en mesure de:
- comprendre la structure et les mécanismes de déploiement de TensorFlow
- effectuer des tâches d'installation / environnement de production / architecture et configuration
- évaluer la qualité du code, effectuer le débogage, la surveillance
- implémenter une production avancée telle que des modèles de formation, la création de graphiques et l'enregistrement
Natural Language Processing (NLP) with TensorFlow
35 HeuresTensorFlow™ est une bibliothèque de logiciels open source pour les calculs numériques en utilisant des graphiques de flux de données.
SyntaxNet est un cadre de traitement de langue naturelle pour TensorFlow.
Word2Vec est utilisé pour l'apprentissage des représentations vectorielles des mots, appelé "word embeddings". Word2vec est un modèle prédictif particulièrement computable et efficace pour l'apprentissage des entrées de mots à partir du texte. Il vient en deux goûts, le modèle Continuous Bag-of-Words (CBOW) et le modèle Skip-Gram (Chapitre 3.1 et 3.2 dans Mikolov et al.)
Utilisé en tandem, SyntaxNet et Word2Vec permettent aux utilisateurs de générer des modèles d'insertion appris à partir de l'entrée de langue naturelle.
Audience
Ce cours est destiné aux développeurs et aux ingénieurs qui ont l'intention de travailler avec SyntaxNet et Word2Vec modèles dans leurs TensorFlow graphiques.
Après avoir terminé ce cours, les délégués :
- Comprendre TensorFlow’s structures et mécanismes de déploiement
- être en mesure de réaliser des tâches d'installation / environnement de production / architecture et de configuration
- être en mesure d’évaluer la qualité du code, d’effectuer le débogage, de surveiller
- être en mesure de mettre en œuvre des modèles de production avancés tels que les modèles de formation, les termes d'emballage, les graphiques de construction et le logging