Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Concepts et métriques de performance
- Latence, débit, consommation d'énergie, utilisation des ressources
- Goulots d'étranglement au niveau système vs au niveau modèle
- Profilage pour l'inférence vs l'entraînement
Profilage sur Huawei Ascend
- Utilisation de CANN Profiler et MindInsight
- Diagnostic des noyaux et des opérateurs
- Modèles de déchargement et mappage mémoire
Profilage sur GPU Biren
- Fonctionnalités de surveillance des performances du SDK Biren
- Fusion des noyaux, alignement mémoire et files d'exécution
- Profilage tenant compte de la puissance et de la température
Profilage sur MLU Cambricon
- Outils de performance BANGPy et Neuware
- Visibilité au niveau du noyau et interprétation des journaux
- Intégration du profileur MLU avec les cadres de déploiement
Optimisation au niveau du graphe et du modèle
- Stratégies d'élagage et de quantification du graphe
- Fusion des opérateurs et restructuration du graphe de calcul
- Normalisation de la taille des entrées et ajustement du lot
Optimisation mémoire et noyaux
- Optimisation de la disposition et de la réutilisation de la mémoire
- Gestion efficace des tampons entre jeux de puces
- Techniques d'ajustement au niveau du noyau par plateforme
Pratiques optimales inter-plateformes
- Portabilité des performances : stratégies d'abstraction
- Construction de pipelines d'ajustement partagés pour des environnements multi-puces
- Exemple : ajustement d'un modèle de détection d'objets sur Ascend, Biren et MLU
Synthèse et prochaines étapes
Pré requis
- Expérience dans le travail avec des pipelines d'entraînement ou de déploiement de modèles IA
- Comprendre les principes de calcul GPU/MLU et l'optimisation des modèles
- Familiarité de base avec les outils de profilage des performances et les métriques
Public cible
- Ingénieurs en performance
- Équipes d'infrastructure d'apprentissage automatique
- Architectes de systèmes IA
21 Heures
