Plan du cours

Concepts et Métriques de Performance

  • Délai, débit, consommation d'énergie, utilisation des ressources
  • Bottlenecks système vs. modèles
  • Profiling pour l'inférence vs. formation

Profiling sur Huawei Ascend

  • Utilisation du CANN Profiler et MindInsight
  • Diagnostics noyaux et opérateurs
  • Modes de déchargement et mappage mémoire

Profiling sur Biren GPU

  • Fonctionnalités de surveillance des performances du SDK Biren
  • Fusion noyau, alignement mémoire et files d'exécution
  • Profiling conscient de l'énergie et de la température

Profiling sur Cambricon MLU

  • Outils de performance BANGPy et Neuware
  • Visiibilité au niveau noyau et interprétation des journaux
  • Intégration du profiteur MLU avec les cadres de déploiement

Optimisation au Niveau du Graphique et du Modèle

  • Stratégies de taille de graphique et quantification
  • Fusion des opérateurs et restructuration du graphe calculatoire
  • Standardisation de la taille d'entrée et réglage par lots

Optimisation Mémoire et Noyau

  • Optimisation de l'aménagement et de la réutilisation de la mémoire
  • Gestion efficace des tampons entre les ensembles de puces
  • Techniques d'ajustement au niveau noyau par plateforme

Méthodes Optimal pour plusieurs Plateformes

  • Portabilité des performances : stratégies d'abstraction
  • Construction de pipelines de réglage partagés pour les environnements multi-puces
  • Exemple : ajustement d'un modèle de détection d'objets sur Ascend, Biren et MLU

Résumé et Étapes Suivantes

Pré requis

  • Expérience de travail avec des pipelines d'entraînement ou de déploiement de modèles IA
  • Compréhension des principes de calcul GPU/MLU et de l'optimisation des modèles
  • Familiarité de base avec les outils et métriques de profilage des performances

Audience

  • Ingénieurs des performances
  • Équipes d'infrastructure en apprentissage automatique
  • Architectes de systèmes IA
 21 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires