Prenez contact avec nous

Plan du cours

Concepts et métriques de performance

  • Latence, débit, consommation d'énergie, utilisation des ressources.
  • Goulots d'étranglement au niveau du système versus au niveau du modèle.
  • Profilage pour l'inférence versus l'entraînement.

Profilage sur Huawei Ascend

  • Utilisation de CANN Profiler et MindInsight.
  • Diagnostic des noyaux et des opérateurs.
  • Patterns de déchargement et cartographie de la mémoire.

Profilage sur GPU Biren

  • Fonctionnalités de surveillance de performance du SDK Biren.
  • Fusion des noyaux, alignement de la mémoire et files d'exécution.
  • Profilage conscient de la puissance et de la température.

Profilage sur Cambricon MLU

  • Outils de performance BANGPy et Neuware.
  • Visibilité au niveau du noyau et interprétation des journaux.
  • Intégration du profileur MLU avec les frameworks de déploiement.

Optimisation au niveau du graphique et du modèle

  • Stratégies de pruning et de quantification des graphiques.
  • Fusion des opérateurs et restructuration du graphe computationnel.
  • Standardisation de la taille des entrées et réglage par lot.

Optimisation mémoire et noyau

  • Optimisation de la disposition et de la réutilisation de la mémoire.
  • Gestion efficace des tampons entre les jeu de puces.
  • Techniques de réglage au niveau du noyau par plateforme.

Meilleures pratiques interplateformes

  • Portabilité des performances : stratégies d'abstraction.
  • Mise en place de pipelines de réglage partagés pour des environnements multi-puces.
  • Exemple : réglage d'un modèle de détection d'objets sur Ascend, Biren et MLU.

Résumé et prochaines étapes

Pré requis

  • Expérience dans le domaine de l'entraînement ou du déploiement de pipelines de modèles d'IA.
  • Compréhension des principes de calcul GPU/MLU et de l'optimisation des modèles.
  • Connaissance de base des outils et des métriques de profilage de performance.

Audience cible

  • Ingénieurs en performance.
  • Équipes d'infrastructure d'apprentissage automatique.
  • Architectes de systèmes d'IA.
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires