Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Concepts et métriques de performance
- Latence, débit, consommation d’énergie, utilisation des ressources
- Goulets d’étranglement au niveau du système versus au niveau du modèle
- Profilage pour l’inférence versus l’entraînement
Profilage sur Huawei Ascend
- Utilisation de CANN Profiler et MindInsight
- Diagnostic des noyaux et des opérateurs
- Modèles de délestage (offload) et mappage mémoire
Profilage sur Biren GPU
- Fonctionnalités de surveillance des performances du SDK Biren
- Fusion de noyaux, alignement mémoire et files d’exécution
- Profilage sensible à la puissance et à la température
Profilage sur Cambricon MLU
- Outils de performance BANGPy et Neuware
- Visibilité au niveau du noyau et interprétation des journaux
- Intégration du profilage MLU avec les cadres de déploiement
Optimisation au niveau du graphe et du modèle
- Stratégies de taille et de quantification du graphe
- Fusion d’opérateurs et restructuration du graphe de calcul
- Normalisation de la taille des entrées et ajustement du lot (batch)
Optimisation mémoire et des noyaux
- Optimisation de la disposition et de la réutilisation de la mémoire
- Gestion efficace des tampons (buffers) entre les puces
- Techniques de réglage au niveau du noyau par plateforme
Meilleures pratiques multi-plateformes
- Portabilité des performances : stratégies d’abstraction
- Construction de pipelines de réglage partagés pour les environnements multi-puces
- Exemple : réglage d’un modèle de détection d’objets sur Ascend, Biren et MLU
Résumé et prochaines étapes
Pré requis
- Expérience dans le travail avec des pipelines d’entraînement ou de déploiement de modèles IA
- Compréhension des principes de calcul GPU/MLU et de l’optimisation des modèles
- Connaissance de base des outils de profilage des performances et des métriques associées
Public cible
- Ingénieurs en performance
- Équipes d’infrastructure pour l’apprentissage automatique
- Architectes de systèmes IA
21 Heures
