Plan du cours

Aperçu des capacités d'optimisation de CANN

  • Comment la performance d'inférence est gérée dans CANN
  • Objectifs d'optimisation pour les systèmes AI aux bords et embarqués
  • Comprendre l'utilisation de AI Core et l'allocation de mémoire

Utilisation du Graph Engine pour l'analyse

  • Introduction au Graph Engine et à la chaîne d'exécution
  • Visualiser les graphes opérateurs et les métriques de temps d'exécution
  • Modifier les graphes computationnels pour l'optimisation

Outils de profilage et métriques de performance

  • Utiliser l'Outil de Profilage CANN (profilateur) pour l'analyse des charges de travail
  • Analyser le temps d'exécution du noyau et les goulets d'étranglement
  • Profilage de l'accès à la mémoire et stratégies de tuilage

Développement d'opérateurs personnalisés avec TIK

  • Aperçu de TIK et du modèle de programmation opérateur
  • Implémenter un opérateur personnalisé en utilisant le DSL TIK
  • Tester et évaluer les performances des opérateurs

Optimisation avancée des opérateurs avec TVM

  • Introduction à l'intégration de TVM avec CANN
  • Stratégies d'auto-ajustement pour les graphes computationnels
  • Quand et comment basculer entre TVM et TIK

Téchniques d'optimisation de la mémoire

  • Gestion des dispositions de mémoire et du placement des tampons
  • Téchniques pour réduire la consommation en mémoire sur puce
  • Bonnes pratiques pour l'exécution asynchrone et le partage

Déploiement dans le monde réel et études de cas

  • Étude de cas : ajustement des performances pour la chaîne de caméras de ville intelligente
  • Étude de cas : optimisation du pipeline d'inférence de véhicule autonome
  • Lignes directrices pour le profilage itératif et l'amélioration continue

Résumé et prochains pas

Pré requis

  • Compréhension approfondie des architectures de modèles d'apprentissage profond et des workflows de formation
  • Expérience en déploiement de modèles à l'aide de CANN, TensorFlow ou PyTorch
  • Familiarité avec la CLI Linux, le scripting shell et la programmation Python

Public cible

  • Ingénieurs de performance en IA
  • Spécialistes de l'optimisation des inférences
  • Développeurs travaillant avec l'IA sur périphérie ou les systèmes temps réel

 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires