Prenez contact avec nous

Plan du cours

Introduction au développement d'opérateurs personnalisés

  • Pourquoi construire des opérateurs personnalisés ? Cas d'utilisation et contraintes.
  • Structure du runtime CANN et points d'intégration des opérateurs.
  • Aperçu de TBE, TIK et TVM dans l'écosystème Huawei AI.

Utilisation de TIK pour la programmation d'opérateurs de bas niveau

  • Compréhension du modèle de programmation TIK et des APIs prises en charge.
  • Gestion de la mémoire et stratégie de tiling dans TIK.
  • Création, compilation et enregistrement d'un op personnalisé avec CANN.

Tests et validation des ops personnalisés

  • Tests unitaires et tests d'intégration des ops dans le graphe.
  • Débogage des problèmes de performance au niveau des noyaux.
  • Visualisation de l'exécution des ops et du comportement des tampons.

Planification et optimisation basées sur TVM

  • Aperçu de TVM en tant que compilateur pour les ops tensorielles.
  • Rédaction d'un planning pour un op personnalisé dans TVM.
  • Tuning, benchmarking et génération de code TVM pour Ascend.

Intégration avec les frameworks et les modèles

  • Enregistrement des ops personnalisées pour MindSpore et ONNX.
  • Vérification de l'intégrité du modèle et du comportement de repli (fallback).
  • Prise en charge des graphes multi-opérateurs avec précision mixte.

Études de cas et optimisations spécialisées

  • Étude de cas : convolution à haute efficacité pour de petites formes d'entrée.
  • Étude de cas : optimisation d'un opérateur d'attention conscient de la mémoire.
  • Bonnes pratiques pour le déploiement des ops personnalisées sur divers appareils.

Résumé et prochaines étapes

Pré requis

  • Solides connaissances des composants internes des modèles d'IA et du calcul au niveau des opérateurs.
  • Expérience avec les environnements de développement Python et Linux.
  • Familiarité avec les compilateurs de réseaux de neurones ou les optimiseurs au niveau du graphe.

Public cible

  • Ingénieurs en compilation travaillant sur des toolchains d'IA.
  • Développeurs systèmes spécialisés dans l'optimisation de bas niveau pour l'IA.
  • Développeurs créant des ops personnalisées ou ciblant des charges de travail d'IA novatrices.
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires