Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction au développement d'opérateurs personnalisés
- Pourquoi construire des opérateurs personnalisés ? Cas d'utilisation et contraintes.
- Structure du runtime CANN et points d'intégration des opérateurs.
- Aperçu de TBE, TIK et TVM dans l'écosystème Huawei AI.
Utilisation de TIK pour la programmation d'opérateurs de bas niveau
- Compréhension du modèle de programmation TIK et des APIs prises en charge.
- Gestion de la mémoire et stratégie de tiling dans TIK.
- Création, compilation et enregistrement d'un op personnalisé avec CANN.
Tests et validation des ops personnalisés
- Tests unitaires et tests d'intégration des ops dans le graphe.
- Débogage des problèmes de performance au niveau des noyaux.
- Visualisation de l'exécution des ops et du comportement des tampons.
Planification et optimisation basées sur TVM
- Aperçu de TVM en tant que compilateur pour les ops tensorielles.
- Rédaction d'un planning pour un op personnalisé dans TVM.
- Tuning, benchmarking et génération de code TVM pour Ascend.
Intégration avec les frameworks et les modèles
- Enregistrement des ops personnalisées pour MindSpore et ONNX.
- Vérification de l'intégrité du modèle et du comportement de repli (fallback).
- Prise en charge des graphes multi-opérateurs avec précision mixte.
Études de cas et optimisations spécialisées
- Étude de cas : convolution à haute efficacité pour de petites formes d'entrée.
- Étude de cas : optimisation d'un opérateur d'attention conscient de la mémoire.
- Bonnes pratiques pour le déploiement des ops personnalisées sur divers appareils.
Résumé et prochaines étapes
Pré requis
- Solides connaissances des composants internes des modèles d'IA et du calcul au niveau des opérateurs.
- Expérience avec les environnements de développement Python et Linux.
- Familiarité avec les compilateurs de réseaux de neurones ou les optimiseurs au niveau du graphe.
Public cible
- Ingénieurs en compilation travaillant sur des toolchains d'IA.
- Développeurs systèmes spécialisés dans l'optimisation de bas niveau pour l'IA.
- Développeurs créant des ops personnalisées ou ciblant des charges de travail d'IA novatrices.
14 Heures