Prenez contact avec nous

Plan du cours

Introduction à l'optimisation des grands modèles

  • Aperçu des architectures de grands modèles
  • Défis de l'ajustement fin des grands modèles
  • Importance de l'optimisation rentable

Techniques d'entraînement distribué

  • Introduction au parallélisme des données et des modèles
  • Frameworks pour l'entraînement distribué : PyTorch et TensorFlow
  • Extension sur plusieurs GPUs et nœuds

Quantification et élagage des modèles

  • Compréhension des techniques de quantification
  • Application de l'élagage pour réduire la taille du modèle
  • Arbitrage entre précision et efficacité

Optimisation du matériel

  • Choisir le bon matériel pour les tâches d'ajustement fin
  • Optimiser l'utilisation des GPU et TPU
  • Utilisation d'accélérateurs spécialisés pour les grands modèles

Gestion efficace des données

  • Stratégies pour la gestion des grands ensembles de données
  • Prétraitement et lotissement pour la performance
  • Techniques d'augmentation de données

Déploiement des modèles optimisés

  • Techniques pour déployer des modèles ajustés finement
  • Surveillance et maintien des performances des modèles
  • Exemples réels de déploiement de modèles optimisés

Techniques d'optimisation avancées

  • Exploration de l'adaptation de faible rang (LoRA)
  • Utilisation d'adaptateurs pour l'ajustement fin modulaire
  • Tendances futures en matière d'optimisation des modèles

Résumé et prochaines étapes

Pré requis

  • Expérience avec des frameworks d'apprentissage profond comme PyTorch ou TensorFlow
  • Connaissance des grands modèles de langage et de leurs applications
  • Compréhension des concepts de calcul distribué

Public cible

  • Ingénieurs en apprentissage automatique
  • Spécialistes de l'IA cloud
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires