Prenez contact avec nous

Plan du cours

Introduction

  • Aperçu des défis de mise à l'échelle de l'apprentissage profond
  • Aperçu de DeepSpeed et de ses fonctionnalités
  • DeepSpeed comparé aux autres bibliothèques d'apprentissage profond distribué

Premiers pas

  • Configuration de l'environnement de développement
  • Installation de PyTorch et DeepSpeed
  • Configuration de DeepSpeed pour l'entraînement distribué

Fonctionnalités d'optimisation de DeepSpeed

  • Pipeline d'entraînement DeepSpeed
  • ZeRO (optimisation de la mémoire)
  • Checkpointing des activations
  • Checkpointing des gradients
  • Parallelisme de pipeline

Mise à l'échelle des modèles avec DeepSpeed

  • Mise à l'échelle basique avec DeepSpeed
  • Techniques avancées de mise à l'échelle
  • Considérations de performance et bonnes pratiques
  • Techniques de débogage et de dépannage

Sujets avancés sur DeepSpeed

  • Techniques d'optimisation avancées
  • Utilisation de DeepSpeed avec l'entraînement en précision mixte
  • DeepSpeed sur différents matériels (par exemple, GPUs, TPUs)
  • DeepSpeed avec plusieurs nœuds d'entraînement

Intégration de DeepSpeed avec PyTorch

  • Intégration de DeepSpeed dans les workflows PyTorch
  • Utilisation de DeepSpeed avec PyTorch Lightning

Dépannage

  • Débogage des problèmes courants de DeepSpeed
  • Surveillance et journalisation

Résumé et prochaines étapes

  • Revue des concepts clés et des fonctionnalités
  • Bonnes pratiques pour l'utilisation de DeepSpeed en production
  • Ressources supplémentaires pour en savoir plus sur DeepSpeed

Pré requis

  • Connaissance intermédiaire des principes de l'apprentissage profond
  • Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
  • Connaissance familière de la programmation en Python

Audience

  • Data scientists
  • Ingénieurs en apprentissage automatique
  • Développeurs
 21 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (3)

Cours à venir

Catégories Similaires