Plan du cours
Introduction
- Aperçu des défis de mise à l'échelle de l'apprentissage profond
- Aperçu de DeepSpeed et de ses fonctionnalités
- DeepSpeed comparé aux autres bibliothèques d'apprentissage profond distribué
Premiers pas
- Configuration de l'environnement de développement
- Installation de PyTorch et DeepSpeed
- Configuration de DeepSpeed pour l'entraînement distribué
Fonctionnalités d'optimisation de DeepSpeed
- Pipeline d'entraînement DeepSpeed
- ZeRO (optimisation de la mémoire)
- Checkpointing des activations
- Checkpointing des gradients
- Parallelisme de pipeline
Mise à l'échelle des modèles avec DeepSpeed
- Mise à l'échelle basique avec DeepSpeed
- Techniques avancées de mise à l'échelle
- Considérations de performance et bonnes pratiques
- Techniques de débogage et de dépannage
Sujets avancés sur DeepSpeed
- Techniques d'optimisation avancées
- Utilisation de DeepSpeed avec l'entraînement en précision mixte
- DeepSpeed sur différents matériels (par exemple, GPUs, TPUs)
- DeepSpeed avec plusieurs nœuds d'entraînement
Intégration de DeepSpeed avec PyTorch
- Intégration de DeepSpeed dans les workflows PyTorch
- Utilisation de DeepSpeed avec PyTorch Lightning
Dépannage
- Débogage des problèmes courants de DeepSpeed
- Surveillance et journalisation
Résumé et prochaines étapes
- Revue des concepts clés et des fonctionnalités
- Bonnes pratiques pour l'utilisation de DeepSpeed en production
- Ressources supplémentaires pour en savoir plus sur DeepSpeed
Pré requis
- Connaissance intermédiaire des principes de l'apprentissage profond
- Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
- Connaissance familière de la programmation en Python
Audience
- Data scientists
- Ingénieurs en apprentissage automatique
- Développeurs
Nos clients témoignent (3)
J'ai vraiment aimé la fin où nous avons pris le temps de jouer avec CHAT GPT. La salle n'était pas très bien organisée pour cela - au lieu d'une grande table, quelques petites tables auraient été préférables afin que nous puissions travailler en petits groupes et brainstormer.
Nola - Laramie County Community College
Formation - Artificial Intelligence (AI) Overview
Traduction automatique
Travailler à partir des principes fondamentaux de manière concentrée, puis passer à l'application d'études de cas le même jour
Maggie Webb - Department of Jobs, Regions, and Precincts
Formation - Artificial Neural Networks, Machine Learning, Deep Thinking
Traduction automatique
Qu'il utilisait des données réelles d'entreprise. Le formateur avait une très bonne approche en faisant participer et concourir les stagiaires
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Formation - Applied AI from Scratch in Python
Traduction automatique