Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 14 heures
Plan du cours
Préparation des modèles d'apprentissage automatique pour le déploiement
- Emballage des modèles avec Docker
- Exportation des modèles depuis TensorFlow et PyTorch
- Considérations relatives à la gestion des versions et au stockage
Servitude des modèles sur Kubernetes
- Aperçu des serveurs d'inférence
- Déploiement de TensorFlow Serving et TorchServe
- Configuration des points de terminaison des modèles
Techniques d'optimisation de l'inférence
- Stratégies de regroupement par lots (batching)
- Gestion des requêtes simultanées
- Ajustement de la latence et du débit
Redimensionnement automatique des charges de travail d'IA
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Redimensionnement automatique basé sur les événements Kubernetes (KEDA)
Approvisionnement des GPU et gestion des ressources
- Configuration des nœuds GPU
- Aperçu du plugin de périphérique NVIDIA
- Requests et limites de ressources pour les charges de travail d'IA
Stratégies de déploiement et de livraison des modèles
- Déploiements bleu/vert (blue/green)
- Modèles de déploiement en canari
- Tests A/B pour l'évaluation des modèles
Surveillance et observabilité de l'IA en production
- Métriques pour les charges de travail d'inférence
- Bonnes pratiques de journalisation et de traçage
- Tableaux de bord et alertes
Enjeux de sécurité et de fiabilité
- Sécurisation des points de terminaison des modèles
- Politiques réseau et contrôle d'accès
- Assurance de la haute disponibilité
Résumé et prochaines étapes
Pré requis
- Une compréhension des flux de travail des applications containerisées.
- De l'expérience avec les modèles d'apprentissage automatique basés sur Python.
- Une familiarité avec les fondamentaux de Kubernetes.
Public cible
- Ingénieurs en apprentissage automatique (IA)
- Ingénieurs DevOps
- Équipes d'ingénierie de plateforme
Nos clients témoignent (1)
J'apprécie particulièrement la partie consacrée à Kubernetes lors de cette formation. J'avais des tâches impliquant des pods et des ports K8s, et il était agréable d'en acquérir une meilleure compréhension. Merci !
Laura Miron - Betfair
Formation - Docker and Kubernetes
Traduction automatique