Prenez contact avec nous
 Durée 14 heures

Plan du cours

Préparation des modèles d'apprentissage automatique pour le déploiement

  • Emballage des modèles avec Docker
  • Exportation des modèles depuis TensorFlow et PyTorch
  • Considérations relatives à la gestion des versions et au stockage

Servitude des modèles sur Kubernetes

  • Aperçu des serveurs d'inférence
  • Déploiement de TensorFlow Serving et TorchServe
  • Configuration des points de terminaison des modèles

Techniques d'optimisation de l'inférence

  • Stratégies de regroupement par lots (batching)
  • Gestion des requêtes simultanées
  • Ajustement de la latence et du débit

Redimensionnement automatique des charges de travail d'IA

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Redimensionnement automatique basé sur les événements Kubernetes (KEDA)

Approvisionnement des GPU et gestion des ressources

  • Configuration des nœuds GPU
  • Aperçu du plugin de périphérique NVIDIA
  • Requests et limites de ressources pour les charges de travail d'IA

Stratégies de déploiement et de livraison des modèles

  • Déploiements bleu/vert (blue/green)
  • Modèles de déploiement en canari
  • Tests A/B pour l'évaluation des modèles

Surveillance et observabilité de l'IA en production

  • Métriques pour les charges de travail d'inférence
  • Bonnes pratiques de journalisation et de traçage
  • Tableaux de bord et alertes

Enjeux de sécurité et de fiabilité

  • Sécurisation des points de terminaison des modèles
  • Politiques réseau et contrôle d'accès
  • Assurance de la haute disponibilité

Résumé et prochaines étapes

Pré requis

  • Une compréhension des flux de travail des applications containerisées.
  • De l'expérience avec les modèles d'apprentissage automatique basés sur Python.
  • Une familiarité avec les fondamentaux de Kubernetes.

Public cible

  • Ingénieurs en apprentissage automatique (IA)
  • Ingénieurs DevOps
  • Équipes d'ingénierie de plateforme

Nombre de participants


Prix par participant

Nos clients témoignent (4)

Cours à venir

Catégories Similaires