Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 21 heures
Plan du cours
Introduction à la mise à l'échelle d'Ollama
- Architecture d'Ollama et considérations relatives à la mise à l'échelle
- Goulets d'étranglement courants dans les déploiements à plusieurs utilisateurs
- Meilleures pratiques pour la préparation de l'infrastructure
Allocation des ressources et optimisation GPU
- Stratégies d'utilisation efficace des CPU et GPU
- Considérations relatives à la mémoire et à la bande passante
- Contraintes de ressources au niveau des conteneurs
Déploiement avec des conteneurs et Kubernetes
- Conteneurisation d'Ollama avec Docker
- Exécution d'Ollama dans des clusters Kubernetes
- Équilibrage de charge et découverte de services
Mise à l'échelle automatique et traitement par lots (batching)
- Conception de politiques de mise à l'échelle automatique pour Ollama
- Techniques d'inférence par lots pour l'optimisation du débit
- Compromis entre latence et débit
Optimisation de la latence
- Profilage des performances d'inférence
- Stratégies de mise en cache et réchauffement des modèles
- Réduction des surcoûts liés aux E/S et à la communication
Surveillance et observabilité
- Intégration de Prometheus pour les métriques
- Création de tableaux de bord avec Grafana
- Alerter et réponse aux incidents pour l'infrastructure Ollama
Gestion des coûts et stratégies de mise à l'échelle
- Allocation GPU prenant en compte les coûts
- Considérations pour les déploiements cloud ou sur site (on-prem)
- Stratégies pour une mise à l'échelle durable
Résumé et prochaines étapes
Pré requis
- Expérience en administration des systèmes Linux
- Compréhension de la conteneurisation et de l'orchestration
- Familiarité avec le déploiement de modèles d'apprentissage automatique
Public cible
- Ingénieurs DevOps
- Équipes d'infrastructure IA/ML
- Ingénieurs en fiabilité des sites (SRE)