Prenez contact avec nous
 Durée 21 heures

Plan du cours

Introduction à la mise à l'échelle d'Ollama

  • Architecture d'Ollama et considérations relatives à la mise à l'échelle
  • Goulets d'étranglement courants dans les déploiements à plusieurs utilisateurs
  • Meilleures pratiques pour la préparation de l'infrastructure

Allocation des ressources et optimisation GPU

  • Stratégies d'utilisation efficace des CPU et GPU
  • Considérations relatives à la mémoire et à la bande passante
  • Contraintes de ressources au niveau des conteneurs

Déploiement avec des conteneurs et Kubernetes

  • Conteneurisation d'Ollama avec Docker
  • Exécution d'Ollama dans des clusters Kubernetes
  • Équilibrage de charge et découverte de services

Mise à l'échelle automatique et traitement par lots (batching)

  • Conception de politiques de mise à l'échelle automatique pour Ollama
  • Techniques d'inférence par lots pour l'optimisation du débit
  • Compromis entre latence et débit

Optimisation de la latence

  • Profilage des performances d'inférence
  • Stratégies de mise en cache et réchauffement des modèles
  • Réduction des surcoûts liés aux E/S et à la communication

Surveillance et observabilité

  • Intégration de Prometheus pour les métriques
  • Création de tableaux de bord avec Grafana
  • Alerter et réponse aux incidents pour l'infrastructure Ollama

Gestion des coûts et stratégies de mise à l'échelle

  • Allocation GPU prenant en compte les coûts
  • Considérations pour les déploiements cloud ou sur site (on-prem)
  • Stratégies pour une mise à l'échelle durable

Résumé et prochaines étapes

Pré requis

  • Expérience en administration des systèmes Linux
  • Compréhension de la conteneurisation et de l'orchestration
  • Familiarité avec le déploiement de modèles d'apprentissage automatique

Public cible

  • Ingénieurs DevOps
  • Équipes d'infrastructure IA/ML
  • Ingénieurs en fiabilité des sites (SRE)

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires