Formation Modèles de décision auto-hébergés : Service, Quantisation, Latence et Opérations

Options de déploiement

• Compromis entre API hébergée et auto-hébergement
• Modèles on-premises, edge et hermétiques (air-gapped)
• Modèle unique versus portefeuille de modèles
• Comparaison du coût par décision

Dimensionnement matériel et capacité

• Empreinte mémoire selon le nombre de paramètres
• Accélération par CPU uniquement versus GPU
• Planification de la concurrence et du débit
• Marge pour la croissance de la longueur des tâches

Piles de service (Serving Stacks)

• Options vLLM et SGLang
• Exécution llama.cpp et GGUF
• Ollama pour le développement local
• Choix basé sur la nature de la charge de travail de décision

Quantisation sans perte d'étalonnage

• Formats de précision et gains en mémoire
• Mesure de la qualité et de la perte d'étalonnage
• Variantes par tenseur et sensibles à l'importance
• Tests d'acceptation après quantisation

Ingénierie de la latence

• Latence médiane versus latence de queue (tail)
• Évolution de la latence avec la longueur du contexte
• Démarrage à chaud (warm start) et mise en cache des modèles
• Groupement (batching) de multiples questions de décision

Environnements edge et contraints

• Petits modèles de décision sur CPU
• Déploiement sur Apple Silicon et systèmes embarqués
• Fonctionnement hors ligne et stratégie de mise à jour
• Diffusion de poids (weights) dans des environnements hermétiques

Conteneurisation et mise à l'échelle

• Conception d'images pour le service de modèles
• Gestion des volumes et de la mémoire cache
• Mise à l'échelle horizontale et routage
• Limites de ressources et partage de GPU

Observabilité

• Métriques de requêtes, de latence et d'erreurs
• Surveillance de la distribution de la confiance (confidence)
• Suivi des résultats de décision et des escalades
• Alertes en cas de dérive d'étalonnage (calibration drift)

Versioning et déploiement

• Versioning des modèles et des adaptateurs
• Déploiement ombre (shadow) et canari (canary)
• Fichiers de modèles verrouillés pour audit
• Procédures de retour arrière (rollback)

Sécurité et multi-locataires

• Authentification et limitation de débit (rate limiting)
• Isolation des locataires pour les prompts et les journaux
• Isolation réseau et contrôle des sorties (egress)
• Journalisation d'audit des décisions