Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 35 heures
Plan du cours
Introduction et fondements du diagnostic
- Aperçu des modes de défaillance dans les systèmes LLM et des problèmes spécifiques à Ollama
- Établissement d'expériences reproductibles et d'environnements contrôlés
- Batterie d'outils de débogage : journaux locaux, captures de requêtes/réponses et sandboxing
Reproduction et isolation des pannes
- Techniques pour créer des exemples de panne minimaux et des graines
- Interactions avec état et sans état : isolation des bogues liés au contexte
- Déterminisme, aléatoire et contrôle du comportement non déterministe
Évaluation comportementale et métriques
- Métriques quantitatives : précision, variantes ROUGE/BLEU, calibration et proxys de perplexité
- Évaluations qualitatives : notation par l'humain (human-in-the-loop) et conception de grilles d'évaluation
- Vérifications de fidélité spécifiques aux tâches et critères d'acceptation
Tests automatisés et régression
- Tests unitaires pour les prompts et les composants, tests de scénario et tests de bout en bout
- Création de suites de régression et de lignes de base d'exemples or (golden examples)
- Intégration CI/CD pour les mises à jour des modèles Ollama et les portes de validation automatisées
Observabilité et surveillance
- Journalisation structurée, traces distribuées et identifiants de corrélation
- Métriques opérationnelles clés : latence, utilisation des jetons, taux d'erreurs et signaux de qualité
- Alertes, tableaux de bord et SLI/SLO pour les services soutenus par des modèles
Analyse avancée des causes racines
- Retracement à travers les prompts graphiques, les appels d'outils et les flux multi-tours
- Diagnostic comparatif A/B et études d'ablation
- Provenance des données, débogage des jeux de données et traitement des défaillances induites par les jeux de données
Sécurité, robustesse et stratégies de remédiation
- Mesures d'atténuation : filtrage, ancrage (grounding), augmentation par récupération et échafaudage de prompts
- Modèles de retour arrière (rollback), de canari et de déploiement progressif pour les mises à jour de modèles
- Analyses post-incident, leçons apprises et boucles d'amélioration continue
Résumé et prochaines étapes
Pré requis
- Expérience solide dans la construction et le déploiement d'applications de LLM
- Connaissance des flux de travail d'Ollama et de l'hébergement de modèles
- Maîtrise de Python, Docker et des outils de base d'observabilité
Public cible
- Ingénieurs IA
- Professionnels de la MLOps
- Équipes QA responsables des systèmes LLM en production