Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction et fondements du diagnostic
- Vue d'ensemble des modes de défaillance dans les systèmes LLM et des problèmes courants spécifiques à Ollama
- Établissement d'expériences reproductibles et d'environnements contrôlés
- Boîte à outils de débogage : journaux locaux, captures de requêtes/réponses et isolation dans des environnements de test (sandboxing)
Reproduction et isolement des défaillances
- Techniques de création d'exemples minimaux de défaillance et de graines (seeds)
- Interactions avec état vs sans état : isolement des bugs liés au contexte
- Déterminisme, randomisation et contrôle du comportement non déterministe
Évaluation comportementale et indicateurs
- Indicateurs quantitatifs : précision, variantes de ROUGE/BLEU, calibration et proxies de perplexité
- Évaluations qualitatives : notation humaine intégrée (human-in-the-loop) et conception de grilles d'évaluation
- Vérifications de fidélité spécifiques à la tâche et critères d'acceptation
Tests automatisés et régression
- Tests unitaires pour les invites et les composants, tests de scénarios et de bout en bout
- Création de suites de régression et de références basées sur des exemples idéaux (golden examples)
- Intégration CI/CD pour les mises à jour des modèles Ollama et les portes de validation automatisées
Observabilité et surveillance
- Journaux structurés, traces distribuées et identifiants de corrélation
- Métriques opérationnelles clés : latence, utilisation des tokens, taux d'erreur et signaux de qualité
- Alertes, tableaux de bord et indicateurs SLI/SLO pour les services basés sur des modèles
Analyse avancée des causes racines
- Traçage à travers les invites graphées, les appels d'outils et les flux multi-tours
- Diagnostic comparatif A/B et études d'ablation
- Provenance des données, débogage des ensembles de données et résolution des défaillances induites par les données
Sûreté, robustesse et stratégies de remédiation
- Atténuations : filtrage, ancrage, augmentation par récupération et structure des invites (prompt scaffolding)
- Stratégies de rollback, déploiement en canari et déploiement progressif pour les mises à jour des modèles
- Analyses post-mortem, leçons apprises et boucles d'amélioration continue
Résumé et prochaines étapes
Pré requis
- Expérience solide dans la création et le déploiement d'applications LLM
- Connaissance des flux de travail d'Ollama et de l'hébergement de modèles
- Aisance avec Python, Docker et les outils d'observabilité de base
Public visé
- Ingénieurs en IA
- Professionnels de l'exploitation ML (ML Ops)
- Équipes QA responsables des systèmes LLM en production
35 Heures