Prenez contact avec nous
 Durée 35 heures

Plan du cours

Introduction et fondements du diagnostic

  • Aperçu des modes de défaillance dans les systèmes LLM et des problèmes spécifiques à Ollama
  • Établissement d'expériences reproductibles et d'environnements contrôlés
  • Batterie d'outils de débogage : journaux locaux, captures de requêtes/réponses et sandboxing

Reproduction et isolation des pannes

  • Techniques pour créer des exemples de panne minimaux et des graines
  • Interactions avec état et sans état : isolation des bogues liés au contexte
  • Déterminisme, aléatoire et contrôle du comportement non déterministe

Évaluation comportementale et métriques

  • Métriques quantitatives : précision, variantes ROUGE/BLEU, calibration et proxys de perplexité
  • Évaluations qualitatives : notation par l'humain (human-in-the-loop) et conception de grilles d'évaluation
  • Vérifications de fidélité spécifiques aux tâches et critères d'acceptation

Tests automatisés et régression

  • Tests unitaires pour les prompts et les composants, tests de scénario et tests de bout en bout
  • Création de suites de régression et de lignes de base d'exemples or (golden examples)
  • Intégration CI/CD pour les mises à jour des modèles Ollama et les portes de validation automatisées

Observabilité et surveillance

  • Journalisation structurée, traces distribuées et identifiants de corrélation
  • Métriques opérationnelles clés : latence, utilisation des jetons, taux d'erreurs et signaux de qualité
  • Alertes, tableaux de bord et SLI/SLO pour les services soutenus par des modèles

Analyse avancée des causes racines

  • Retracement à travers les prompts graphiques, les appels d'outils et les flux multi-tours
  • Diagnostic comparatif A/B et études d'ablation
  • Provenance des données, débogage des jeux de données et traitement des défaillances induites par les jeux de données

Sécurité, robustesse et stratégies de remédiation

  • Mesures d'atténuation : filtrage, ancrage (grounding), augmentation par récupération et échafaudage de prompts
  • Modèles de retour arrière (rollback), de canari et de déploiement progressif pour les mises à jour de modèles
  • Analyses post-incident, leçons apprises et boucles d'amélioration continue

Résumé et prochaines étapes

Pré requis

  • Expérience solide dans la construction et le déploiement d'applications de LLM
  • Connaissance des flux de travail d'Ollama et de l'hébergement de modèles
  • Maîtrise de Python, Docker et des outils de base d'observabilité

Public cible

  • Ingénieurs IA
  • Professionnels de la MLOps
  • Équipes QA responsables des systèmes LLM en production

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires