Prenez contact avec nous

Plan du cours

Introduction et fondements du diagnostic

  • Vue d'ensemble des modes de défaillance dans les systèmes LLM et des problèmes courants spécifiques à Ollama
  • Établissement d'expériences reproductibles et d'environnements contrôlés
  • Boîte à outils de débogage : journaux locaux, captures de requêtes/réponses et isolation dans des environnements de test (sandboxing)

Reproduction et isolement des défaillances

  • Techniques de création d'exemples minimaux de défaillance et de graines (seeds)
  • Interactions avec état vs sans état : isolement des bugs liés au contexte
  • Déterminisme, randomisation et contrôle du comportement non déterministe

Évaluation comportementale et indicateurs

  • Indicateurs quantitatifs : précision, variantes de ROUGE/BLEU, calibration et proxies de perplexité
  • Évaluations qualitatives : notation humaine intégrée (human-in-the-loop) et conception de grilles d'évaluation
  • Vérifications de fidélité spécifiques à la tâche et critères d'acceptation

Tests automatisés et régression

  • Tests unitaires pour les invites et les composants, tests de scénarios et de bout en bout
  • Création de suites de régression et de références basées sur des exemples idéaux (golden examples)
  • Intégration CI/CD pour les mises à jour des modèles Ollama et les portes de validation automatisées

Observabilité et surveillance

  • Journaux structurés, traces distribuées et identifiants de corrélation
  • Métriques opérationnelles clés : latence, utilisation des tokens, taux d'erreur et signaux de qualité
  • Alertes, tableaux de bord et indicateurs SLI/SLO pour les services basés sur des modèles

Analyse avancée des causes racines

  • Traçage à travers les invites graphées, les appels d'outils et les flux multi-tours
  • Diagnostic comparatif A/B et études d'ablation
  • Provenance des données, débogage des ensembles de données et résolution des défaillances induites par les données

Sûreté, robustesse et stratégies de remédiation

  • Atténuations : filtrage, ancrage, augmentation par récupération et structure des invites (prompt scaffolding)
  • Stratégies de rollback, déploiement en canari et déploiement progressif pour les mises à jour des modèles
  • Analyses post-mortem, leçons apprises et boucles d'amélioration continue

Résumé et prochaines étapes

Pré requis

  • Expérience solide dans la création et le déploiement d'applications LLM
  • Connaissance des flux de travail d'Ollama et de l'hébergement de modèles
  • Aisance avec Python, Docker et les outils d'observabilité de base

Public visé

  • Ingénieurs en IA
  • Professionnels de l'exploitation ML (ML Ops)
  • Équipes QA responsables des systèmes LLM en production
 35 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires