Prenez contact avec nous

Plan du cours

Fondements du débogage et de l'évaluation avec Mastra

  • Comprendre les modèles de comportement des agents et les modes de défaillance
  • Principes de débogage centraux dans Mastra
  • Évaluer les actions déterministes et non déterministes des agents

Configuration des environnements pour les tests d'agents

  • Configuration de bac à sable de test et d'espaces d'évaluation isolés
  • Capture des journaux, traces et télémétries pour une analyse détaillée
  • Préparation des ensembles de données et des prompts pour des tests structurés

Débogage du comportement des agents IA

  • Suivi des chemins de décision et des signaux de raisonnement interne
  • Identification des hallucinations, erreurs et comportements involontaires
  • Utilisation des tableaux de bord d'observabilité pour l'investigation des causes racines

Métriques d'évaluation et cadres de benchmarking

  • Définition de métriques d'évaluation quantitatives et qualitatives
  • Mesure de la précision, de la cohérence et de la conformité contextuelle
  • Application d'ensembles de données de référence pour une évaluation répétitive

Ingénierie de la fiabilité pour les agents IA

  • Conception de tests de fiabilité pour les agents à longue durée d'exécution
  • Détection de la dérive et de la dégradation des performances des agents
  • Mise en œuvre de sauvegardes pour les workflows critiques

Processus d'assurance qualité et automatisation

  • Construction de pipelines d'assurance qualité pour l'évaluation continue
  • Automatisation des tests de régression pour les mises à jour des agents
  • Intégration de l'assurance qualité avec les pipelines CI/CD et les workflows d'entreprise

Techniques avancées pour la réduction des hallucinations

  • Stratégies de prompt pour réduire les sorties indésirables
  • Boucles de validation et mécanismes d'auto-vérification
  • Expérimentation avec des combinaisons de modèles pour améliorer la fiabilité

Rapport, surveillance et amélioration continue

  • Développement de rapports d'assurance qualité et de tableaux de bord de score des agents
  • Surveillance du comportement à long terme et des schémas d'erreurs
  • Itération sur les cadres d'évaluation pour les systèmes évolutifs

Résumé et prochaines étapes

Pré requis

  • Une compréhension du comportement des agents IA et des interactions avec les modèles
  • De l'expérience en débogage ou en test de systèmes logiciels complexes
  • Une familiarité avec les outils d'observabilité ou de journalisation (logging)

Public cible

  • Ingénieurs en assurance qualité (AQ)
  • Ingénieurs en fiabilité des agents IA
  • Développeurs responsables de la qualité et des performances des agents
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires