Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Fondements du débogage et de l'évaluation avec Mastra
- Comprendre les modèles de comportement des agents et les modes de défaillance
- Principes de débogage centraux dans Mastra
- Évaluer les actions déterministes et non déterministes des agents
Configuration des environnements pour les tests d'agents
- Configuration de bac à sable de test et d'espaces d'évaluation isolés
- Capture des journaux, traces et télémétries pour une analyse détaillée
- Préparation des ensembles de données et des prompts pour des tests structurés
Débogage du comportement des agents IA
- Suivi des chemins de décision et des signaux de raisonnement interne
- Identification des hallucinations, erreurs et comportements involontaires
- Utilisation des tableaux de bord d'observabilité pour l'investigation des causes racines
Métriques d'évaluation et cadres de benchmarking
- Définition de métriques d'évaluation quantitatives et qualitatives
- Mesure de la précision, de la cohérence et de la conformité contextuelle
- Application d'ensembles de données de référence pour une évaluation répétitive
Ingénierie de la fiabilité pour les agents IA
- Conception de tests de fiabilité pour les agents à longue durée d'exécution
- Détection de la dérive et de la dégradation des performances des agents
- Mise en œuvre de sauvegardes pour les workflows critiques
Processus d'assurance qualité et automatisation
- Construction de pipelines d'assurance qualité pour l'évaluation continue
- Automatisation des tests de régression pour les mises à jour des agents
- Intégration de l'assurance qualité avec les pipelines CI/CD et les workflows d'entreprise
Techniques avancées pour la réduction des hallucinations
- Stratégies de prompt pour réduire les sorties indésirables
- Boucles de validation et mécanismes d'auto-vérification
- Expérimentation avec des combinaisons de modèles pour améliorer la fiabilité
Rapport, surveillance et amélioration continue
- Développement de rapports d'assurance qualité et de tableaux de bord de score des agents
- Surveillance du comportement à long terme et des schémas d'erreurs
- Itération sur les cadres d'évaluation pour les systèmes évolutifs
Résumé et prochaines étapes
Pré requis
- Une compréhension du comportement des agents IA et des interactions avec les modèles
- De l'expérience en débogage ou en test de systèmes logiciels complexes
- Une familiarité avec les outils d'observabilité ou de journalisation (logging)
Public cible
- Ingénieurs en assurance qualité (AQ)
- Ingénieurs en fiabilité des agents IA
- Développeurs responsables de la qualité et des performances des agents
21 Heures