Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 21 heures
Plan du cours
Fondements du débogage et de l'évaluation avec Mastra
- Comprendre les modèles de comportement des agents et les modes de défaillance
- Principes fondamentaux du débogage dans Mastra
- Évaluation des actions déterministes et non déterministes des agents
Mise en place des environnements pour le test des agents
- Configuration de bac à sable de tests et d'espaces d'évaluation isolés
- Capture des journaux, des traces et de la télémétrie pour une analyse détaillée
- Préparation des ensembles de données et des invites (prompts) pour des tests structurés
Débogage du comportement des agents IA
- Suivi des chemins de décision et des signaux de raisonnement internes
- Identification des hallucinations, des erreurs et des comportements non souhaités
- Utilisation des tableaux de bord d'observabilité pour l'investigation des causes profondes
Métriques d'évaluation et cadres de référence (benchmarking)
- Définition de métriques d'évaluation quantitatives et qualitatives
- Mesure de l'exactitude, de la cohérence et de la conformité contextuelle
- Application d'ensembles de données de référence pour une évaluation reproductible
Génie de la fiabilité pour les agents IA
- Conception de tests de fiabilité pour les agents de longue durée
- Détection de la dérive et de la dégradation des performances des agents
- Mise en œuvre de garde-fous pour les flux de travail critiques
Processus d'assurance qualité et automatisation
- Construction de pipelines d'AQ pour l'évaluation continue
- Automatisation des tests de régression pour les mises à jour des agents
- Intégration de l'AQ avec les flux CI/CD et les processus d'entreprise
Techniques avancées pour la réduction des hallucinations
- Stratégies d'invites (prompting) pour réduire les sorties indésirables
- Boucles de validation et mécanismes d'auto-vérification
- Expérimentation avec des combinaisons de modèles pour améliorer la fiabilité
Rapportage, surveillance et amélioration continue
- Élaboration de rapports d'AQ et de tableaux de bord de scores pour les agents
- Surveillance du comportement à long terme et des motifs d'erreurs
- Itération des cadres d'évaluation pour les systèmes en évolution
Résumé et prochaines étapes
Pré requis
- Une compréhension du comportement des agents IA et des interactions avec les modèles
- De l'expérience dans le débogage ou les tests de systèmes logiciels complexes
- Une familiarité avec les outils d'observabilité ou de journalisation (logging)
Public cible
- Ingénieurs en assurance qualité (QA)
- Ingénieurs en fiabilité des systèmes IA
- Développeurs responsables de la qualité et des performances des agents
