Plan du cours
Introduction à l'apprentissage par renforcement et à l'IA agentique
- Prise de décision dans l'incertitude et planification séquentielle
- Composants clés de l'APR : agents, environnements, états et récompenses
- Rôle de l'APR dans les systèmes d'IA adaptatifs et agentiques
Processus de décision de Markov (PDM)
- Définition formelle et propriétés des PDM
- Fonctions de valeur, équations de Bellman et programmation dynamique
- Évaluation, amélioration et itération de politiques
Apprentissage par renforcement sans modèle
- Apprentissage Monte Carlo et apprentissage par différence temporelle (TD)
- Q-learning et SARSA
- Pratique : mise en œuvre de méthodes tabulaires d'APR en Python
Apprentissage par renforcement profond
- Combinaison des réseaux de neurones et de l'APR pour l'approximation de fonctions
- Profonde Q-Networks (DQN) et expérience de replay
- Architectures Actor-Critic et gradients de politique
- Pratique : entraînement d'un agent à l'aide de DQN et PPO avec Stable-Baselines3
Stratégies d'exploration et façonnage des récompenses
- Équilibrage exploration vs exploitation (ε-greedy, UCB, méthodes d'entropie)
- Conception de fonctions de récompense et avoidance des comportements non intentionnels
- Façonnage des récompenses et apprentissage progressif (curriculum learning)
Sujets avancés en APR et prise de décision
- Apprentissage par renforcement multi-agents et stratégies coopératives
- Apprentissage par renforcement hiérarchique et cadre des options
- APR hors ligne et apprentissage par imitation pour un déploiement plus sûr
Environnements de simulation et évaluation
- Utilisation d'OpenAI Gym et d'environnements personnalisés
- Espaces d'actions continus vs discrets
- Métriques pour l'évaluation des performances, de la stabilité et de l'efficacité d'échantillonnage des agents
Intégration de l'APR dans les systèmes d'IA agentiques
- Combinaison du raisonnement et de l'APR dans des architectures d'agents hybrides
- Intégration de l'apprentissage par renforcement avec des agents utilisant des outils
- Considérations opérationnelles pour l'échelle et le déploiement
Projet intégrateur (Capstone)
- Conception et mise en œuvre d'un agent d'apprentissage par renforcement pour une tâche simulée
- Analyse des performances d'entraînement et optimisation des hyperparamètres
- Démonstration d'un comportement adaptatif et de la prise de décision dans un contexte agentique
Résumé et prochaines étapes
Pré requis
- Maîtrise solide de la programmation en Python
- Compréhension solide des concepts de l'apprentissage automatique et de l'apprentissage profond
- Familiarité avec l'algèbre linéaire, la probabilité et les méthodes d'optimisation de base
Public cible
- Ingénieurs en apprentissage par renforcement et chercheurs appliqués en IA
- Développeurs en robotique et en automatisation
- Équipes d'ingénierie travaillant sur des systèmes d'IA adaptatifs et agentiques
Nos clients témoignent (3)
Le formateur est patient et très aidant. Il maîtrise bien le sujet.
CLIFFORD TABARES - Universal Leaf Philippines, Inc.
Formation - Agentic AI for Business Automation: Use Cases & Integration
Traduction automatique
Bon mélange de connaissances et de pratique
Ion Mironescu - Facultatea S.A.I.A.P.M.
Formation - Agentic AI for Enterprise Applications
Traduction automatique
Le mélange de théorie et de pratique, ainsi que des perspectives de haut niveau et de bas niveau
Ion Mironescu - Facultatea S.A.I.A.P.M.
Formation - Autonomous Decision-Making with Agentic AI
Traduction automatique
