Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 14 heures
Plan du cours
Introduction au renforcement par apprentissage à partir des retours humains (RLHF)
- Qu'est-ce que le RLHF et pourquoi est-il important
- Comparaison avec les méthodes de réglage fin supervisé
- Applications du RLHF dans les systèmes d'IA modernes
Modélisation de la récompense à partir des retours humains
- Collecte et structuration des retours humains
- Construction et entraînement de modèles de récompense
- Évaluation de l'efficacité des modèles de récompense
Entraînement avec l'optimisation de politique proximale (PPO)
- Vue d'ensemble des algorithmes PPO pour le RLHF
- Implémentation de PPO avec des modèles de récompense
- Réglage fin itératif et sécuritaire des modèles
Réglage fin pratique des modèles de langage
- Préparation des ensembles de données pour les flux de travail RLHF
- Réglage fin pratique d'un petit LLM à l'aide du RLHF
- Défis et stratégies d'atténuation
Passage à l'échelle du RLHF vers les systèmes de production
- Considérations liées à l'infrastructure et à la puissance de calcul
- Assurance de la qualité et boucles de rétroaction continues
- Meilleures pratiques pour le déploiement et la maintenance
Considérations éthiques et atténuation des biais
- Aborder les risques éthiques liés aux retours humains
- Stratégies de détection et de correction des biais
- Assurer l'alignement et des sorties sûres
Études de cas et exemples réels
- Étude de cas : Réglage fin de ChatGPT avec RLHF
- Autres déploiements réussis du RLHF
- Leçons apprises et insights du secteur
Pré requis
- Une compréhension des fondements de l'apprentissage supervisé et de l'apprentissage par renforcement
- De l'expérience avec le réglage fin des modèles et les architectures de réseaux de neurones
- Une familiarité avec la programmation Python et les frameworks d'apprentissage approfondi (p. ex., TensorFlow, PyTorch)
Public cible
- Ingénieurs en apprentissage automatique
- Chercheurs en IA
Nos clients témoignent (1)
les exemples très parlant et les exercice appliqués