Prenez contact avec nous

Plan du cours

Introduction à l'apprentissage par renforcement à partir de commentaires humains (RLHF)

  • Qu'est-ce que le RLHF et pourquoi cela importe
  • Comparaison avec les méthodes d'ajustement fin supervisé
  • Applications du RLHF dans les systèmes d'IA modernes

Modélisation de la récompense avec des commentaires humains

  • Collecte et structuration des commentaires humains
  • Construction et formation des modèles de récompense
  • Évaluation de l'efficacité des modèles de récompense

Entraînement avec l'optimisation de la politique proximale (PPO)

  • Aperçu des algorithmes PPO pour le RLHF
  • Implémentation du PPO avec des modèles de récompense
  • Ajustement itératif et sûr des modèles

Ajustement fin pratique des modèles de langage

  • Préparation des ensembles de données pour les workflows RLHF
  • Ajustement fin pratique d'un petit LLM en utilisant le RLHF
  • Défis et stratégies d'atténuation

Mise à l'échelle du RLHF vers des systèmes de production

  • Considérations relatives à l'infrastructure et au calcul
  • Assurance qualité et boucles de rétroaction continues
  • Meilleures pratiques pour le déploiement et la maintenance

Considérations éthiques et atténuation des biais

  • Adresser les risques éthiques dans les commentaires humains
  • Stratégies de détection et de correction des biais
  • Assurer l'alignement et des sorties sécurisées

Études de cas et exemples du monde réel

  • Étude de cas : Ajustement fin de ChatGPT avec le RLHF
  • Autres déploiements réussis du RLHF
  • Leçons apprises et informations sectorielles

Résumé et prochaines étapes

Pré requis

  • Une compréhension des fondamentaux de l'apprentissage supervisé et de l'apprentissage par renforcement
  • De l'expérience en ajustement fin de modèles et en architectures de réseaux neuronaux
  • Une familiarité avec la programmation Python et les frameworks d'apprentissage profond (par exemple, TensorFlow, PyTorch)

Audience

  • Ingénieurs en apprentissage automatique
  • Chercheurs en IA
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires