Prenez contact avec nous
 Durée 14 heures

Plan du cours

Introduction au renforcement par apprentissage à partir des retours humains (RLHF)

  • Qu'est-ce que le RLHF et pourquoi est-il important
  • Comparaison avec les méthodes de réglage fin supervisé
  • Applications du RLHF dans les systèmes d'IA modernes

Modélisation de la récompense à partir des retours humains

  • Collecte et structuration des retours humains
  • Construction et entraînement de modèles de récompense
  • Évaluation de l'efficacité des modèles de récompense

Entraînement avec l'optimisation de politique proximale (PPO)

  • Vue d'ensemble des algorithmes PPO pour le RLHF
  • Implémentation de PPO avec des modèles de récompense
  • Réglage fin itératif et sécuritaire des modèles

Réglage fin pratique des modèles de langage

  • Préparation des ensembles de données pour les flux de travail RLHF
  • Réglage fin pratique d'un petit LLM à l'aide du RLHF
  • Défis et stratégies d'atténuation

Passage à l'échelle du RLHF vers les systèmes de production

  • Considérations liées à l'infrastructure et à la puissance de calcul
  • Assurance de la qualité et boucles de rétroaction continues
  • Meilleures pratiques pour le déploiement et la maintenance

Considérations éthiques et atténuation des biais

  • Aborder les risques éthiques liés aux retours humains
  • Stratégies de détection et de correction des biais
  • Assurer l'alignement et des sorties sûres

Études de cas et exemples réels

  • Étude de cas : Réglage fin de ChatGPT avec RLHF
  • Autres déploiements réussis du RLHF
  • Leçons apprises et insights du secteur

Pré requis

  • Une compréhension des fondements de l'apprentissage supervisé et de l'apprentissage par renforcement
  • De l'expérience avec le réglage fin des modèles et les architectures de réseaux de neurones
  • Une familiarité avec la programmation Python et les frameworks d'apprentissage approfondi (p. ex., TensorFlow, PyTorch)

Public cible

  • Ingénieurs en apprentissage automatique
  • Chercheurs en IA

Nombre de participants


Prix par participant

Nos clients témoignent (1)

Cours à venir

Catégories Similaires