Formation Grands modèles de langage (LLM) et apprentissage par renforcement (RL)

Introduction aux grands modèles de langage (LLM)

• Aperçu des LLM
• Définition et importance
• Applications dans l’intelligence artificielle actuelle

Architecture des transformeurs

• Qu’est-ce qu’un transformeur et comment fonctionne-t-il ?
• Composants principaux et caractéristiques
• Embedding et codage positionnel
• Attention multi-têtes
• Réseau de neurones à propagation avant
• Normalisation et connexions résiduelles

Modèles à base de transformeurs

• Mécanisme d’auto-attention
• Architecture encodeur-décodeur
• Embeddings positionnels
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Optimisation des performances et écueils courants

• Longueur du contexte
• Mamba et modèles à espace d’état
• Flash attention
• Transformeurs clairsemés
• Transformeurs visuels
• Importance de la quantification

Amélioration des transformeurs

• Génération de texte augmentée par recherche
• Mélange de modèles
• Arbre de pensées

Ajustement fin (Fine-Tuning)

• Théorie de l’adaptation de faible rang
• Ajustement fin avec QLora

Lois d’échelle et optimisation dans les LLM

• Importance des lois d’échelle pour les LLM
• Extension de la taille des données et des modèles
• Extension des ressources de calcul
• Extension de l’efficacité des paramètres

Optimisation

• Relation entre la taille du modèle, la taille des données, le budget de calcul et les besoins en inférence
• Optimisation des performances et de l’efficacité des LLM
• Meilleures pratiques et outils pour l’entraînement et l’ajustement fin des LLM

Entraînement et ajustement fin des LLM

• Étapes et défis de l’entraînement des LLM à partir de zéro
• Acquisition et maintenance des données
• Données à grande échelle, exigences en matière de CPU et de mémoire
• Défis liés à l’optimisation
• Paysage des LLM open source

Fondamentaux de l’apprentissage par renforcement (RL)

• Introduction à l’apprentissage par renforcement
• Apprentissage par renforcement positif
• Définition et concepts clés
• Processus de décision markovien (MDP)
• Programmation dynamique
• Méthodes de Monte Carlo
• Apprentissage par différence temporelle

Apprentissage par renforcement profond

• Réseaux Q profonds (DQN)
• Optimisation de la politique proximale (PPO)
• Éléments de l’apprentissage par renforcement

Intégration des LLM et de l’apprentissage par renforcement

• Combinaison des LLM avec l’apprentissage par renforcement
• Utilisation du RL dans les LLM
• Apprentissage par renforcement avec feedback humain (RLHF)
• Alternatives au RLHF

Études de cas et applications

• Applications dans le monde réel
• Histoires de succès et défis rencontrés

Sujets avancés

• Techniques avancées
• Méthodes d’optimisation avancées
• Recherche de pointe et développements récents

Résumé et prochaines étapes