Formation Introduction aux grands modèles de langage (LLM)

Introduction

• Qu'est-ce qu'un grand modèle de langage (LLM) ?
• LLM vs modèles NLP traditionnels
• Aperçu des fonctionnalités et de l'architecture des LLM
• Défis et limitations des LLM

Compréhension des LLM

• Le cycle de vie d'un LLM
• Comment fonctionnent les LLM
• Les composants principaux d'un LLM : encodeur, décodeur, mécanisme d'attention, embeddings, etc.

Premiers pas

• Mise en place de l'environnement de développement
• Installation d'un LLM en tant qu'outil de développement, par exemple Google Colab, Hugging Face

Travail avec les LLM

• Exploration des options de LLM disponibles
• Création et utilisation d'un LLM
• Affinement (fine-tuning) d'un LLM sur un jeu de données personnalisé

Synthèse de texte

• Compréhension de la tâche de synthèse de texte et de ses applications
• Utilisation d'un LLM pour la synthèse de texte extractive et abstraite
• Évaluation de la qualité des résumés générés à l'aide de métriques telles que ROUGE, BLEU, etc.

Réponse aux questions

• Compréhension de la tâche de réponse aux questions et de ses applications
• Utilisation d'un LLM pour la réponse aux questions à domaine ouvert et fermé
• Évaluation de la précision des réponses générées à l'aide de métriques telles que F1, EM, etc.

Génération de texte

• Compréhension de la tâche de génération de texte et de ses applications
• Utilisation d'un LLM pour la génération de texte conditionnelle et inconditionnelle
• Contrôle du style, du ton et du contenu des textes générés à l'aide de paramètres tels que la température, top-k, top-p, etc.

Intégration des LLM avec d'autres frameworks et plateformes

• Utilisation des LLM avec PyTorch ou TensorFlow
• Utilisation des LLM avec Flask ou Streamlit
• Utilisation des LLM avec Google Cloud ou AWS

Dépannage

• Compréhension des erreurs et bugs courants dans les LLM
• Utilisation de TensorBoard pour surveiller et visualiser le processus d'entraînement
• Utilisation de PyTorch Lightning pour simplifier le code d'entraînement et améliorer les performances
• Utilisation de Hugging Face Datasets pour charger et prétraiter les données

Résumé et prochaines étapes