Prenez contact avec nous

Plan du cours

Introduction

  • Qu'est-ce qu'un grand modèle de langage (LLM) ?
  • LLM vs modèles NLP traditionnels
  • Aperçu des fonctionnalités et de l'architecture des LLM
  • Défis et limitations des LLM

Compréhension des LLM

  • Le cycle de vie d'un LLM
  • Comment fonctionnent les LLM
  • Les composants principaux d'un LLM : encodeur, décodeur, mécanisme d'attention, embeddings, etc.

Premiers pas

  • Mise en place de l'environnement de développement
  • Installation d'un LLM en tant qu'outil de développement, par exemple Google Colab, Hugging Face

Travail avec les LLM

  • Exploration des options de LLM disponibles
  • Création et utilisation d'un LLM
  • Affinement (fine-tuning) d'un LLM sur un jeu de données personnalisé

Synthèse de texte

  • Compréhension de la tâche de synthèse de texte et de ses applications
  • Utilisation d'un LLM pour la synthèse de texte extractive et abstraite
  • Évaluation de la qualité des résumés générés à l'aide de métriques telles que ROUGE, BLEU, etc.

Réponse aux questions

  • Compréhension de la tâche de réponse aux questions et de ses applications
  • Utilisation d'un LLM pour la réponse aux questions à domaine ouvert et fermé
  • Évaluation de la précision des réponses générées à l'aide de métriques telles que F1, EM, etc.

Génération de texte

  • Compréhension de la tâche de génération de texte et de ses applications
  • Utilisation d'un LLM pour la génération de texte conditionnelle et inconditionnelle
  • Contrôle du style, du ton et du contenu des textes générés à l'aide de paramètres tels que la température, top-k, top-p, etc.

Intégration des LLM avec d'autres frameworks et plateformes

  • Utilisation des LLM avec PyTorch ou TensorFlow
  • Utilisation des LLM avec Flask ou Streamlit
  • Utilisation des LLM avec Google Cloud ou AWS

Dépannage

  • Compréhension des erreurs et bugs courants dans les LLM
  • Utilisation de TensorBoard pour surveiller et visualiser le processus d'entraînement
  • Utilisation de PyTorch Lightning pour simplifier le code d'entraînement et améliorer les performances
  • Utilisation de Hugging Face Datasets pour charger et prétraiter les données

Résumé et prochaines étapes

Pré requis

  • Une compréhension du traitement du langage naturel (NLP) et de l'apprentissage profond.<
  • De l'expérience avec Python et PyTorch ou TensorFlow.<
  • Une expérience basique en programmation.

Public

  • Développeurs
  • Passionnés de NLP
  • Scientifiques des données
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires