Prenez contact avec nous

Plan du cours

Introduction aux LLM open source

  • Que sont les modèles à poids ouverts et pourquoi ils sont importants.
  • Aperçu de LLaMA, Mistral, Qwen et d'autres modèles communautaires.
  • Cas d'utilisation pour les déploiements privés, sur site ou sécurisés.

Configuration de l'environnement et outils

  • Installation et configuration des bibliothèques Transformers, Datasets et PEFT.
  • Choix du matériel approprié pour l'ajustement fin.
  • Chargement de modèles pré-entraînés depuis Hugging Face ou d'autres dépôts.

Préparation et prétraitement des données

  • Formats de jeux de données (instructeur tuning, données de chat, texte uniquement).
  • Tokenisation et gestion des séquences.
  • Création de jeux de données personnalisés et de chargeurs de données.

Techniques d'ajustement fin

  • Ajustement fin complet standard par rapport aux méthodes efficaces en paramètres.
  • Application de LoRA et QLoRA pour un ajustement fin efficace.
  • Utilisation de l'API Trainer pour des expérimentations rapides.

Évaluation et optimisation des modèles

  • Évaluation des modèles ajustés finement à l'aide de métriques de génération et de précision.
  • Gestion du surajustement, de la généralisation et des ensembles de validation.
  • Astuces d'optimisation des performances et journalisation.

Déploiement et usage privé

  • Sauvegarde et chargement des modèles pour l'inférence.
  • Déploiement de modèles ajustés finement dans des environnements d'entreprise sécurisés.
  • Stratégies de déploiement sur site par rapport au cloud.

Études de cas et cas d'utilisation

  • Exemples d'utilisation entreprise de LLaMA, Mistral et Qwen.
  • Gestion de l'ajustement fin multilingue et spécifique au domaine.
  • Débat : compromis entre les modèles ouverts et fermés.

Résumé et prochaines étapes

Pré requis

  • Une compréhension des grands modèles de langage (LLM) et de leur architecture.
  • De l'expérience avec Python et PyTorch.
  • Une familiarité de base avec l'écosystème Hugging Face.

Audience cible

  • Praticiens en apprentissage automatique (ML).
  • Développeurs en IA.
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires