Plan du cours

Introduction aux modèles LLM open-source

  • Qu'est-ce que les modèles à poids ouverts et pourquoi ils sont importants
  • Aperçu de LLaMA, Mistral, Qwen et autres modèles communautaires
  • Cas d'utilisation pour des déploiements privés, sur site ou sécurisés

Configuration de l'environnement et outils

  • Installation et configuration des bibliothèques Transformers, Datasets et PEFT
  • Sélection du matériel approprié pour le fine-tuning
  • Chargement de modèles pré-entraînés depuis Hugging Face ou d'autres dépôts

Préparation des données et preprocessing

  • Formats de jeu de données (ajustement par instructions, données de chat, texte uniquement)
  • Tokenization et gestion des séquences
  • Création de jeux de données personnalisés et chargeurs de données

Téniques Fine-Tuning

  • Fine-tuning complet standard vs. méthodes efficaces en termes de paramètres
  • Application de LoRA et QLoRA pour un fine-tuning efficace
  • Utilisation de l'API Trainer pour des expérimentations rapides

Évaluation et optimisation du modèle

  • Évaluation des modèles fine-tunés avec des métriques de génération et d'exactitude
  • Gestion du surapprentissage, de la généralisation et des ensembles de validation
  • Conseils pour l'optimisation des performances et le logging

Déploiement et utilisation privée

  • Sauvegarde et chargement des modèles pour l'inférence
  • Déploiement de modèles fine-tunés dans des environnements d'entreprise sécurisés
  • Stratégies de déploiement sur site vs. en cloud

Cas pratiques et Use Cases

  • Exemples d'utilisation d'entreprise pour LLaMA, Mistral et Qwen
  • Gestion du fine-tuning multilingue et spécifique au domaine
  • Débat : compromis entre modèles ouverts et fermés

Récapitulatif et prochaines étapes

Pré requis

  • Une compréhension des grands modèles de langage (GML) et de leur architecture
  • Expérience avec Python et PyTorch
  • Familiarité de base avec l'écosystème Hugging Face

Public cible

  • Praticiens en apprentissage machine (ML)
  • Développeurs IA
 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires