Formation Ajustement fin des LLM open source (LLaMA, Mistral, Qwen, etc.)

Introduction aux LLM open source

• Que sont les modèles à poids ouverts et pourquoi ils sont importants.
• Aperçu de LLaMA, Mistral, Qwen et d'autres modèles communautaires.
• Cas d'utilisation pour les déploiements privés, sur site ou sécurisés.

Configuration de l'environnement et outils

• Installation et configuration des bibliothèques Transformers, Datasets et PEFT.
• Choix du matériel approprié pour l'ajustement fin.
• Chargement de modèles pré-entraînés depuis Hugging Face ou d'autres dépôts.

Préparation et prétraitement des données

• Formats de jeux de données (instructeur tuning, données de chat, texte uniquement).
• Tokenisation et gestion des séquences.
• Création de jeux de données personnalisés et de chargeurs de données.

Techniques d'ajustement fin

• Ajustement fin complet standard par rapport aux méthodes efficaces en paramètres.
• Application de LoRA et QLoRA pour un ajustement fin efficace.
• Utilisation de l'API Trainer pour des expérimentations rapides.

Évaluation et optimisation des modèles

• Évaluation des modèles ajustés finement à l'aide de métriques de génération et de précision.
• Gestion du surajustement, de la généralisation et des ensembles de validation.
• Astuces d'optimisation des performances et journalisation.

Déploiement et usage privé

• Sauvegarde et chargement des modèles pour l'inférence.
• Déploiement de modèles ajustés finement dans des environnements d'entreprise sécurisés.
• Stratégies de déploiement sur site par rapport au cloud.

Études de cas et cas d'utilisation

• Exemples d'utilisation entreprise de LLaMA, Mistral et Qwen.
• Gestion de l'ajustement fin multilingue et spécifique au domaine.
• Débat : compromis entre les modèles ouverts et fermés.

Résumé et prochaines étapes