Formation Ajustement fin des modèles et des grands modèles de langage (LLM)

Introduction à l'ajustement fin

• Qu'est-ce que l'ajustement fin ?
• Cas d'utilisation et avantages de l'ajustement fin
• Aperçu des modèles pré-entraînés et de l'apprentissage par transfert

Préparation à l'ajustement fin

• Collecte et nettoyage des ensembles de données
• Compréhension des exigences spécifiques aux tâches pour les données
• Analyse exploratoire des données et prétraitement

Techniques d'ajustement fin

• Apprentissage par transfert et extraction de caractéristiques
• Ajustement fin des transformateurs avec Hugging Face
• Ajustement fin pour des tâches supervisées versus non supervisées

Ajustement fin des grands modèles de langage (LLM)

• Adaptation des LLM pour des tâches de NLP (par ex. classification de texte, résumé)
• Entraînement des LLM avec des ensembles de données personnalisés
• Contrôle du comportement des LLM grâce à l'ingénierie de prompts

Optimisation et évaluation

• Réglage des hyperparamètres
• Évaluation des performances du modèle
• Prise en compte du surajustement et du sous-ajustement

Mise à l'échelle des efforts d'ajustement fin

• Ajustement fin sur des systèmes distribués
• Exploitation de solutions basées sur le cloud pour la scalabilité
• Études de cas : projets d'ajustement fin à grande échelle

Meilleures pratiques et défis

• Meilleures pratiques pour réussir l'ajustement fin
• Défis courants et dépannage
• Considérations éthiques dans l'ajustement fin des modèles d'IA

Sujets avancés (optionnel)

• Ajustement fin des modèles multimodaux
• Apprentissage zéro-échantillon et peu-échantillon
• Exploration des techniques de LoRA (Adaptation à faible rang)

Résumé et prochaines étapes