Prenez contact avec nous

Plan du cours

Introduction à la réadaptation fine efficace par paramètres (PEFT)

  • Motivations et limites de la réadaptation fine complète
  • Vue d'ensemble de la PEFT : objectifs et avantages
  • Applications et cas d'usage dans l'industrie

LoRA (Low-Rank Adaptation / Adaptation à faible rang)

  • Concept et intuition derrière LoRA
  • Mise en œuvre de LoRA avec Hugging Face et PyTorch
  • Pratique : Affinage d'un modèle avec LoRA

Adaptation par insertions (Adapter Tuning)

  • Fonctionnement des modules d'insertion
  • Intégration avec les modèles basés sur les transformers
  • Pratique : Application de l'adaptation par insertions à un modèle transformer

Ajout de préfixes (Prefix Tuning)

  • Utilisation d'invites douces (soft prompts) pour l'affinage
  • Forces et limites par rapport à LoRA et aux insertions
  • Pratique : Ajout de préfixes sur une tâche LLM

Évaluation et comparaison des méthodes PEFT

  • Métriques pour évaluer la performance et l'efficacité
  • Compromis en termes de vitesse d'entraînement, d'utilisation de la mémoire et de précision
  • Expériences de benchmarking et interprétation des résultats

Déploiement des modèles affinés

  • Sauvegarde et chargement des modèles affinés
  • Considérations de déploiement pour les modèles basés sur PEFT
  • Intégration dans les applications et pipelines

Meilleures pratiques et prolongements

  • Combinaison de la PEFT avec la quantification et la distillation
  • Utilisation dans des environnements à ressources limitées et multilingues
  • Perspectives futures et domaines de recherche actifs

Résumé et prochaines étapes

Pré requis

  • Une compréhension des fondamentaux de l'apprentissage automatique
  • De l'expérience de travail avec de grands modèles linguistiques (LLM)
  • Une familiarité avec Python et PyTorch

Public cible

  • Data scientists
  • Ingénieurs en IA
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires