Prenez contact avec nous

Plan du cours

Introduction à QLoRA et à la quantification

  • Aperçu de la quantification et de son rôle dans l'optimisation des modèles
  • Introduction au framework QLoRA et à ses avantages
  • Différences clés entre QLoRA et les méthodes traditionnelles d'ajustement fin

Fondamentaux des grands modèles de langage (LLM)

  • Introduction aux LLM et à leur architecture
  • Défis de l'ajustement fin de grands modèles à grande échelle
  • Comment la quantification aide à surmonter les contraintes informatiques dans l'ajustement fin des LLM

Mise en œuvre de QLoRA pour l'ajustement fin des LLM

  • Configuration du framework et de l'environnement QLoRA
  • Préparation des ensembles de données pour l'ajustement fin QLoRA
  • Guide étape par étape pour implémenter QLoRA sur les LLM en utilisant Python et PyTorch/TensorFlow

Optimisation des performances de l'ajustement fin avec QLoRA

  • Comment équilibrer la précision du modèle et les performances avec la quantification
  • Techniques pour réduire les coûts informatiques et l'utilisation de la mémoire pendant l'ajustement fin
  • Stratégies pour l'ajustement fin avec des exigences matérielles minimales

Évaluation des modèles ajustés

  • Comment évaluer l'efficacité des modèles ajustés
  • Métriques d'évaluation courantes pour les modèles de langage
  • Optimisation des performances du modèle après l'ajustement et dépannage des problèmes

Déploiement et mise à l'échelle des modèles ajustés

  • Meilleures pratiques pour déployer des LLM quantifiés dans des environnements de production
  • Mise à l'échelle du déploiement pour gérer les requêtes en temps réel
  • Outils et frameworks pour le déploiement et la surveillance des modèles

Cas d'utilisation réels et études de cas

  • Étude de cas : Ajustement fin des LLM pour le support client et les tâches de TALN
  • Exemples d'ajustement fin des LLM dans divers secteurs comme la santé, la finance et le commerce électronique
  • Leçons tirées des déploiements réels de modèles basés sur QLoRA

Résumé et prochaines étapes

Pré requis

  • Une compréhension des fondements de l'apprentissage automatique et des réseaux neuronaux
  • De l'expérience avec l'ajustement fin de modèles et l'apprentissage par transfert
  • Une familiarité avec les grands modèles de langage (LLM) et les frameworks d'apprentissage profond (par exemple, PyTorch, TensorFlow)

Public

  • Ingénieurs en apprentissage automatique
  • Développeurs d'IA
  • Data scientists
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires