Formation Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
Parameter-Efficient Fine-Tuning (PEFT) est une collection de techniques qui permettent d'adapter efficacement les grands modèles de langage (LLMs) en modifiant uniquement un petit sous-ensemble des paramètres.
Cette formation dirigée par un instructeur (en ligne ou sur site) s'adresse aux scientifiques des données et aux ingénieurs AI de niveau intermédiaire qui souhaitent affiner les grands modèles de langage de manière plus abordable et efficace en utilisant des méthodes comme LoRA, Adapter Tuning et Prefix Tuning.
À la fin de cette formation, les participants seront capables de :
- Comprendre la théorie sous-jacente aux approches d'affinement paramètre-économe.
- Mettre en œuvre LoRA, Adapter Tuning et Prefix Tuning à l'aide de Hugging Face PEFT.
- Comparer les performances et les compromis de coût des méthodes PEFT par rapport à l'affinement complet.
- Déployer et échelonner les LLMs affinés avec une réduction des besoins en calcul et en stockage.
Format du cours
- Cours interactif et discussion.
- De nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire vivant.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Plan du cours
Introduction aux Méthodes d'Optimisation Paramétrique (PEFT)
- Motivation et limites de la réentraînement complet
- Aperçu des PEFT : objectifs et avantages
- Applications et cas d'utilisation dans l'industrie
LoRA (Adaptation de Rang Faible)
- Concept et intuition derrière LoRA
- Mise en œuvre de LoRA avec Hugging Face et PyTorch
- Pratique : Réentraînement d'un modèle avec LoRA
Tuning des Adapters
- Fonctionnement des modules adaptateurs
- Intégration avec les modèles basés sur les transformeurs
- Pratique : Application du Tuning des Adapters à un modèle de transformateur
Tuning par Préfixe
- Utilisation de prompts doux pour le réentraînement
- Avantages et limites comparés à LoRA et aux adaptateurs
- Pratique : Tuning par Préfixe sur une tâche LLM
Évaluation et Comparaison des Méthodes PEFT
- Métriques pour évaluer les performances et l'efficacité
- Compromis en termes de vitesse d'apprentissage, d'utilisation de la mémoire et de précision
- Expériences de benchmarking et interprétation des résultats
Déploiement des Modèles Réentraînés
- Sauvegarde et chargement des modèles réentraînés
- Considérations pour le déploiement des modèles basés sur PEFT
- Intégration dans les applications et pipelines
Bonnes Pratiques et Extensions
- Combinaison de PEFT avec la quantification et la distillation
- Utilisation dans des contextes à ressources limitées et multilingues
- Directions futures et domaines de recherche actifs
Récapitulatif et Étapes Suivantes
Pré requis
- Une compréhension des fondamentaux de l'apprentissage automatique
- Expérience de travail avec les grands modèles linguistiques (LLMs)
- Familiarité avec Python et PyTorch
Public cible
- Scientifiques des données
- Ingénieurs en IA
Les formations ouvertes requièrent plus de 3 participants.
Formation Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs - Booking
Formation Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs - Enquiry
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs - Demande d'informations consulting
Demande d'informations consulting
Cours à venir
Cours Similaires
Building Private AI Workflows with Ollama
14 HeuresCette formation en direct avec instructeur dans Canada (en ligne ou sur site) est destinée aux professionnels de niveau avancé qui souhaitent mettre en œuvre des flux de travail sécurisés et efficaces axés sur l'IA en utilisant Ollama.
À l'issue de cette formation, les participants seront en mesure de :
- Déployer et configurer Ollama pour le traitement privé de l'IA.
- Intégrer des modèles d'IA dans des flux de travail d'entreprise sécurisés.
- Optimiser les performances de l'IA tout en préservant la confidentialité des données.
- Automatiser les processus métier avec des capacités d'IA sur site.
- Assurer la conformité avec les politiques de sécurité et de gouvernance de l'entreprise.
Claude AI for Content Creation
14 HeuresCette formation en direct avec instructeur en Canada (en ligne ou sur site) s'adresse aux créateurs de contenu, rédacteurs et spécialistes du marketing de niveau débutant ou intermédiaire qui souhaitent tirer parti de l'IA de Claude pour générer du contenu, l'éditer et le résumer afin d'améliorer les blogs, les rapports et les documents marketing.
A la fin de cette formation, les participants seront capables de :
- Utiliser Claude AI pour le brainstorming et le développement d'idées.
- Améliorer la rédaction grâce à l'édition et à la relecture assistées par l'IA.
- Générer des résumés pour les contenus longs et les rapports.
- Automatiser la création de textes marketing pour différentes plateformes.
Claude AI for Developers: Building AI-Powered Applications
14 HeuresCette formation en direct avec instructeur à Canada (en ligne ou sur site) est destinée aux développeurs de logiciels et aux ingénieurs en IA de niveau intermédiaire qui souhaitent intégrer l'IA de Claude dans leurs applications, créer des chatbots alimentés par l'IA et améliorer les fonctionnalités des logiciels grâce à l'automatisation pilotée par l'IA.
A la fin de cette formation, les participants seront capables de :
- Utiliser l'API Claude AI pour intégrer l'IA dans les applications.
- Développer des chatbots et des assistants virtuels pilotés par l'IA.
- Améliorer les applications avec l'automatisation basée sur l'IA et le NLP.
- Optimiser et affiner les modèles de Claude AI pour différents cas d'utilisation.
Claude AI for Research and Knowledge Management
14 HeuresCette formation en Canada (en ligne ou sur site) s'adresse aux chercheurs, analystes et travailleurs du savoir de niveau intermédiaire qui souhaitent exploiter l'IA de Claude pour traiter de grandes quantités de données, synthétiser l'information et automatiser les tâches de recherche.
A l'issue de cette formation, les participants seront capables de :
- Utiliser Claude AI pour des revues de littérature et des synthèses de recherche.
- Résumer des rapports, des documents de recherche et des documents longs.
- Extraire des informations clés et des tendances à partir de données structurées et non structurées.
- Intégrer Claude AI dans les flux de travail de la recherche et de la gestion des connaissances.
Claude AI for Workflow Automation and Productivity
14 HeuresCette formation en direct avec instructeur à Canada (en ligne ou sur site) s'adresse aux professionnels débutants qui souhaitent intégrer Claude AI dans leurs flux de travail quotidiens pour améliorer l'efficacité et l'automatisation.
A l'issue de cette formation, les participants seront en mesure de :
- Utiliser Claude AI pour automatiser les tâches répétitives et rationaliser les flux de travail.
- Améliorer la productivité personnelle et collective grâce à l'automatisation par l'IA.
- Intégrer Claude AI aux outils et plateformes existants.
- Optimiser la prise de décision et la gestion des tâches basées sur l'IA.
Deploying and Optimizing LLMs with Ollama
14 HeuresCette formation en Canada (en ligne ou sur site) est destinée aux professionnels de niveau intermédiaire qui souhaitent déployer, optimiser et intégrer des LLM en utilisant Ollama.
A l'issue de cette formation, les participants seront capables de :
- Mettre en place et déployer des LLMs en utilisant Ollama.
- Optimiser les modèles d'IA pour la performance et l'efficacité.
- Tirer parti de l'accélération GPU pour améliorer la vitesse d'inférence.
- Intégrer Ollama dans les flux de travail et les applications.
- Contrôler et maintenir les performances des modèles d'IA au fil du temps.
Fine-Tuning and Customizing AI Models on Ollama
14 HeuresCette formation en direct avec instructeur à Canada (en ligne ou sur place) est destinée aux professionnels de niveau avancé qui souhaitent affiner et personnaliser les modèles d'IA sur Ollama pour améliorer les performances et les applications spécifiques à un domaine.
A l'issue de cette formation, les participants seront capables de :
- Mettre en place un environnement efficace pour affiner les modèles d'IA sur Ollama.
- Préparer des ensembles de données pour le réglage fin supervisé et l'apprentissage par renforcement.
- Optimiser les modèles d'IA en termes de performance, de précision et d'efficacité.
- Déployer des modèles personnalisés dans des environnements de production.
- Évaluer les améliorations apportées aux modèles et s'assurer de leur robustesse.
Introduction to Google Gemini AI
14 HeuresCette formation en direct avec instructeur en Canada (en ligne ou sur site) est destinée aux développeurs de niveau débutant à intermédiaire qui souhaitent intégrer des fonctionnalités d'IA dans leurs applications à l'aide de Google Gemini AI.
A l'issue de cette formation, les participants seront capables de :
- Comprendre les principes fondamentaux des grands modèles de langage.
- Configurer et utiliser Google Gemini AI pour diverses tâches d'IA.
- Mettre en œuvre des transformations de texte à texte et d'image à texte.
- Construire des applications de base basées sur l'IA.
- Explorer les fonctionnalités avancées et les options de personnalisation de Google Gemini AI.
Google Gemini AI for Content Creation
14 HeuresCette formation en direct avec instructeur en Canada (en ligne ou sur site) est destinée aux créateurs de contenu de niveau intermédiaire qui souhaitent utiliser Google Gemini AI pour améliorer la qualité et l'efficacité de leur contenu.
À l'issue de cette formation, les participants seront en mesure de :
- Comprendre le rôle de l'IA dans la création de contenu.
- Configurer et utiliser Google Gemini AI pour générer et optimiser le contenu.
- Appliquer des transformations de texte à texte pour produire un contenu créatif et original.
- Mettre en œuvre des stratégies de référencement à l'aide d'informations basées sur l'IA.
- Analyser les performances du contenu et adapter les stratégies à l'aide de Gemini AI.
Google Gemini AI for Transformative Customer Service
14 HeuresCette formation en direct avec instructeur en Canada (en ligne ou sur site) est destinée aux professionnels du service client de niveau intermédiaire qui souhaitent mettre en œuvre Google Gemini AI dans leurs opérations de service client.
À l'issue de cette formation, les participants seront en mesure de :
- Comprendre l'impact de l'IA sur le service à la clientèle.
- Configurer Google Gemini AI pour automatiser et personnaliser les interactions avec les clients.
- Utiliser les transformations de texte à texte et d'image à texte pour améliorer l'efficacité du service.
- Développez des stratégies basées sur l'IA pour l'analyse en temps réel des commentaires des clients.
- Explorer les fonctionnalités avancées pour créer une expérience de service client transparente.
Google Gemini AI for Data Analysis
21 HeuresCette formation en direct avec instructeur en Canada (en ligne ou sur site) est destinée aux analystes de données de niveau débutant à intermédiaire et aux professionnels de l'entreprise qui souhaitent effectuer des tâches d'analyse de données complexes de manière plus intuitive dans divers secteurs en utilisant Google Gemini AI.
À l'issue de cette formation, les participants seront en mesure de :
- Comprendre les principes fondamentaux de Google Gemini AI.
- Connecter diverses sources de données à Gemini AI.
- Explorer les données à l'aide de requêtes en langage naturel.
- Analyser les modèles de données et en tirer des enseignements.
- Créer des visualisations de données convaincantes.
- Communiquer efficacement des informations basées sur des données.
Intermediate Gemini AI for Public Sector Professionals
16 HeuresThis instructor-led, live training in Canada (online or onsite) is aimed at intermediate-level public sector professionals who wish to use Gemini to generate high-quality content, assist with research, and improve productivity through more advanced AI interactions.
By the end of this training, participants will be able to:
- Craft more effective and tailored prompts for specific use cases.
- Generate original and creative content using Gemini.
- Summarize and compare complex information with precision.
- Use Gemini for brainstorming, planning, and organizing ideas efficiently.
Introduction to Claude AI: Conversational AI and Business Applications
14 HeuresCette formation en direct avec instructeur à Canada (en ligne ou sur site) est destinée aux professionnels débutants, aux équipes d'assistance à la clientèle et aux passionnés de technologie qui souhaitent comprendre les principes fondamentaux de l'IA de Claude et l'exploiter pour des applications commerciales.
A la fin de cette formation, les participants seront capables de :
- Comprendre les capacités et les cas d'utilisation de Claude AI.
- Configurer et interagir avec Claude AI de manière efficace.
- Automatiser les flux de travail de l'entreprise avec l'IA conversationnelle.
- Améliorer l'engagement et le soutien des clients en utilisant des solutions basées sur l'IA.
LangChain: Building AI-Powered Applications
14 HeuresCette formation en Canada (en ligne ou sur site) s'adresse aux développeurs et ingénieurs logiciels de niveau intermédiaire qui souhaitent créer des applications basées sur l'intelligence artificielle en utilisant le framework LangChain.
A l'issue de cette formation, les participants seront capables de :
- Comprendre les principes fondamentaux de LangChain et de ses composants.
- Intégrer LangChain avec de grands modèles de langage (LLM) comme GPT-4.
- Construire des applications modulaires d'IA en utilisant LangChain.
- Résoudre les problèmes courants dans les applications LangChain.
Getting Started with Ollama: Running Local AI Models
7 HeuresCette formation en direct avec instructeur en Canada (en ligne ou sur site) est destinée aux professionnels débutants qui souhaitent installer, configurer et utiliser Ollama pour exécuter des modèles d'IA sur leurs machines locales.
A l'issue de cette formation, les participants seront capables de :
- Comprendre les principes fondamentaux de Ollama et ses capacités.
- Configurer Ollama pour exécuter des modèles d'IA locaux.
- Déployer et interagir avec les LLMs en utilisant Ollama.
- Optimiser les performances et l'utilisation des ressources pour les charges de travail d'IA.
- Explorer les cas d'utilisation pour le déploiement de l'IA locale dans diverses industries.