Formation Déploiement de Tencent Hunyuan en environnement de production : inférence à faible latence et optimisation des coûts
Déploiement de Tencent Hunyuan en environnement de production : inférence à faible latence et optimisation des coûts est un cours pratique sur la mise en service fiable et à grande échelle des modèles Tencent Hunyuan.
Cette formation en direct, animée par un formateur (en ligne ou en présentiel), s'adresse aux ingénieurs et aux architectes de niveau intermédiaire qui souhaitent utiliser Tencent Hunyuan pour déployer des modèles volumineux et à experts moindres (MoE) avec une latence réduite, une meilleure utilisation des GPU et des coûts d'exploitation maîtrisés.
À l'issue de cette formation, les participants seront capables de :
- expliquer les principaux défis de la mise en production des modèles Tencent Hunyuan.
- appliquer des techniques pratiques d'optimisation de l'inférence, telles que TensorRT, l'ajustement du cache KV, la quantification et le regroupement (batching).
- concevoir une approche de déploiement évolutive intégrant l'autoscaling, la surveillance et la planification des capacités.
- améliorer les compromis entre latence et coûts pour les charges de travail de production réelles.
Format du cours
- Conférence interactive et discussions.
- Nombreux exercices et mises en pratique.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.
Plan du cours
Fondamentaux du déploiement de Tencent Hunyuan en production
- Aperçu des scénarios de service des modèles Tencent Hunyuan.
- Caractéristiques de production des modèles volumineux et à experts moindres (MoE).
- Goulots d'étranglement courants en matière de latence, de débit et de coûts.
- Définition des objectifs de niveau de service (SLA) pour les charges de travail d'inférence.
Architecture de déploiement et flux de service
- Composants clés d'une pile d'inférence en production.
- Choix entre les modèles de déploiement conteneurisé, sur site et cloud.
- Chargement des modèles, routage des requêtes et allocation des GPU de base.
- Conception pour la fiabilité et la simplicité opérationnelle.
Optimisation de la latence en pratique
- Utilisation de moteurs d'inférence optimisés tels que TensorRT, lorsque cela est applicable.
- Concepts du cache KV et ajustement pratique du cache.
- Réduction des délais de démarrage, de préchauffement (warmup) et de réponse.
- Mesure du temps de génération du premier jeton et de la vitesse de génération des jetons.
Débit, regroupement (batching) et efficacité des GPU
- Stratégies de regroupement continu et de regroupement des requêtes.
- Gestion de la concurrence et du comportement des files d'attente.
- Amélioration de l'utilisation des GPU sans nuire à l'expérience utilisateur.
- Gestion des requêtes à contexte long et des charges de travail mixtes.
Quantification et contrôle des coûts
- Importance de la quantification pour le service en production.
- Compromis pratiques entre les options de précision courantes telles que FP16, INT8, etc.
- Équilibre entre la qualité du modèle, la latence et le coût de l'infrastructure.
- Élaboration d'une liste de vérification simple pour l'optimisation des coûts.
Opérations, surveillance et examen de la préparation
- Déclencheurs d'autoscaling pour les services d'inférence.
- Surveillance de la latence, du débit, de l'utilisation du cache et de l'état des GPU.
- Bases de la journalisation, de l'alerte et de la réponse aux incidents.
- Examen d'un déploiement de référence et création d'un plan d'amélioration.
Pré requis
- Compréhension de base du déploiement et des flux de travail d'inférence des grands modèles de langage.
- Expérience avec les conteneurs, l'infrastructure cloud ou sur site et les services basés sur des API.
- Connaissance pratique de Python ou des tâches d'ingénierie système.
Public cible
- Ingénieurs ML déployant des LLM en environnement de production.
- Ingénieurs plateforme responsables des services d'inférence basés sur des GPU.
- Architectes solutions concevant des plateformes de service d'IA évolutives.
Cours à partir de 4 + personnes. Pour un entraînement individuel ou en petit groupe, veuillez demander un devis.
Formation Déploiement de Tencent Hunyuan en environnement de production : inférence à faible latence et optimisation des coûts - Réservation
Formation Déploiement de Tencent Hunyuan en environnement de production : inférence à faible latence et optimisation des coûts - Demande de renseignements
Déploiement de Tencent Hunyuan en environnement de production : inférence à faible latence et optimisation des coûts - Demande d'informations consulting
Cours à venir
Cours Similaires
LangGraph Avancé : Optimisation, débogage et surveillance de graphes complexes
35 HeuresLangGraph est un cadre de travail pour construire des applications LLM multi-acteurs avec état, sous forme de graphes composables dotés d’un état persistant et d’un contrôle sur l’exécution.
Cette formation en direct, dirigée par un formateur (en ligne ou sur site), s’adresse aux ingénieurs de plateforme IA avancés, aux responsables DevOps pour l’IA et aux architectes ML souhaitant optimiser, déboguer, surveiller et faire fonctionner des systèmes LangGraph de niveau production.
À l’issue de cette formation, les participants seront capables de :
- Concevoir et optimiser des topologies LangGraph complexes pour la vitesse, le coût et l’évolutivité.
- Garantir la fiabilité grâce aux tentatives de recal, aux délais d’expiration, à l’idempotence et à la reprise basée sur des points de vérification.
- Déboguer et tracer les exécutions de graphes, inspecter l’état et reproduire systématiquement les problèmes en production.
- Instrumenter les graphes avec des journaux, des métriques et des traces, les déployer en production et surveiller les SLA et les coûts.
Format du cours
- Conférence interactive et discussions.
- De nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d’en convenir.
Création d'agents de codage avec Devstral : De la conception d'agents aux outils
14 HeuresDevstral est un framework open-source conçu pour créer et exécuter des agents de codage capables d'interagir avec des bases de code, des outils de développement et des API afin d'améliorer la productivité des ingénieurs.
Cette formation en présentiel (en ligne ou sur site) est destinée aux ingénieurs en apprentissage automatique (ML) de niveau intermédiaire à avancé, aux équipes d'outils de développement et aux ingénieurs SRE souhaitant concevoir, implémenter et optimiser des agents de codage à l'aide de Devstral.
À la fin de cette formation, les participants seront en mesure de :
- Configurer et paramétrer Devstral pour le développement d'agents de codage.
- Concevoir des flux de travail agents pour l'exploration et la modification des bases de code.
- Intégrer des agents de codage avec des outils de développement et des API.
- Appliquer les meilleures pratiques pour le déploiement sûr et efficace des agents.
Format de la formation
- Cours interactifs et discussions.
- De nombreux exercices et mises en pratique.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en convenir.
Opérations sur les modèles open source : Auto-hébergement, affinement et gouvernance avec les modèles Devstral et Mistral
14 HeuresLes modèles Devstral et Mistral sont des technologies d’IA open source conçues pour un déploiement flexible, l’affinement et une intégration évolutive.
Cette formation pratique et dirigée par un formateur (en ligne ou sur site) s’adresse aux ingénieurs en machine learning (ML) de niveau intermédiaire à avancé, aux équipes de plateformes et aux ingénieurs de recherche souhaitant auto-héberger, affiner et gouverner les modèles Mistral et Devstral dans des environnements de production.
À l’issue de cette formation, les participants seront capables de :
- Configurer et mettre en place des environnements auto-hébergés pour les modèles Mistral et Devstral.
- Appliquer des techniques d’affinement pour optimiser les performances selon des domaines spécifiques.
- Mettre en œuvre la gestion des versions, le suivi et la gouvernance du cycle de vie.
- Garantir la sécurité, la conformité et l’usage responsable des modèles open source.
Format du cours
- Cours interactif et discussions.
- Exercices pratiques d’auto-hébergement et d’affinement.
- Mise en œuvre en laboratoire du suivi et des pipelines de gouvernance.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en convenir.
Applications de LangGraph dans la finance
35 HeuresLangGraph est un framework permettant de créer des applications multimodèles dotées d'état persistent et d'une maîtrise de l'exécution, structurées sous forme de graphes composable.
Cette formation en présentiel ou en ligne, animée par un formateur, s'adresse aux professionnels de niveau intermédiaire à avancé souhaitant concevoir, implémenter et exploiter des solutions financières basées sur LangGraph, tout en respectant les exigences de gouvernance, d'observabilité et de conformité.
À l'issue de cette formation, les participants seront capables de :
- Concevoir des workflows LangGraph spécifiques au secteur financier, conformes aux exigences réglementaires et aux normes d'audit.
- Intégrer les normes et ontologies de données financières dans l'état du graphe et les outils associés.
- Mettre en œuvre des mécanismes de fiabilité, de sécurité et d'intervention humaine pour les processus critiques.
- Déployer, surveiller et optimiser les systèmes LangGraph en matière de performance, de coûts et de SLA.
Format de la formation
- Conférences interactives et discussions.
- Nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de laboratoire en temps réel.
Options de personnalisation de la formation
- Pour demander une formation personnalisée, veuillez nous contacter afin de convenir des modalités.
Fondamentaux de LangGraph : Prompting et chaînage de LLM basés sur des graphes
14 HeuresLangGraph est un framework permettant de construire des applications LLM structurées en graphes, prenant en charge la planification, la bifurcation, l'utilisation d'outils, la mémoire et l'exécution contrôlable.
Cette formation en direct, animée par un formateur (en ligne ou sur site), s'adresse aux développeurs débutants, aux ingénieurs de prompt et aux professionnels des données souhaitant concevoir et implémenter des workflows LLM multi-étapes fiables à l'aide de LangGraph.
À l'issue de cette formation, les participants seront capables de :
- Expliquer les concepts de base de LangGraph (nœuds, arêtes, état) et savoir quand les utiliser.
- Construire des chaînes de prompts pouvant se bifurquer, appeler des outils et maintenir un contexte.
- Intégrer la récupération (retrieval) et des API externes dans des workflows basés sur des graphes.
- Tester, déboguer et évaluer les applications LangGraph pour garantir leur fiabilité et leur sécurité.
Format du cours
- Conférence interactive et discussion dirigée.
- Labs guidés et parcours de code dans un environnement sandbox.
- Exercices basés sur des scénarios portant sur la conception, les tests et l'évaluation.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.
LangGraph dans le secteur de la santé : orchestration des flux de travail pour des environnements réglementés
35 HeuresLangGraph permet de créer des flux de travail étatiques et multi-acteurs alimentés par des LLM, offrant un contrôle précis des chemins d'exécution et la persistance de l'état. Dans le secteur de la santé, ces fonctionnalités sont essentielles pour garantir la conformité, l'interopérabilité et développer des systèmes d'aide à la décision alignés sur les flux de travail médicaux.
Cette formation en direct, animée par un formateur (en ligne ou sur site), s'adresse aux professionnels de niveau intermédiaire à avancé souhaitant concevoir, mettre en œuvre et gérer des solutions de santé basées sur LangGraph tout en relevant les défis réglementaires, éthiques et opérationnels.
À la fin de cette formation, les participants seront en mesure de :
- Concevoir des flux de travail LangGraph spécifiques au secteur de la santé, en privilégiant la conformité et l'auditabilité.
- Intégrer des applications LangGraph avec des ontologies et des normes médicales (FHIR, SNOMED CT, CIM).
- Appliquer les meilleures pratiques en matière de fiabilité, de traçabilité et d'explicabilité dans des environnements sensibles.
- Déployer, surveiller et valider des applications LangGraph dans des environnements de production healthcare.
Format du cours
- Cours interactif et discussions.
- Exercices pratiques avec des études de cas réelles.
- Pratique de mise en œuvre dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser les détails.
LangGraph pour les applications juridiques
35 HeuresLangGraph est un cadre de travail permettant de créer des applications LLM multi-agents à état persistant sous forme de graphes composables, avec un état persistant et un contrôle précis de l'exécution.
Cette formation en présentiel ou en ligne, animée par un formateur, s'adresse aux professionnels de niveau intermédiaire à avancé souhaitant concevoir, mettre en œuvre et exploiter des solutions juridiques basées sur LangGraph, tout en respectant les contrôles nécessaires en matière de conformité, de traçabilité et de gouvernance.
À l'issue de cette formation, les participants seront en mesure de :
- Concevoir des flux de travail LangGraph spécifiques au domaine juridique, en préservant l'auditabilité et la conformité.
- Intégrer des ontologies juridiques et des normes documentaires dans l'état du graphe et le traitement des données.
- Mettre en place des garde-fous, des approbations humaines en boucle (human-in-the-loop) et des chemins de décision traçables.
- Déployer, surveiller et maintenir les services LangGraph en production, avec une visibilité complète et des contrôles des coûts.
Format de la formation
- Cours interactif et discussions.
- Nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de laboratoire en temps réel.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.
Construire des flux de travail dynamiques avec LangGraph et des agents LLM
14 HeuresLangGraph est un cadre de travail pour composer des flux de travail LLM structurés en graphes, prenant en charge les branchements, l'utilisation d'outils, la mémoire et une exécution contrôlable.
Cette formation en présentiel ou en ligne, animée par un formateur, s'adresse aux ingénieurs et aux équipes produit de niveau intermédiaire souhaitant combiner la logique graphique de LangGraph avec des boucles d'agents LLM pour créer des applications dynamiques et conscientes du contexte, telles que des agents de support client, des arbres de décision et des systèmes de récupération d'informations.
À l'issue de cette formation, les participants seront en mesure de :
- Concevoir des flux de travail basés sur des graphes qui coordonnent des agents LLM, des outils et de la mémoire.
- Implémenter un acheminement conditionnel, des tentatives automatiques et des mécanismes de repli pour une exécution robuste.
- Intégrer la récupération, les API et les sorties structurées dans les boucles d'agents.
- Évaluer, surveiller et sécuriser le comportement des agents pour garantir fiabilité et sécurité.
Format du cours
- Conférence interactive et discussion guidée.
- Laboratoires dirigés et analyse de code dans un environnement sandbox.
- Exercices de conception fondés sur des scénarios et revues par les pairs.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de convenir des détails.
LangGraph pour l'automatisation du marketing
14 HeuresLangGraph est un cadre d'orchestration basé sur des graphiques qui permet la création de workflows conditionnels et multi-étapes impliquant des LLM et des outils, idéal pour automatiser et personnaliser les pipelines de contenu.
Cette formation en présentiel ou à distance, animée par un instructeur, s'adresse aux marketeurs de niveau intermédiaire, aux stratèges du contenu et aux développeurs en automatisation souhaitant mettre en œuvre des campagnes e-mail dynamiques avec logique de branchements ainsi que des pipelines de génération de contenu à l'aide de LangGraph.
À l'issue de cette formation, les participants seront en mesure de :
- Concevoir des workflows de contenu et d'e-mails structurés sous forme de graphes avec une logique conditionnelle.
- Intégrer des LLM, des API et des sources de données pour une personnalisation automatisée.
- Gérer l'état, la mémoire et le contexte à travers des campagnes multi-étapes.
- Évaluer, surveiller et optimiser les performances des workflows ainsi que les résultats de livraison.
Format du cours
- Conférences interactives et discussions en groupe.
- Travaux pratiques mettant en œuvre des workflows e-mail et des pipelines de contenu.
- Exercices basés sur des scénarios portant sur la personnalisation, la segmentation et la logique de branchements.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.
Le Chat Enterprise : ChatOps privé, intégrations et contrôles d'administration
14 HeuresLe Chat Enterprise est une solution de ChatOps privée qui offre des capacités d'IA conversationnelle sécurisées, personnalisables et régies aux organisations, avec le soutien du contrôle d'accès basé sur les rôles (RBAC), de l'authentification unique (SSO), de connecteurs et d'intégrations avec des applications d'entreprise.
Cette formation en présentiel, dirigée par un formateur (en ligne ou sur site), s'adresse aux chefs de produit de niveau intermédiaire, aux responsables TI, aux ingénieurs en solutions et aux équipes de sécurité/conformité qui souhaitent déployer, configurer et régir Le Chat Enterprise dans des environnements d'entreprise.
À la fin de cette formation, les participants seront capables de :
- Mettre en place et configurer Le Chat Enterprise pour des déploiements sécurisés.
- Activer le RBAC, le SSO et les contrôles axés sur la conformité.
- Intégrer Le Chat avec des applications d'entreprise et des entrepôts de données.
- Concevoir et mettre en œuvre des jeux de rôle d'administration et de gouvernance pour le ChatOps.
Format du cours
- Conférence interactive et discussions.
- Nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Architectures de LLM rentables : Mistral à grande échelle (Ingénierie des performances et du coût)
14 HeuresMistral est une famille de modèles de langage de grande taille (LLM) haute performance, optimisée pour un déploiement en production rentable à grande échelle.
Ce cours animé par un instructeur (en ligne ou en présentiel) s'adresse aux ingénieurs infrastructure de niveau avancé, aux architectes cloud et aux responsables MLOps qui souhaitent concevoir, déployer et optimiser des architectures basées sur Mistral pour maximiser le débit et minimiser les coûts.
À l'issue de cette formation, les participants seront capables de :
- Mettre en œuvre des motifs de déploiement évolutifs pour Mistral Medium 3.
- Appliquer le regroupement par lots (batching), la quantification et des stratégies d'infrastructure efficaces.
- Optimiser les coûts d'inférence tout en maintenant la performance.
- Concevoir des topologies de service prêtes pour la production, adaptées aux charges de travail d'entreprise.
Format du cours
- Conférence interactive et discussions.
- Nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Industrialisation des assistants conversationnels avec Mistral Connectors & Integrations
14 HeuresMistral AI est une plateforme d’IA ouverte qui permet aux équipes de concevoir et d’intégrer des assistants conversationnels dans des flux de travail professionnels et orientés clients.
Cette formation dirigée par un instructeur (en ligne ou en présentiel) s’adresse aux chefs de produit, aux développeurs full-stack et aux ingénieurs d’intégration, de niveau débutant à intermédiaire, qui souhaitent concevoir, intégrer et industrialiser des assistants conversationnels en utilisant les connecteurs et les intégrations de Mistral.
À l’issue de cette formation, les participants seront capables de :
- Intégrer des modèles conversationnels Mistral avec des connecteurs professionnels et SaaS.
- Mettre en œuvre la génération augmentée par récupération (RAG) pour des réponses étayées.
- Concevoir des patterns d’interface utilisateur pour les assistants de chat internes et externes.
- Déployer des assistants au sein de flux de travail produits pour des cas d’utilisation concrets.
Format de la formation
- Cours interactif et discussion.
- Exercices pratiques d’intégration.
- Développement en laboratoire en direct d’assistants conversationnels.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en discuter.
Déploiements de niveau entreprise avec Mistral Medium 3
14 HeuresMistral Medium 3 est un modèle de langage large multimodal haute performance, conçu pour un déploiement en production au sein d'environnements d'entreprise.
Cette formation animée par un instructeur (en ligne ou sur site) s'adresse aux ingénieurs en IA/ML de niveau intermédiaire à avancé, aux architectes de plateformes et aux équipes MLOps souhaitant déployer, optimiser et sécuriser Mistral Medium 3 pour des cas d'usage entrepreneuriaux.
À l'issue de cette formation, les participants seront en mesure de :
- Déployer Mistral Medium 3 à l'aide d'options API et auto-hébergées.
- Optimiser les performances et les coûts d'inférence.
- Mettre en œuvre des cas d'usage multimodaux avec Mistral Medium 3.
- Appliquer les meilleures pratiques de sécurité et de conformité pour les environnements d'entreprise.
Format du cours
- Conférence interactive et discussion.
- De nombreux exercices et exercices pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Mistral pour une IA responsable : Vie privée, résidence des données et contrôles entreprise
14 HeuresMistral AI est une plateforme d'IA ouverte et adaptée aux entreprises, offrant des fonctionnalités pour déployer une IA sécurisée, conforme et responsable.
Cette formation en direct, animée par un formateur (en ligne ou sur site), s'adresse aux responsables de la conformité de niveau intermédiaire, aux architectes de sécurité et aux parties prenantes juridiques et opérationnelles qui souhaitent mettre en œuvre des pratiques d'IA responsable avec Mistral en tirant parti des mécanismes de protection de la vie privée, de résidence des données et de contrôle entreprise.
À l'issue de cette formation, les participants seront capables de :
- Mettre en œuvre des techniques de préservation de la vie privée dans les déploiements Mistral.
- Appliquer des stratégies de résidence des données pour respecter les exigences réglementaires.
- Mettre en place des contrôles de niveau entreprise, tels que le contrôle d'accès basé sur les rôles (RBAC), l'authentification unique (SSO) et des journaux d'audit.
- Évaluer les options de fournisseurs et de déploiement pour assurer l'alignement avec la conformité.
Format du cours
- Conférence interactive et discussion.
- Études de cas et exercices axés sur la conformité.
- Mise en œuvre pratique des contrôles IA d'entreprise.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en discuter.
Applications multimodales avec les modèles Mistral (vision, OCR et compréhension de documents)
14 HeuresLes modèles Mistral sont des technologies d’intelligence artificielle open source qui s’étendent désormais aux flux de travail multimodaux, en prenant en charge à la fois le traitement du langage et la vision à des fins professionnelles et de recherche.
Cette formation en présentiel, animée par un instructeur (en ligne ou sur site), s’adresse aux chercheurs en apprentissage automatique (ML) de niveau intermédiaire, aux ingénieurs appliqués et aux équipes produit souhaitant développer des applications multimodales avec les modèles Mistral, notamment des pipelines d’OCR et de compréhension de documents.
À l’issue de cette formation, les participants seront capables de :
- Configurer et paramétrer les modèles Mistral pour des tâches multimodales.
- Implémenter des workflows d’OCR et les intégrer à des pipelines de traitement automatique du langage (NLP).
- Concevoir des applications de compréhension de documents adaptées aux cas d’usage professionnels.
- Développer des fonctionnalités de recherche visuelle-textuelle et d’interfaces utilisateur assistives.
Format du cours
- Conférence interactive et discussions.
- Exercices pratiques de programmation.
- Mise en œuvre en laboratoire en direct de pipelines multimodaux.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l’organiser.
