Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction au LLMOps
- LLMOps vs MLOps : défis uniques de l'exploitation des LLM
- Cycle de vie d'une application LLM : invite, évaluation, déploiement, surveillance
- Checklist de maturité en production pour les applications GenAI
Gestion et versioning des invites (Prompts)
- Systèmes de templating des invites et injection de variables
- Versionnement sémantique des invites avec tests de régression automatisés
- Régistres d'invites et workflows collaboratifs
Évaluation des LLM à grande échelle
- Dimensions d'évaluation : précision, pertinence, sécurité, ancrage factuel (groundedness)
- Indicateurs LLM-as-judge et pipelines d'évaluation humaine
- Cadres d'évaluation automatisés : RAGAS, DeepEval et évaluateurs personnalisés
- Portes de qualité dans le CI/CD pour les déploiements de LLM
Garde-fous de sécurité et gouvernance du contenu
- Garde-fous d'entrée et de sortie : NeMo Guardrails et Guardrails AI
- Détection des données personnelles (PII), filtrage de la toxicité et délimitation des sujets
- Stratégies de défense contre le jailbreak et l'injection d'invites
- Tests intrusifs (red-teaming) des applications LLM pour assurer la sécurité
Observabilité et surveillance des LLM
- Télémesure : utilisation de tokens, latence, coût et indicateurs de qualité
- Détection de dérive dans les sorties des LLM et les espaces d'embeddings
- Suivi au niveau de la session pour les conversations multi-tours d'agents
- Tableaux de bord et alertes avec LangSmith, Arize et OpenTelemetry
Passerelle IA et orchestration des modèles
- Routage multi-fournisseurs avec LiteLLM et Portkey
- Stratégies de repli, logique de réessai et disjoncteurs (circuit breakers)
- Sélection de modèles consciente des coûts et équilibrage de charge
- Limitation du débit, gestion des quotas et gouvernance des clés API
Optimisation des performances
- Mise en cache sémantique avec des magasins vectoriels et des stratégies de correspondance exacte
- Application de sorties structurées via un décodage contraint
- Modèles de regroupement par lots (batching), streaming et concurrence
- Optimisation de la latence à travers les fournisseurs de modèles
Gouvernance, conformité et audit
- Presse-papiers d'audit des LLM : journaux d'invites, journaux de réponses et traçabilité des décisions
- Considérations liées à la résidence des données et à la confidentialité pour les API LLM
- Gouvernance par le code (Policy-as-code) pour l'utilisation des LLM au sein des organisations
- Élaboration d'un guide opérationnel interne pour les LLM
Pré requis
- Expérience dans la construction ou l'intégration d'applications alimentées par des LLM.
- Maîtrise de Python et des API REST.
- Compréhension de base des concepts d'ingénierie des invites (prompt engineering).
Audience cible
- Ingénieurs ML et praticiens du MLOps transitionnant vers les opérations LLM.
- Ingénieurs plateforme responsables de l'infrastructure des LLM.
- Chefs techniques gérant les déploiements GenAI en production.
14 Heures
Nos clients témoignent (2)
utilisation de prompts appropriés et efficaces
Marses Pacaldo
Formation - Generative AI and Prompt Engineering for Corporate Professionals
Traduction automatique
Le style interactif, les exercices
Tamas Tutuntzisz
Formation - Introduction to Prompt Engineering
Traduction automatique