Prenez contact avec nous

Plan du cours

Introduction au LLMOps

  • LLMOps vs MLOps : défis uniques de l'exploitation des LLM
  • Cycle de vie d'une application LLM : invite, évaluation, déploiement, surveillance
  • Checklist de maturité en production pour les applications GenAI

Gestion et versioning des invites (Prompts)

  • Systèmes de templating des invites et injection de variables
  • Versionnement sémantique des invites avec tests de régression automatisés
  • Régistres d'invites et workflows collaboratifs

Évaluation des LLM à grande échelle

  • Dimensions d'évaluation : précision, pertinence, sécurité, ancrage factuel (groundedness)
  • Indicateurs LLM-as-judge et pipelines d'évaluation humaine
  • Cadres d'évaluation automatisés : RAGAS, DeepEval et évaluateurs personnalisés
  • Portes de qualité dans le CI/CD pour les déploiements de LLM

Garde-fous de sécurité et gouvernance du contenu

  • Garde-fous d'entrée et de sortie : NeMo Guardrails et Guardrails AI
  • Détection des données personnelles (PII), filtrage de la toxicité et délimitation des sujets
  • Stratégies de défense contre le jailbreak et l'injection d'invites
  • Tests intrusifs (red-teaming) des applications LLM pour assurer la sécurité

Observabilité et surveillance des LLM

  • Télémesure : utilisation de tokens, latence, coût et indicateurs de qualité
  • Détection de dérive dans les sorties des LLM et les espaces d'embeddings
  • Suivi au niveau de la session pour les conversations multi-tours d'agents
  • Tableaux de bord et alertes avec LangSmith, Arize et OpenTelemetry

Passerelle IA et orchestration des modèles

  • Routage multi-fournisseurs avec LiteLLM et Portkey
  • Stratégies de repli, logique de réessai et disjoncteurs (circuit breakers)
  • Sélection de modèles consciente des coûts et équilibrage de charge
  • Limitation du débit, gestion des quotas et gouvernance des clés API

Optimisation des performances

  • Mise en cache sémantique avec des magasins vectoriels et des stratégies de correspondance exacte
  • Application de sorties structurées via un décodage contraint
  • Modèles de regroupement par lots (batching), streaming et concurrence
  • Optimisation de la latence à travers les fournisseurs de modèles

Gouvernance, conformité et audit

  • Presse-papiers d'audit des LLM : journaux d'invites, journaux de réponses et traçabilité des décisions
  • Considérations liées à la résidence des données et à la confidentialité pour les API LLM
  • Gouvernance par le code (Policy-as-code) pour l'utilisation des LLM au sein des organisations
  • Élaboration d'un guide opérationnel interne pour les LLM

Pré requis

  • Expérience dans la construction ou l'intégration d'applications alimentées par des LLM.
  • Maîtrise de Python et des API REST.
  • Compréhension de base des concepts d'ingénierie des invites (prompt engineering).

Audience cible

  • Ingénieurs ML et praticiens du MLOps transitionnant vers les opérations LLM.
  • Ingénieurs plateforme responsables de l'infrastructure des LLM.
  • Chefs techniques gérant les déploiements GenAI en production.
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (2)

Cours à venir

Catégories Similaires