Prenez contact avec nous

Plan du cours

Introduction aux LLMs multimodaux dans Vertex AI

  • Vue d'ensemble des capacités multimodales dans Vertex AI.
  • Modèles Gemini et modalités prises en charge.
  • Cas d'utilisation en entreprise et dans la recherche.

Mise en place de l'environnement de développement

  • Configuration de Vertex AI pour les workflows multimodaux.
  • Gestion des jeux de données multimodaux.
  • Travaux pratiques : configuration de l'environnement et préparation des jeux de données.

Fenêtres de contexte longues et raisonnement avancé

  • Compréhension des workflows à contexte long.
  • Cas d'utilisation en planification et prise de décision.
  • Travaux pratiques : mise en œuvre de l'analyse à contexte long.

Conception de workflows inter-modalités

  • Combinaison de l'analyse de texte, d'audio et d'images.
  • Chaînage des étapes multimodales dans les pipelines.
  • Travaux pratiques : conception d'un pipeline multimodal.

Utilisation des paramètres de l'API Gemini

  • Configuration des entrées et sorties multimodales.
  • Optimisation de l'inférence et de l'efficacité.
  • Travaux pratiques : ajustement des paramètres de l'API Gemini.

Applications avancées et intégrations

  • Agents et assistants multimodaux interactifs.
  • Intégration d'APIs et d'outils externes.
  • Travaux pratiques : développement d'une application multimodale.

Évaluation et itération

  • Tests de performance multimodale.
  • Métriques pour la précision, l'alignement et la dérive.
  • Travaux pratiques : évaluation des workflows multimodaux.

Synthèse et prochaines étapes

Pré requis

  • Maîtrise de la programmation Python.
  • Expérience dans le développement de modèles d'apprentissage automatique.
  • Connaissance des données multimodales (texte, audio, image).

Audience cible

  • Chercheurs en intelligence artificielle (IA).
  • Développeurs avancés.
  • Scientifiques en apprentissage automatique (ML).
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires