Formation Workflows LLM multimodaux dans Vertex AI

Introduction aux LLMs multimodaux dans Vertex AI

• Vue d'ensemble des capacités multimodales dans Vertex AI.
• Modèles Gemini et modalités prises en charge.
• Cas d'utilisation en entreprise et dans la recherche.

Mise en place de l'environnement de développement

• Configuration de Vertex AI pour les workflows multimodaux.
• Gestion des jeux de données multimodaux.
• Travaux pratiques : configuration de l'environnement et préparation des jeux de données.

Fenêtres de contexte longues et raisonnement avancé

• Compréhension des workflows à contexte long.
• Cas d'utilisation en planification et prise de décision.
• Travaux pratiques : mise en œuvre de l'analyse à contexte long.

Conception de workflows inter-modalités

• Combinaison de l'analyse de texte, d'audio et d'images.
• Chaînage des étapes multimodales dans les pipelines.
• Travaux pratiques : conception d'un pipeline multimodal.

Utilisation des paramètres de l'API Gemini

• Configuration des entrées et sorties multimodales.
• Optimisation de l'inférence et de l'efficacité.
• Travaux pratiques : ajustement des paramètres de l'API Gemini.

Applications avancées et intégrations

• Agents et assistants multimodaux interactifs.
• Intégration d'APIs et d'outils externes.
• Travaux pratiques : développement d'une application multimodale.

Évaluation et itération

• Tests de performance multimodale.
• Métriques pour la précision, l'alignement et la dérive.
• Travaux pratiques : évaluation des workflows multimodaux.

Synthèse et prochaines étapes