Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 14 heures
Plan du cours
Introduction aux LLM multimodaux dans Vertex AI
- Aperçu des capacités multimodales dans Vertex AI
- Modèles Gemini et modalités prises en charge
- Cas d'usage en entreprise et en recherche
Configuration de l'environnement de développement
- Configuration de Vertex AI pour les flux de travail multimodaux
- Manipulation de jeux de données à travers les modalités
- Travail pratique : configuration de l'environnement et préparation des jeux de données
Fenêtres de contexte longues et raisonnement avancé
- Comprendre les flux de travail à contexte long
- Cas d'usage dans la planification et la prise de décision
- Travail pratique : implémentation de l'analyse à contexte long
Conception de flux de travail intermodaux
- Combinaison de l'analyse du texte, de l'audio et des images
- Chaînage des étapes multimodales dans les pipelines
- Travail pratique : conception d'un pipeline multimodal
Utilisation des paramètres de l'API Gemini
- Configuration des entrées et sorties multimodales
- Optimisation de la déduction et de l'efficacité
- Travail pratique : ajustement des paramètres de l'API Gemini
Applications avancées et intégrations
- Agents et assistants multimodaux interactifs
- Intégration d'API et d'outils externes
- Travail pratique : création d'une application multimodale
Évaluation et itération
- Test des performances multimodales
- Métriques de précision, d'alignement et de dérive
- Travail pratique : évaluation des flux de travail multimodaux
Résumé et prochaines étapes
Pré requis
- Maîtrise de la programmation en Python
- Expérience dans le développement de modèles d'apprentissage automatique
- Connaissance des données multimodales (texte, audio, image)
Public cible
- Chercheurs en IA
- Développeurs avancés
- Scientifiques du ML