Formation Flux de travail des LLM multimodaux dans Vertex AI

Introduction aux LLM multimodaux dans Vertex AI

• Aperçu des capacités multimodales dans Vertex AI
• Modèles Gemini et modalités prises en charge
• Cas d'usage en entreprise et en recherche

Configuration de l'environnement de développement

• Configuration de Vertex AI pour les flux de travail multimodaux
• Utilisation des jeux de données entre les modalités
• Atelier pratique : configuration de l'environnement et préparation des jeux de données

Fenêtres de contexte longues et raisonnement avancé

• Comprendre les flux de travail à contexte long
• Cas d'usage en planification et prise de décision
• Atelier pratique : implémentation d'une analyse à contexte long

Conception de flux de travail intermodaux

• Combinaison de l'analyse de texte, d'audio et d'images
• Enchaînement des étapes multimodales dans les pipelines
• Atelier pratique : conception d'un pipeline multimodal

Utilisation des paramètres de l'API Gemini

• Configuration des entrées et sorties multimodales
• Optimisation de la déduction et de l'efficacité
• Atelier pratique : ajustement des paramètres de l'API Gemini

Applications avancées et intégrations

• Agents et assistants multimodaux interactifs
• Intégration d'API et d'outils externes
• Atelier pratique : création d'une application multimodale

Évaluation et itération

• Test des performances multimodales
• Métriques de précision, d'alignement et de dérive
• Atelier pratique : évaluation des flux de travail multimodaux

Résumé et prochaines étapes