Plan du cours

Introduction aux modèles LLM multimodaux dans Vertex AI

  • Aperçu des capacités multimodales de Vertex AI
  • Modèles Gemini et modalités supportées
  • Cas d'usage dans l'entreprise et la recherche

Configuration de l'environnement de développement

  • Configuration de Vertex AI pour des flux de travail multimodaux
  • Travail avec des jeux de données à travers les modalités
  • Atelier pratique : configuration de l'environnement et préparation des jeux de données

Fenêtres de contexte longues et raisonnement avancé

  • Comprendre les flux de travail à longue durée de vie du contexte
  • Cas d'usage dans la planification et la prise de décision
  • Atelier pratique : mise en œuvre de l'analyse à longue durée de vie du contexte

Conception de flux de travail croisés multimodaux

  • Combinaison d'analyses textuelles, audio et visuelles
  • Enchaînement de pas multimodaux dans des pipelines
  • Atelier pratique : conception d'un pipeline multimodal

Utilisation des paramètres de l'API Gemini

  • Configuration des entrées et sorties multimodales
  • Optimisation de l'inférence et de l'efficacité
  • Atelier pratique : réglage des paramètres de l'API Gemini

Applications avancées et intégrations

  • Agents et assistants multimodaux interactifs
  • Intégration d'API externes et d'outils
  • Atelier pratique : construction d'une application multimodale

Évaluation et itération

  • Test des performances multimodales
  • Métriques pour l'exactitude, l'alignement et le décalage
  • Atelier pratique : évaluation de flux de travail multimodaux

Résumé et étapes suivantes

Pré requis

  • Maîtrise de la programmation Python
  • Expérience dans le développement de modèles d'apprentissage automatique
  • Connaissance des données multimodales (texte, audio, image)

Audience

  • Chercheurs en IA
  • Développeurs avancés
  • Scientifiques de l'IA
 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires