Prenez contact avec nous

Plan du cours

Introduction aux grands modèles de langage open-source

  • Quels sont les modèles à poids ouverts et pourquoi ils sont importants.
  • Vue d'ensemble de LLaMA, Mistral, Qwen et d'autres modèles communautaires.
  • Cas d'utilisation pour les déploiements privés, en local ou sécurisés.

Configuration de l'environnement et outils

  • Installation et configuration des bibliothèques Transformers, Datasets et PEFT.
  • Choix du matériel approprié pour l'affinage.
  • Chargement de modèles pré-entraînés depuis Hugging Face ou d'autres dépôts.

Préparation et prétraitement des données

  • Formats des jeux de données (fine-tuning par instructions, données de chat, texte seul).
  • Tokenisation et gestion des séquences.
  • Création de jeux de données personnalisés et de charges de données.

Techniques d'affinage

  • Fine-tuning complet standard vs. méthodes efficaces en paramètres.
  • Application de LoRA et QLoRA pour un affinage efficace.
  • Utilisation de l'API Trainer pour des expérimentations rapides.

Évaluation et optimisation des modèles

  • Évaluation des modèles affinés avec des métriques de génération et de précision.
  • Gestion du surapprentissage, de la généralisation et des ensembles de validation.
  • Astuces de réglage des performances et journalisation.

Déploiement et usage privé

  • Sauvegarde et chargement des modèles pour l'inférence.
  • Déploiement des modèles affinés dans des environnements d'entreprise sécurisés.
  • Stratégies de déploiement en local vs. dans le cloud.

Études de cas et cas d'utilisation

  • Exemples d'utilisation par les entreprises de LLaMA, Mistral et Qwen.
  • Gestion de l'affinage multilingue et spécifique à un domaine.
  • Débat : compromis entre les modèles ouverts et fermés.

Conclusion et prochaines étapes

Pré requis

  • Une compréhension des grands modèles de langage (LLM) et de leur architecture.
  • De l'expérience en Python et PyTorch.
  • Une connaissance de base de l'écosystème Hugging Face.

Public visé

  • Praticiens du machine learning.
  • Développeurs d'IA.
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires