Formation Affinage des grands modèles de langage open-source (LLaMA, Mistral, Qwen, etc.)

Introduction aux grands modèles de langage open-source

• Quels sont les modèles à poids ouverts et pourquoi ils sont importants.
• Vue d'ensemble de LLaMA, Mistral, Qwen et d'autres modèles communautaires.
• Cas d'utilisation pour les déploiements privés, en local ou sécurisés.

Configuration de l'environnement et outils

• Installation et configuration des bibliothèques Transformers, Datasets et PEFT.
• Choix du matériel approprié pour l'affinage.
• Chargement de modèles pré-entraînés depuis Hugging Face ou d'autres dépôts.

Préparation et prétraitement des données

• Formats des jeux de données (fine-tuning par instructions, données de chat, texte seul).
• Tokenisation et gestion des séquences.
• Création de jeux de données personnalisés et de charges de données.

Techniques d'affinage

• Fine-tuning complet standard vs. méthodes efficaces en paramètres.
• Application de LoRA et QLoRA pour un affinage efficace.
• Utilisation de l'API Trainer pour des expérimentations rapides.

Évaluation et optimisation des modèles

• Évaluation des modèles affinés avec des métriques de génération et de précision.
• Gestion du surapprentissage, de la généralisation et des ensembles de validation.
• Astuces de réglage des performances et journalisation.

Déploiement et usage privé

• Sauvegarde et chargement des modèles pour l'inférence.
• Déploiement des modèles affinés dans des environnements d'entreprise sécurisés.
• Stratégies de déploiement en local vs. dans le cloud.

Études de cas et cas d'utilisation

• Exemples d'utilisation par les entreprises de LLaMA, Mistral et Qwen.
• Gestion de l'affinage multilingue et spécifique à un domaine.
• Débat : compromis entre les modèles ouverts et fermés.

Conclusion et prochaines étapes