Formation Ajustement des modèles et des grands modèles de langage (LLM)

Introduction à l'ajustement

• Qu'est-ce que l'ajustement ?
• Cas d'utilisation et avantages de l'ajustement
• Aperçu des modèles pré-entraînés et de l'apprentissage par transfert

Préparation à l'ajustement

• Collecte et nettoyage des ensembles de données
• Compréhension des exigences spécifiques aux données des tâches
• Analyse exploratoire des données et prétraitement

Techniques d'ajustement

• Apprentissage par transfert et extraction de caractéristiques
• Ajustement des transformateurs avec Hugging Face
• Ajustement pour les tâches supervisées par rapport aux non supervisées

Ajustement des grands modèles de langage (LLM)

• Adaptation des LLM pour des tâches de TALN (par ex. classification de texte, résumés)
• Entraînement des LLM avec des ensembles de données personnalisés
• Contrôle du comportement des LLM grâce à l'ingénierie des invites (prompt engineering)

Optimisation et évaluation

• Régulation des hyperparamètres
• Évaluation de la performance des modèles
• Prise en charge du surapprentissage (overfitting) et du sous-apprentissage (underfitting)

Mise à l'échelle des efforts d'ajustement

• Ajustement sur des systèmes distribués
• Exploitation de solutions basées sur le cloud pour la scalabilité
• Études de cas : Projets d'ajustement à grande échelle

Bonnes pratiques et défis

• Bonnes pratiques pour réussir l'ajustement
• Défis courants et dépannage
• Considérations éthiques dans l'ajustement des modèles d'IA

Sujets avancés (optionnel)

• Ajustement des modèles multimodaux
• Apprentissage sans exemples (zero-shot) et avec peu d'exemples (few-shot)
• Exploration des techniques LoRA (Low-Rank Adaptation)

Synthèse et prochaines étapes