Prenez contact avec nous

Plan du cours

Introduction à la Peinture Fine-Tuning (PEFT)

  • Motivation et limites du Full Fine-Tuning
  • Aperçu de la PEFT : objectifs et avantages
  • Applications et cas d'utilisation dans l'industrie

LoRA (Low-Rank Adaptation)

  • Concept et intuition derrière LoRA
  • Mise en œuvre de LoRA en utilisant Hugging Face et PyTorch
  • Pratique : Affiner un modèle avec LoRA

Adapter Tuning

  • Comment fonctionnent les modules adaptateurs
  • Intégration avec les modèles basés sur des transformers
  • Pratique : Appliquer Adapter Tuning à un modèle transformer

Prefix Tuning

  • Utilisation de prompts souples pour l'affinement
  • Forces et limites comparées à LoRA et aux adaptateurs
  • Pratique : Prefix Tuning sur une tâche LLM

Évaluation et Comparaison des Méthodes PEFT

  • Métriques pour évaluer la performance et l'efficacité
  • Compromis en termes de vitesse d'entraînement, utilisation de la mémoire et précision
  • Expériences de benchmarking et interprétation des résultats

Déploiement des Modèles Fine-Tunés

  • Sauvegarde et chargement des modèles fine-tunés
  • Considérations de déploiement pour les modèles basés sur la PEFT
  • Intégration dans les applications et pipelines

Pratiques Recommandées et Extensions

  • Combinaison de la PEFT avec la quantification et la distillation
  • Utilisation dans des contextes à ressources limitées et multilingues
  • Directions futures et domaines de recherche actifs

Résumé et Étapes Suivantes

Pré requis

  • Une compréhension des fondamentaux de l'apprentissage automatique
  • De l'expérience avec les grands modèles de langage (LLMs)
  • Une familiarité avec Python et PyTorch

Audience

  • Data scientists
  • Ingénieurs en IA
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires