Prenez contact avec nous
 Durée 14 heures

Plan du cours

Souveraineté IA et déploiement local de LLM

  • Risques liés aux LLM cloud : rétention des données, utilisation des entrées pour l'entraînement, juridictions étrangères.
  • Architecture d'Ollama : serveur de modèles, registre et API compatible OpenAI.
  • Comparaison avec vLLM, llama.cpp et Text Generation Inference.
  • Licences des modèles : conditions d'utilisation de Llama, Mistral, Qwen et Gemma.

Installation et configuration matérielle

  • Installation d'Ollama sur Linux avec prise en charge de CUDA et ROCm.
  • Repli sur CPU uniquement et optimisation AVX/AVX2.
  • Déploiement Docker et mapping de volumes persistants.
  • Configuration multi-GPU et stratégies d'allocation de la VRAM.

Gestion des modèles

  • Téléchargement de modèles depuis le registre Ollama : ollama pull llama3.
  • Importation de modèles GGUF depuis HuggingFace et TheBloke.
  • Niveaux de quantification : compromis entre Q4_K_M, Q5_K_M et Q8_0.
  • Changement de modèle et limites de chargement concurrent des modèles.

Modelfiles personnalisés

  • Syntaxe des Modelfiles : FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ajustement de la température, de top_p et de repeat_penalty.
  • Ingénierie des prompts système pour un comportement spécifique au rôle.
  • Création et publication de modèles personnalisés dans le registre local.

Intégration d'API

  • Point d'accès /v1/chat/completions compatible OpenAI.
  • Réponses en streaming et mode JSON.
  • Intégration avec LangChain, LlamaIndex et applications personnalisées.
  • Authentification et limitation de débit via proxy inverse.

Optimisation des performances

  • Dimensionnement de la fenêtre de contexte et gestion du cache KV.
  • Inférence par lots et traitement parallèle des requêtes.
  • Allocation des threads CPU et prise en charge de NUMA.
  • Surveillance de l'utilisation du GPU et de la pression mémoire.

Sécurité et conformité

  • Isolation réseau des points d'accès de service de modèles.
  • Filtrage des entrées et pipelines de modération des sorties.
  • Journaux d'audit des prompts et des complétions.
  • Provenance des modèles et vérification des empreintes (hash).

Pré requis

  • Administration Linux et des conteneurs de niveau intermédiaire.
  • Compréhension des concepts d'apprentissage automatique et des modèles de transformeurs à un niveau élevé.
  • Connaissance des API REST et du JSON.

Public cible

  • Ingénieurs et développeurs IA remplaçant les API de LLM cloud.
  • Organisations dont la sensibilité des données interdit l'utilisation de modèles cloud.
  • Équipes gouvernementales et de défense nécessitant des modèles de langage isolés réseau (air-gapped).

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires