Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 14 heures
Plan du cours
Souveraineté IA et déploiement local de LLM
- Risques liés aux LLM cloud : rétention des données, utilisation des entrées pour l'entraînement, juridictions étrangères.
- Architecture d'Ollama : serveur de modèles, registre et API compatible OpenAI.
- Comparaison avec vLLM, llama.cpp et Text Generation Inference.
- Licences des modèles : conditions d'utilisation de Llama, Mistral, Qwen et Gemma.
Installation et configuration matérielle
- Installation d'Ollama sur Linux avec prise en charge de CUDA et ROCm.
- Repli sur CPU uniquement et optimisation AVX/AVX2.
- Déploiement Docker et mapping de volumes persistants.
- Configuration multi-GPU et stratégies d'allocation de la VRAM.
Gestion des modèles
- Téléchargement de modèles depuis le registre Ollama : ollama pull llama3.
- Importation de modèles GGUF depuis HuggingFace et TheBloke.
- Niveaux de quantification : compromis entre Q4_K_M, Q5_K_M et Q8_0.
- Changement de modèle et limites de chargement concurrent des modèles.
Modelfiles personnalisés
- Syntaxe des Modelfiles : FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajustement de la température, de top_p et de repeat_penalty.
- Ingénierie des prompts système pour un comportement spécifique au rôle.
- Création et publication de modèles personnalisés dans le registre local.
Intégration d'API
- Point d'accès /v1/chat/completions compatible OpenAI.
- Réponses en streaming et mode JSON.
- Intégration avec LangChain, LlamaIndex et applications personnalisées.
- Authentification et limitation de débit via proxy inverse.
Optimisation des performances
- Dimensionnement de la fenêtre de contexte et gestion du cache KV.
- Inférence par lots et traitement parallèle des requêtes.
- Allocation des threads CPU et prise en charge de NUMA.
- Surveillance de l'utilisation du GPU et de la pression mémoire.
Sécurité et conformité
- Isolation réseau des points d'accès de service de modèles.
- Filtrage des entrées et pipelines de modération des sorties.
- Journaux d'audit des prompts et des complétions.
- Provenance des modèles et vérification des empreintes (hash).
Pré requis
- Administration Linux et des conteneurs de niveau intermédiaire.
- Compréhension des concepts d'apprentissage automatique et des modèles de transformeurs à un niveau élevé.
- Connaissance des API REST et du JSON.
Public cible
- Ingénieurs et développeurs IA remplaçant les API de LLM cloud.
- Organisations dont la sensibilité des données interdit l'utilisation de modèles cloud.
- Équipes gouvernementales et de défense nécessitant des modèles de langage isolés réseau (air-gapped).