Formation Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts
Déployer Tencent Hunyuan en production : inférence à faible latence et optimisation des coûts est un cours pratique sur la mise en service fiable et à grande échelle des modèles Tencent Hunyuan.
Cette formation dirigée par un instructeur (en ligne ou en présentiel) s'adresse aux ingénieurs et architectes de niveau intermédiaire souhaitant utiliser Tencent Hunyuan pour déployer des modèles volumineux et MoE avec une latence réduite, une meilleure utilisation des GPU et des coûts d'exploitation maîtrisés.
À l'issue de cette formation, les participants seront en mesure de :
- expliquer les principaux défis de production liés au déploiement des modèles Tencent Hunyuan.
- appliquer des techniques pratiques d'optimisation de l'inférence telles que TensorRT, le réglage du cache KV, la quantification et le groupement par lots (batching).
- concevoir une approche de déploiement évolutive avec scaling automatique, surveillance et planification des capacités.
- améliorer l'arbitrage entre latence et coût pour des charges de travail réelles en production.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- De nombreux exercices et mises en pratique.
- Mise en œuvre concrète dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser les modalités.
Plan du cours
Fondamentaux de la production avec Tencent Hunyuan
- Aperçu des scénarios de mise en service (serving) des modèles Tencent Hunyuan
- Caractéristiques en production des modèles volumineux et MoE
- Bottlenecks courants en matière de latence, de débit et de coût
- Définition des objectifs de niveau de service (SLO) pour les charges de travail d'inférence
Architecture de déploiement et flux de mise en service
- Composants clés d'une pile d'inférence de production
- Choix entre les modèles de déploiement conteneurisés, sur site et cloud
- Fondamentaux du chargement des modèles, du routage des requêtes et de l'allocation GPU
- Conception axée sur la fiabilité et la simplicité opérationnelle
Optimisation de la latence en pratique
- Utilisation de moteurs d'inférence optimisés tels que TensorRT, le cas échéant
- Concepts du cache KV et réglage pratique du cache
- Réduction des temps de démarrage, de préchauffement (warmup) et de réponse
- Mesure du temps jusqu'au premier jeton et de la vitesse de génération des jetons
Débit, groupement par lots et efficacité GPU
- Stratégies de groupement continu et par lots de requêtes
- Gestion de la concurrence et du comportement des files d'attente
- Amélioration de l'utilisation des GPU sans nuire à l'expérience utilisateur
- Gestion des requêtes à contexte long et mixtes
Quantification et contrôle des coûts
- Pourquoi la quantification est cruciale pour le déploiement en production
- Arbitrages pratiques entre FP16, INT8 et autres options de précision courantes
- Équilibre entre qualité du modèle, latence et coût des infrastructures
- Élaboration d'une liste de vérification simple pour l'optimisation des coûts
Opérations, surveillance et examen de la préparation
- Déclencheurs de scaling automatique pour les services d'inférence
- Surveillance de la latence, du débit, de l'utilisation du cache et de l'état des GPU
- Fondamentaux de la journalisation (logging), des alertes et de la gestion des incidents
- Analyse d'un déploiement de référence et création d'un plan d'amélioration
Pré requis
- Compréhension de base des workflows de déploiement et d'inférence des modèles de langage volumineux (LLM)
- Expérience avec les conteneurs, les infrastructures cloud ou sur site (on-premise), et les services basés sur API
- Connaissances opérationnelles en Python ou en tâches d'ingénierie système
Audience cible
- Ingénieurs ML déployant des LLM en production
- Ingénieurs plateforme responsables des services d'inférence basés sur GPU
- Architectes solution concevant des plateformes de mise à disposition (serving) d'IA évolutives
Les formations ouvertes requièrent plus de 3 participants.
Formation Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts - Réservation
Formation Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts - Demande de renseignements
NobleProg propose des formations professionnelles conçues spécifiquement pour les entreprises et les organisations. Ces formations ne sont pas destinées aux particuliers.
Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts - Demande d'informations consulting
Cours à venir
Cours Similaires
Avancé LangGraph : Optimisation, Débogage et Surveillance de Graphes complexes
35 HeuresLangGraph est un framework pour construire des applications LLM multi-acteurs et à état en utilisant des graphes composables avec un état persistant et un contrôle sur l'exécution.
Cette formation en direct, dirigée par un instructeur (en ligne ou sur site), s'adresse aux ingénieurs de plateforme AI avancés, DevOps pour AI et architectes ML qui souhaitent optimiser, déboguer, surveiller et opérer des systèmes LangGraph de production.
A la fin de cette formation, les participants seront capables de :
- Définir et optimiser des topologies complexes de LangGraph pour la vitesse, le coût et l'évolutivité.
- Concevoir une fiabilité grâce aux réessais, aux délais d'expiration, à l'idempotence et au redémarrage basé sur les points de contrôle.
- Déboguer et tracer les exécutions des graphes, inspecter l'état et reproduire systématiquement les problèmes de production.
- Instrumentaliser les graphes avec des journaux, des métriques et des traces, déployer en production et surveiller les SLAs et les coûts.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- De nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire live.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour les arrangements.
Création d'agents de codage avec Devstral : du design des agents à l'outillage
14 HeuresDevstral est un cadre open-source conçu pour créer et exécuter des agents de codage capables d'interagir avec des bases de code, des outils de développement et des API afin d'améliorer la productivité des ingénieurs.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux ingénieurs ML intermédiaires à avancés, aux équipes d'outils de développement et aux SREs qui souhaitent concevoir, implémenter et optimiser des agents de codage en utilisant Devstral.
À la fin de cette formation, les participants seront capables de :
- Configurer Devstral pour le développement d'agents de codage.
- Concevoir des workflows agentic pour l'exploration et la modification des bases de code.
- Intégrer les agents de codage avec des outils de développement et des API.
- Appliquer les meilleures pratiques pour un déploiement sécurisé et efficace des agents.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion.
- Nombreux exercices et pratiques.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Open-Source Model Ops: Self-Hosting, Fine-Tuning and Governance with Devstral & Mistral Models
14 HeuresLes modèles Devstral et Mistral sont des technologies d'IA open source conçues pour un déploiement flexible, une adaptation fine et une intégration évolutif.
Cette formation en présentiel (en ligne ou sur site) est destinée aux ingénieurs ML de niveau intermédiaire à avancé, aux équipes de plateforme et aux ingénieurs de recherche qui souhaitent héberger, adapter finement et gérer les modèles Mistral et Devstral dans des environnements de production.
À la fin de cette formation, les participants seront en mesure de :
- Mettre en place et configurer des environnements d'hébergement pour les modèles Mistral et Devstral.
- Appliquer des techniques d'adaptation fine pour des performances spécifiques à un domaine.
- Implémenter la gestion de versions, le monitoring et la gouvernance du cycle de vie.
- Assurer la sécurité, la conformité et l'utilisation responsable des modèles open source.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Exercices pratiques d'hébergement et d'adaptation fine.
- Mise en œuvre de pipelines de gouvernance et de monitoring dans un environnement live-lab.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Applications de LangGraph dans les Finances
35 HeuresLangGraph est un framework permettant de construire des applications LLM à état et multi-acteurs sous forme de graphes composables avec un état persistant et un contrôle d'exécution.
Cette formation en direct (en ligne ou sur site) dispensée par un formateur s'adresse aux professionnels intermédiaires et avancés souhaitant concevoir, mettre en œuvre et exploiter des solutions financières basées sur LangGraph avec une gouvernance, une observabilité et une conformité appropriées.
A la fin de cette formation, les participants seront capables de :
- Concevoir des workflows LangGraph spécifiques aux finances en adéquation avec les exigences réglementaires et d'audit.
- Intégrer les normes et ontologies de données financières dans l'état du graphe et les outils.
- Mettre en œuvre la fiabilité, la sécurité et le contrôle humain-en-boucle pour des processus critiques.
- Déployer, surveiller et optimiser les systèmes LangGraph en termes de performance, de coût et d'engagements SLA.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussions.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire vivant.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Fondamentaux de LangGraph : Conception et enchaînement de prompts LLM basés sur des graphes
14 HeuresLangGraph est un framework permettant de concevoir des applications LLM structurées sous forme de graphes, prenant en charge la planification, la ramification, l’utilisation d’outils, la mémoire et l’exécution contrôlée.
Cette formation live, animée par un formateur (en ligne ou en présentiel), s’adresse aux développeurs débutants, aux ingénieurs en prompt engineering et aux professionnels des données souhaitant concevoir et mettre en œuvre des workflows LLM multi-étapes fiables à l’aide de LangGraph.
À l’issue de cette formation, les participants seront capables de :
- Expliquer les concepts clés de LangGraph (nœuds, arêtes, état) et savoir quand les utiliser.
- Construire des chaînes de prompts avec branchements, appels d’outils et maintien de la mémoire.
- Intégrer la récupération de données (retrieval) et des API externes dans des workflows basés sur des graphes.
- Tester, déboguer et évaluer des applications LangGraph afin d’en garantir la fiabilité et la sécurité.
Format de la formation
- Cours interactif et discussions animées.
- Travaux pratiques guidés et parcours de code dans un environnement sandbox.
- Exercices contextuels portant sur la conception, les tests et l’évaluation.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d’en convenir.
LangGraph dans la Santé : Orchestration des Flux de Travail pour les Environnements Régulés
35 HeuresLangGraph permet des workflows multi-acteurs et étatiques alimentés par des LLM avec un contrôle précis sur les chemins d'exécution et la persistance de l'état. Dans le secteur de la santé, ces capacités sont essentielles pour la conformité, l'interopérabilité et la création de systèmes de soutien à la décision qui s'intègrent aux workflows médicaux.
Cette formation en direct animée par un instructeur (en ligne ou sur site) est destinée aux professionnels intermédiaires et avancés souhaitant concevoir, mettre en œuvre et gérer des solutions de santé basées sur LangGraph tout en répondant aux défis réglementaires, éthiques et opérationnels.
À la fin de cette formation, les participants seront capables de :
- Concevoir des workflows spécifiques à la santé avec LangGraph en tenant compte de la conformité et de la traçabilité.
- Intégrer les applications LangGraph aux ontologies et normes médicales (FHIR, SNOMED CT, ICD).
- Appliquer les meilleures pratiques pour la fiabilité, la traçabilité et l'explicabilité dans des environnements sensibles.
- Déployer, surveiller et valider les applications LangGraph dans des environnements de production en santé.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussions.
- Exercices pratiques avec des études de cas réelles.
- Mise en pratique dans un environnement de laboratoire live.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
LangGraph pour les Applications Juridiques
35 HeuresLangGraph est un cadre permettant de construire des applications LLM (Large Language Models) étatiques et multi-acteurs sous forme de graphes composites avec un état persistant et un contrôle précis de l'exécution.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux professionnels de niveau intermédiaire à avancé qui souhaitent concevoir, mettre en œuvre et opérer des solutions juridiques basées sur LangGraph avec les contrôles nécessaires de conformité, de traçabilité et de gouvernance.
À la fin de cette formation, les participants seront capables de :
- Concevoir des flux de travail LangGraph spécifiques au domaine juridique qui préservent l'auditabilité et la conformité.
- Intégrer les ontologies juridiques et les normes documentaires dans l'état du graphe et le traitement.
- Mettre en œuvre des garde-fous, des approbations humaines dans la boucle, et des chemins de décision traçables.
- Déployer, surveiller et maintenir les services LangGraph en production avec une observabilité et des contrôles de coûts.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- De nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Construire des workflows dynamiques avec LangGraph et des agents LLM
14 HeuresLangGraph est un cadre de travail pour composer des workflows de LLM structurés sous forme de graphes, prenant en charge les branchements, l'utilisation d'outils, la mémoire et une exécution contrôlable.
Cette formation en présentiel ou en ligne, dispensée par un formateur expert, s'adresse aux ingénieurs et aux équipes produit de niveau intermédiaire souhaitant combiner la logique des graphes de LangGraph avec les boucles d'agents LLM pour construire des applications dynamiques et sensibles au contexte, telles que des agents de support client, des arbres de décision et des systèmes de récupération d'informations.
À l'issue de cette formation, les participants seront capables de :
- Concevoir des workflows basés sur des graphes qui coordonnent les agents LLM, les outils et la mémoire.
- Mettre en œuvre un routage conditionnel, des tentatives de reprise et des mécanismes de repli pour une exécution robuste.
- Intégrer la récupération d'informations, des API et des sorties structurées dans les boucles d'agents.
- Évaluer, surveiller et renforcer le comportement des agents pour garantir fiabilité et sécurité.
Format de la formation
- Cours interactif et discussions animées.
- Tutoriels guidés et explications de code dans un environnement sandbox.
- Exercices de conception basés sur des scénarios et revues par les pairs.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.
LangGraph pour l'Automatisation du Marketing
14 HeuresLangGraph est un cadre d'orchestration basé sur des graphes qui permet des flux de travail conditionnels et multietapes avec des modèles linguistiques (LLM) et des outils, idéal pour automatiser et personnaliser les pipelines de contenu.
Cette formation en présentiel ou en ligne, animée par un instructeur, est destinée aux marketeurs intermédiaires, aux stratèges de contenu et aux développeurs d'automatisation qui souhaitent mettre en œuvre des campagnes e-mail dynamiques et des pipelines de génération de contenu à l'aide de LangGraph.
À la fin de cette formation, les participants seront capables de :
- Concevoir des flux de travail de contenu et d'e-mail basés sur des graphes avec une logique conditionnelle.
- Intégrer des LLM, des API et des sources de données pour une personnalisation automatisée.
- Gérer l'état, la mémoire et le contexte dans des campagnes multietapes.
- Évaluer, surveiller et optimiser les performances et les résultats de livraison des flux de travail.
Format du Cours
- Conférences interactives et discussions de groupe.
- Ateliers pratiques pour mettre en œuvre des flux de travail d'e-mail et des pipelines de contenu.
- Exercices basés sur des scénarios concernant la personnalisation, le segmentage et la logique conditionnelle.
Options de Personnalisation du Cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Le Chat Enterprise: ChatOps Privé, Intégrations & Contrôles d'Administration
14 HeuresLe Chat Enterprise est une solution de ChatOps privée qui offre des capacités d'IA conversationnelle sécurisées, personnalisables et gouvernées pour les organisations, avec support pour le RBAC, l'SSO, les connecteurs et les intégrations d'applications d'entreprise.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux gestionnaires de produits intermédiaires, aux responsables informatiques, aux ingénieurs solutions et aux équipes de sécurité/conformité qui souhaitent déployer, configurer et gouverner Le Chat Enterprise dans des environnements d'entreprise.
À la fin de cette formation, les participants seront en mesure de :
- Déployer et configurer Le Chat Enterprise de manière sécurisée.
- Activer le RBAC, l'SSO et les contrôles conformes à la réglementation.
- Intégrer Le Chat avec des applications et des magasins de données d'entreprise.
- Concevoir et mettre en œuvre des playbooks de gouvernance et d'administration pour le ChatOps.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Architectures LLM rentables : Mistral à grande échelle (Ingénierie des performances et des coûts)
14 HeuresMistral est une famille de grands modèles de langage haute performance, optimisée pour le déploiement en production rentable à grande échelle.
Cette formation animée par un instructeur (en ligne ou sur site) s'adresse aux ingénieurs infrastructure de niveau avancé, architectes cloud et responsables MLOps qui souhaitent concevoir, déployer et optimiser des architectures basées sur Mistral pour un débit maximum et un coût minimum.
À l'issue de cette formation, les participants seront capables de :
- Mettre en œuvre des schémas de déploiement évolutifs pour Mistral Medium 3.
- Appliquer des stratégies de lot (batching), de quantification et de service efficace.
- Optimiser les coûts d'inférence tout en maintenant la performance.
- Concevoir des topologies de service prêtes pour la production pour les charges de travail d'entreprise.
Format de la formation
- Cours interactif et discussions.
- De nombreux exercices et mises en pratique.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Productisation d'Assistants Conversationnels avec les Connecteurs et Intégrations Mistral
14 HeuresMistral AI est une plateforme d'IA ouverte qui permet aux équipes de créer et d'intégrer des assistants conversationnels dans les flux de travail destinés aux entreprises et aux clients.
Cette formation dirigée par un instructeur (en ligne ou sur site) s'adresse aux gestionnaires de produits, développeurs full-stack et ingénieurs d'intégration de niveau débutant à intermédiaire qui souhaitent concevoir, intégrer et commercialiser des assistants conversationnels en utilisant les connecteurs et les intégrations Mistral.
À la fin de cette formation, les participants seront capables de :
- Intégrer les modèles conversationnels Mistral avec des connecteurs d'entreprise et SaaS.
- Mettre en œuvre la génération augmentée par la récupération (RAG) pour des réponses fondées.
- Concevoir des modèles UX pour des assistants de chat internes et externes.
- Déployer les assistants dans des flux de travail de produits pour des cas d'utilisation réels.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion.
- Exercices pratiques d'intégration.
- Développement en laboratoire live d'assistants conversationnels.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Déploiements d'Entreprise avec Mistral Medium 3
14 HeuresMistral Medium 3 est un modèle de langage multimodal à grande échelle, performant et conçu pour une déployment d'entreprise dans divers environnements.
Cette formation dirigée par un instructeur (en ligne ou sur site) s'adresse aux ingénieurs AI/ML intermédiaires à avancés, aux architectes de plateforme et aux équipes MLOps qui souhaitent déployer, optimiser et sécuriser Mistral Medium 3 pour des cas d'utilisation d'entreprise.
À la fin de cette formation, les participants seront en mesure de :
- Déployer Mistral Medium 3 à l'aide d'options API et auto-hébergées.
- Optimiser les performances d'inférence et les coûts.
- Mettre en œuvre des cas d'utilisation multimodaux avec Mistral Medium 3.
- Appliquer les meilleures pratiques de sécurité et de conformité pour les environnements d'entreprise.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Mistral pour l'IA responsable : Confidentialité, résidence des données et contrôles d'entreprise
14 HeuresMistral AI est une plateforme d'IA ouverte et prête pour l'entreprise qui fournit des fonctionnalités pour le déploiement sécurisé, conforme et responsable de l'IA.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux chefs de conformité intermédiaires, aux architectes de sécurité et aux parties prenantes juridiques/opérations qui souhaitent mettre en œuvre des pratiques d'IA responsable avec Mistral en utilisant les mécanismes de confidentialité, de résidence des données et de contrôle d'entreprise.
À la fin de cette formation, les participants seront capables de :
- Mettre en œuvre des techniques de protection de la vie privée dans les déploiements Mistral.
- Appliquer des stratégies de résidence des données pour répondre aux exigences réglementaires.
- Configurer des contrôles d'entreprise de niveau entreprise tels que le contrôle d'accès basé sur les rôles (RBAC), l'authentification unique (SSO) et les journaux d'audit.
- Évaluer les options de fournisseurs et de déploiement pour s'aligner sur la conformité.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion.
- Études de cas et exercices axés sur la conformité.
- Mise en œuvre pratique des contrôles d'IA d'entreprise.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Applications Multimodales avec les Modèles Mistral (Vision, OCR et Compréhension Documentaire)
14 HeuresLes modèles Mistral sont des technologies d'IA open source qui s'étendent désormais aux flux de travail multimodaux, prenant en charge à la fois les tâches linguistiques et visuelles pour les applications d'entreprise et de recherche.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux chercheurs en ML intermédiaires, aux ingénieurs appliqués et aux équipes produits qui souhaitent construire des applications multimodales avec les modèles Mistral, y compris des pipelines d'OCR et de compréhension de documents.
À la fin de cette formation, les participants seront en mesure de :
- Mettre en place et configurer les modèles Mistral pour les tâches multimodales.
- Implémenter des workflows d'OCR et les intégrer aux pipelines NLP.
- Concevoir des applications de compréhension de documents pour des cas d'utilisation d'entreprise.
- Développer des fonctionnalités de recherche vision-texte et d'interface utilisateur assistive.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Exercices pratiques de codage.
- Mise en œuvre de pipelines multimodaux dans un laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
