Formation Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts
Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts est un cours pratique sur le service fiable et à grande échelle des modèles Tencent Hunyuan.
Cette formation animée en direct (en ligne ou sur site) s'adresse aux ingénieurs et architectes de niveau intermédiaire souhaitant utiliser Tencent Hunyuan pour déployer des modèles de grande taille et des modèles MoE avec une latence réduite, une meilleure utilisation du GPU et un contrôle des coûts opérationnels.
À la fin de cette formation, les participants seront capables de :
- expliquer les principaux défis de production liés au service des modèles Tencent Hunyuan.
- appliquer des techniques d'optimisation d'inférence pratiques telles que TensorRT, l'ajustement du cache KV, la quantification et le regroupement par lots.
- concevoir une approche de déploiement évolutif avec mise à l'échelle automatique, surveillance et planification des capacités.
- améliorer les compromis entre latence et coût pour des charges de travail réelles en production.
Format du cours permettant d'évaluer les participants
- Conférence interactive et discussion.
- De nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.
Plan du cours
Fondamentaux du déploiement en production de Tencent Hunyuan
- Aperçu des scénarios de service des modèles Tencent Hunyuan
- Caractéristiques de production des modèles de grande taille et des modèles MoE
- Goulots d'étranglement courants en termes de latence, de débit et de coûts
- Définition des objectifs de niveau de service pour les charges de travail d'inférence
Architecture de déploiement et flux de service
- Composants principaux d'une pile d'inférence en production
- Choix entre les modèles de déploiement conteneurisés, sur site et cloud
- Chargement des modèles, routage des requêtes et bases de l'allocation GPU
- Conception axée sur la fiabilité et la simplicité opérationnelle
Optimisation de la latence en pratique
- Utilisation de moteurs d'inférence optimisés tels que TensorRT lorsque cela est applicable
- Concepts de cache KV et ajustement pratique du cache
- Réduction des surcoûts de démarrage, de préchauffage et de réponse
- Mesure du temps jusqu'au premier jeton et de la vitesse de génération de jetons
Débit, regroupement par lots et efficacité du GPU
- Stratégies de regroupement continu et de regroupement par lots de requêtes
- Gestion de la concurrence et du comportement des files d'attente
- Amélioration de l'utilisation du GPU sans nuire à l'expérience utilisateur
- Gestion des requêtes à contexte long et des charges de travail mixtes
Quantification et contrôle des coûts
- Importance de la quantification pour le service en production
- Compromis pratiques entre FP16, INT8 et d'autres options de précision courantes
- Équilibre entre qualité du modèle, latence et coût de l'infrastructure
- Élaboration d'une liste de contrôle simple d'optimisation des coûts
Opérations, surveillance et revue de préparation
- Déclencheurs de mise à l'échelle automatique pour les services d'inférence
- Surveillance de la latence, du débit, de l'utilisation du cache et de la santé du GPU
- Bases de la journalisation, des alertes et de la gestion des incidents
- Examen d'un déploiement de référence et élaboration d'un plan d'amélioration
Pré requis
- Compréhension de base du déploiement des grands modèles de langage et des flux de travail d'inférence
- Expérience avec les conteneurs, l'infrastructure cloud ou sur site, et les services basés sur des API
- Connaissance pratique de Python ou des tâches d'ingénierie système
Cible
- Ingénieurs en apprentissage automatique déployant des LLM en production
- Ingénieurs de plateforme responsables des services d'inférence basés sur GPU
- Architectes de solutions concevant des plateformes de service d'IA évolutives
Les formations ouvertes requièrent plus de 3 participants.
Formation Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts - Réservation
Formation Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts - Demande de renseignements
NobleProg propose des formations professionnelles conçues spécifiquement pour les entreprises et les organisations. Ces formations ne sont pas destinées aux particuliers.
Déploiement de Tencent Hunyuan en production : Inférence à faible latence et optimisation des coûts - Demande d'informations consulting
Cours à venir
Cours Similaires
Avancé LangGraph : Optimisation, Débogage et Surveillance de Graphes complexes
35 HeuresLangGraph est un framework pour construire des applications LLM multi-acteurs et à état en utilisant des graphes composables avec un état persistant et un contrôle sur l'exécution.
Cette formation en direct, dirigée par un instructeur (en ligne ou sur site), s'adresse aux ingénieurs de plateforme AI avancés, DevOps pour AI et architectes ML qui souhaitent optimiser, déboguer, surveiller et opérer des systèmes LangGraph de production.
A la fin de cette formation, les participants seront capables de :
- Définir et optimiser des topologies complexes de LangGraph pour la vitesse, le coût et l'évolutivité.
- Concevoir une fiabilité grâce aux réessais, aux délais d'expiration, à l'idempotence et au redémarrage basé sur les points de contrôle.
- Déboguer et tracer les exécutions des graphes, inspecter l'état et reproduire systématiquement les problèmes de production.
- Instrumentaliser les graphes avec des journaux, des métriques et des traces, déployer en production et surveiller les SLAs et les coûts.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- De nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire live.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour les arrangements.
Création d'agents de codage avec Devstral : du design des agents à l'outillage
14 HeuresDevstral est un cadre open-source conçu pour créer et exécuter des agents de codage capables d'interagir avec des bases de code, des outils de développement et des API afin d'améliorer la productivité des ingénieurs.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux ingénieurs ML intermédiaires à avancés, aux équipes d'outils de développement et aux SREs qui souhaitent concevoir, implémenter et optimiser des agents de codage en utilisant Devstral.
À la fin de cette formation, les participants seront capables de :
- Configurer Devstral pour le développement d'agents de codage.
- Concevoir des workflows agentic pour l'exploration et la modification des bases de code.
- Intégrer les agents de codage avec des outils de développement et des API.
- Appliquer les meilleures pratiques pour un déploiement sécurisé et efficace des agents.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion.
- Nombreux exercices et pratiques.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Open-Source Model Ops: Self-Hosting, Fine-Tuning and Governance with Devstral & Mistral Models
14 HeuresLes modèles Devstral et Mistral sont des technologies d'IA open source conçues pour un déploiement flexible, une adaptation fine et une intégration évolutif.
Cette formation en présentiel (en ligne ou sur site) est destinée aux ingénieurs ML de niveau intermédiaire à avancé, aux équipes de plateforme et aux ingénieurs de recherche qui souhaitent héberger, adapter finement et gérer les modèles Mistral et Devstral dans des environnements de production.
À la fin de cette formation, les participants seront en mesure de :
- Mettre en place et configurer des environnements d'hébergement pour les modèles Mistral et Devstral.
- Appliquer des techniques d'adaptation fine pour des performances spécifiques à un domaine.
- Implémenter la gestion de versions, le monitoring et la gouvernance du cycle de vie.
- Assurer la sécurité, la conformité et l'utilisation responsable des modèles open source.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Exercices pratiques d'hébergement et d'adaptation fine.
- Mise en œuvre de pipelines de gouvernance et de monitoring dans un environnement live-lab.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Applications de LangGraph dans les Finances
35 HeuresLangGraph est un framework permettant de construire des applications LLM à état et multi-acteurs sous forme de graphes composables avec un état persistant et un contrôle d'exécution.
Cette formation en direct (en ligne ou sur site) dispensée par un formateur s'adresse aux professionnels intermédiaires et avancés souhaitant concevoir, mettre en œuvre et exploiter des solutions financières basées sur LangGraph avec une gouvernance, une observabilité et une conformité appropriées.
A la fin de cette formation, les participants seront capables de :
- Concevoir des workflows LangGraph spécifiques aux finances en adéquation avec les exigences réglementaires et d'audit.
- Intégrer les normes et ontologies de données financières dans l'état du graphe et les outils.
- Mettre en œuvre la fiabilité, la sécurité et le contrôle humain-en-boucle pour des processus critiques.
- Déployer, surveiller et optimiser les systèmes LangGraph en termes de performance, de coût et d'engagements SLA.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussions.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire vivant.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Fondations de LangGraph : Promptage et Chaînage basés sur les Graphes
14 HeuresLangGraph est un framework pour la construction d'applications LLM structurées en graphes qui prennent en charge le planification, le branchement, l'utilisation des outils, la mémoire et l'exécution contrôlée.
Cette formation en direct (en ligne ou sur place) animée par un formateur est destinée aux développeurs débutants, aux ingénieurs de prompts et aux praticiens des données qui souhaitent concevoir et construire des workflows LLM multi-étapes fiables à l'aide de LangGraph.
À la fin de cette formation, les participants seront capables de :
- Expliquer les concepts fondamentaux de LangGraph (nœuds, arêtes, état) et quand les utiliser.
- Créer des chaînes de prompts qui se branchent, appellent des outils et maintiennent la mémoire.
- Intégrer des récupérations et des APIs externes dans les workflows graphiques.
- Tester, déboguer et évaluer les applications LangGraph pour garantir fiabilité et sécurité.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion guidée.
- Laboratoires encadrés et démonstrations de code dans un environnement sandbox.
- Exercices basés sur des scénarios pour la conception, le test et l'évaluation.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
LangGraph dans la Santé : Orchestration des Flux de Travail pour les Environnements Régulés
35 HeuresLangGraph permet des workflows multi-acteurs et étatiques alimentés par des LLM avec un contrôle précis sur les chemins d'exécution et la persistance de l'état. Dans le secteur de la santé, ces capacités sont essentielles pour la conformité, l'interopérabilité et la création de systèmes de soutien à la décision qui s'intègrent aux workflows médicaux.
Cette formation en direct animée par un instructeur (en ligne ou sur site) est destinée aux professionnels intermédiaires et avancés souhaitant concevoir, mettre en œuvre et gérer des solutions de santé basées sur LangGraph tout en répondant aux défis réglementaires, éthiques et opérationnels.
À la fin de cette formation, les participants seront capables de :
- Concevoir des workflows spécifiques à la santé avec LangGraph en tenant compte de la conformité et de la traçabilité.
- Intégrer les applications LangGraph aux ontologies et normes médicales (FHIR, SNOMED CT, ICD).
- Appliquer les meilleures pratiques pour la fiabilité, la traçabilité et l'explicabilité dans des environnements sensibles.
- Déployer, surveiller et valider les applications LangGraph dans des environnements de production en santé.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussions.
- Exercices pratiques avec des études de cas réelles.
- Mise en pratique dans un environnement de laboratoire live.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
LangGraph pour les Applications Juridiques
35 HeuresLangGraph est un cadre permettant de construire des applications LLM (Large Language Models) étatiques et multi-acteurs sous forme de graphes composites avec un état persistant et un contrôle précis de l'exécution.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux professionnels de niveau intermédiaire à avancé qui souhaitent concevoir, mettre en œuvre et opérer des solutions juridiques basées sur LangGraph avec les contrôles nécessaires de conformité, de traçabilité et de gouvernance.
À la fin de cette formation, les participants seront capables de :
- Concevoir des flux de travail LangGraph spécifiques au domaine juridique qui préservent l'auditabilité et la conformité.
- Intégrer les ontologies juridiques et les normes documentaires dans l'état du graphe et le traitement.
- Mettre en œuvre des garde-fous, des approbations humaines dans la boucle, et des chemins de décision traçables.
- Déployer, surveiller et maintenir les services LangGraph en production avec une observabilité et des contrôles de coûts.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- De nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Construire des Flux de Travail Dynamiques avec LangGraph et des Agents LLM
14 HeuresCette formation en direct (en ligne ou sur site) dirigée par un formateur s'adresse aux ingénieurs intermédiaires et aux équipes de produits qui souhaitent combiner la logique graphique de LangGraph avec les boucles d'agents LLM pour construire des applications dynamiques et contextuelles telles que des agents de support clients, des arbres de décision et des systèmes de récupération d'information.
A la fin de cette formation, les participants seront capables de :
- Définir des flux de travail basés sur les graphes qui coordonnent les agents LLM, les outils et la mémoire.
- Mettre en œuvre une routage conditionnel, des tentatives redémarrages et des remplacements pour une exécution robuste.
- Intégrer le récupération de données, les API et les sorties structurées dans les boucles d'agents.
- Évaluer, surveiller et renforcer le comportement des agents pour la fiabilité et la sécurité.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion facilitée.
- Laboratoires guidés et parcours de code dans un environnement sandbox.
- Exercices de conception basés sur des scénarios et revues par les pairs.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en faire la demande.
LangGraph pour l'Automatisation du Marketing
14 HeuresLangGraph est un cadre d'orchestration basé sur des graphes qui permet des flux de travail conditionnels et multietapes avec des modèles linguistiques (LLM) et des outils, idéal pour automatiser et personnaliser les pipelines de contenu.
Cette formation en présentiel ou en ligne, animée par un instructeur, est destinée aux marketeurs intermédiaires, aux stratèges de contenu et aux développeurs d'automatisation qui souhaitent mettre en œuvre des campagnes e-mail dynamiques et des pipelines de génération de contenu à l'aide de LangGraph.
À la fin de cette formation, les participants seront capables de :
- Concevoir des flux de travail de contenu et d'e-mail basés sur des graphes avec une logique conditionnelle.
- Intégrer des LLM, des API et des sources de données pour une personnalisation automatisée.
- Gérer l'état, la mémoire et le contexte dans des campagnes multietapes.
- Évaluer, surveiller et optimiser les performances et les résultats de livraison des flux de travail.
Format du Cours
- Conférences interactives et discussions de groupe.
- Ateliers pratiques pour mettre en œuvre des flux de travail d'e-mail et des pipelines de contenu.
- Exercices basés sur des scénarios concernant la personnalisation, le segmentage et la logique conditionnelle.
Options de Personnalisation du Cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Le Chat Enterprise: ChatOps Privé, Intégrations & Contrôles d'Administration
14 HeuresLe Chat Enterprise est une solution de ChatOps privée qui offre des capacités d'IA conversationnelle sécurisées, personnalisables et gouvernées pour les organisations, avec support pour le RBAC, l'SSO, les connecteurs et les intégrations d'applications d'entreprise.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux gestionnaires de produits intermédiaires, aux responsables informatiques, aux ingénieurs solutions et aux équipes de sécurité/conformité qui souhaitent déployer, configurer et gouverner Le Chat Enterprise dans des environnements d'entreprise.
À la fin de cette formation, les participants seront en mesure de :
- Déployer et configurer Le Chat Enterprise de manière sécurisée.
- Activer le RBAC, l'SSO et les contrôles conformes à la réglementation.
- Intégrer Le Chat avec des applications et des magasins de données d'entreprise.
- Concevoir et mettre en œuvre des playbooks de gouvernance et d'administration pour le ChatOps.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Architectures Efficaces en Coûts pour les LLM : Mistral à l'Échelle (Performance / Ingénierie des Coûts)
14 HeuresMistral est une famille de modèles de langage de grande taille optimisés pour le déploiement en production à grande échelle et à moindre coût.
Cette formation dirigée par un instructeur (en ligne ou sur site) s'adresse aux ingénieurs d'infrastructure de niveau avancé, architectes cloud et responsables MLOps qui souhaitent concevoir, déployer et optimiser des architectures basées sur Mistral pour une performance maximale et des coûts minimisés.
À la fin de cette formation, les participants seront en mesure de :
- Mettre en œuvre des schémas de déploiement évolutifs pour Mistral Medium 3.
- Appliquer le batch processing, la quantification et des stratégies de service efficaces.
- Optimiser les coûts d'inférence tout en maintenant la performance.
- Concevoir des topologies de service prêtes pour la production pour des charges de travail d'entreprise.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion et présentation.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Productisation d'Assistants Conversationnels avec les Connecteurs et Intégrations Mistral
14 HeuresMistral AI est une plateforme d'IA ouverte qui permet aux équipes de créer et d'intégrer des assistants conversationnels dans les flux de travail destinés aux entreprises et aux clients.
Cette formation dirigée par un instructeur (en ligne ou sur site) s'adresse aux gestionnaires de produits, développeurs full-stack et ingénieurs d'intégration de niveau débutant à intermédiaire qui souhaitent concevoir, intégrer et commercialiser des assistants conversationnels en utilisant les connecteurs et les intégrations Mistral.
À la fin de cette formation, les participants seront capables de :
- Intégrer les modèles conversationnels Mistral avec des connecteurs d'entreprise et SaaS.
- Mettre en œuvre la génération augmentée par la récupération (RAG) pour des réponses fondées.
- Concevoir des modèles UX pour des assistants de chat internes et externes.
- Déployer les assistants dans des flux de travail de produits pour des cas d'utilisation réels.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion.
- Exercices pratiques d'intégration.
- Développement en laboratoire live d'assistants conversationnels.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Déploiements d'Entreprise avec Mistral Medium 3
14 HeuresMistral Medium 3 est un modèle de langage multimodal à grande échelle, performant et conçu pour une déployment d'entreprise dans divers environnements.
Cette formation dirigée par un instructeur (en ligne ou sur site) s'adresse aux ingénieurs AI/ML intermédiaires à avancés, aux architectes de plateforme et aux équipes MLOps qui souhaitent déployer, optimiser et sécuriser Mistral Medium 3 pour des cas d'utilisation d'entreprise.
À la fin de cette formation, les participants seront en mesure de :
- Déployer Mistral Medium 3 à l'aide d'options API et auto-hébergées.
- Optimiser les performances d'inférence et les coûts.
- Mettre en œuvre des cas d'utilisation multimodaux avec Mistral Medium 3.
- Appliquer les meilleures pratiques de sécurité et de conformité pour les environnements d'entreprise.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Mistral pour l'IA responsable : Confidentialité, résidence des données et contrôles d'entreprise
14 HeuresMistral AI est une plateforme d'IA ouverte et prête pour l'entreprise qui fournit des fonctionnalités pour le déploiement sécurisé, conforme et responsable de l'IA.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux chefs de conformité intermédiaires, aux architectes de sécurité et aux parties prenantes juridiques/opérations qui souhaitent mettre en œuvre des pratiques d'IA responsable avec Mistral en utilisant les mécanismes de confidentialité, de résidence des données et de contrôle d'entreprise.
À la fin de cette formation, les participants seront capables de :
- Mettre en œuvre des techniques de protection de la vie privée dans les déploiements Mistral.
- Appliquer des stratégies de résidence des données pour répondre aux exigences réglementaires.
- Configurer des contrôles d'entreprise de niveau entreprise tels que le contrôle d'accès basé sur les rôles (RBAC), l'authentification unique (SSO) et les journaux d'audit.
- Évaluer les options de fournisseurs et de déploiement pour s'aligner sur la conformité.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion.
- Études de cas et exercices axés sur la conformité.
- Mise en œuvre pratique des contrôles d'IA d'entreprise.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Applications Multimodales avec les Modèles Mistral (Vision, OCR et Compréhension Documentaire)
14 HeuresLes modèles Mistral sont des technologies d'IA open source qui s'étendent désormais aux flux de travail multimodaux, prenant en charge à la fois les tâches linguistiques et visuelles pour les applications d'entreprise et de recherche.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux chercheurs en ML intermédiaires, aux ingénieurs appliqués et aux équipes produits qui souhaitent construire des applications multimodales avec les modèles Mistral, y compris des pipelines d'OCR et de compréhension de documents.
À la fin de cette formation, les participants seront en mesure de :
- Mettre en place et configurer les modèles Mistral pour les tâches multimodales.
- Implémenter des workflows d'OCR et les intégrer aux pipelines NLP.
- Concevoir des applications de compréhension de documents pour des cas d'utilisation d'entreprise.
- Développer des fonctionnalités de recherche vision-texte et d'interface utilisateur assistive.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Exercices pratiques de codage.
- Mise en œuvre de pipelines multimodaux dans un laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
