Plan du cours
Fondamentaux du déploiement hybride de l'IA
- Compréhension des modèles de déploiement hybrides, cloud et edge
- Caractéristiques des charges de travail d'IA et contraintes d'infrastructure
- Choix de la topologie de déploiement appropriée
Conteneurisation des charges de travail d'IA avec Docker
- Construction de conteneurs d'inférence GPU et CPU
- Gestion d'images et de registres sécurisés
- Implémentation d'environnements reproductibles pour l'IA
Déploiement de services d'IA dans des environnements cloud
- Exécution de l'inférence sur AWS, Azure et GCP via Docker
- Provisionnement de la puissance de calcul cloud pour le service de modèles
- Sécurisation des points de terminaison IA basés sur le cloud
Techniques de déploiement Edge et On-Prem
- Exécution de l'IA sur des appareils IoT, des passerelles et des microserveurs
- Temps d'exécution légers pour les environnements edge
- Gestion de la connectivité intermittente et de la persistance locale
Réseautage hybride et connectivité sécurisée
- Tunnels sécurisés entre l'edge et le cloud
- Certificats, secrets et accès basé sur des jetons
- Optimisation des performances pour une inférence à faible latence
Orchestration des déploiements d'IA distribués
- Utilisation de K3s, K8s ou d'orchestration légère pour des configurations hybrides
- Découverte de services et planification des charges de travail
- Automatisation des stratégies de déploiement multi-sites
Surveillance et observabilité entre les environnements
- Suivi des performances d'inférence à travers les sites
- Journalisation centralisée pour les systèmes d'IA hybrides
- Détection des pannes et récupération automatisée
Mise à l'échelle et optimisation des systèmes d'IA hybrides
- Mise à l'échelle des clusters edge et des nœuds cloud
- Optimisation de l'utilisation de la bande passante et de la mise en cache
- Équilibrage des charges de calcul entre le cloud et l'edge
Synthèse et prochaines étapes
Pré requis
- Une compréhension des concepts de conteneurisation
- Une expérience avec les opérations de ligne de commande Linux
- Une connaissance des flux de travail de déploiement de modèles d'IA
Public cible
- Architectes d'infrastructure
- Ingénieurs de la fiabilité des sites (SRE)
- Développeurs edge et IoT
Nos clients témoignent (2)
Comme je l'ai mentionné précédemment, pour quelqu'un comme moi (sans aucune expérience), cela a été une porte d'entrée pour comprendre les fonctionnalités et les capacités de ces programmes/outils, etc.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Formation - Docker and Kubernetes
Traduction automatique
programme de formation structuré et organisé en plusieurs niveaux.
Bert Paelinckx - Cube SoftwareSolutions
Formation - Introduction to Docker
Traduction automatique