Prenez contact avec nous

Plan du cours

Déploiement EXO hors ligne

  • Utilisation de EXO_OFFLINE pour empêcher l'accès internet du runtime.
  • Préchargement des modèles dans EXO_MODELS_READ_ONLY_DIRS depuis des miroirs internes de confiance.
  • Vérification de l'intégrité des poids des modèles à l'aide de sommes de contrôle SHA-256 et de fiches modèles signées.
  • Exécution d'EXO sur des réseaux en mode aérospatial (air-gapped) sans dépendances HuggingFace.

Contrôle d'accès au tableau de bord et à l'API

  • Installation et configuration de proxies inverses (nginx, Caddy) avec terminaison TLS.
  • Mise en œuvre du contrôle d'accès basé sur les rôles pour le tableau de bord EXO et l'API REST.
  • Utilisation du trousseau macOS ou de Linux pass pour stocker les secrets d'authentification API.
  • Restriction des points de terminaison administratifs à des plages d'adresses IP source spécifiques.

Isolation des clusters et sécurité réseau

  • Segmentation des clusters EXO avec EXO_LIBP2P_NAMESPACE et VLANs.
  • Configuration des pare-feux hôtes (pare-feu applicatif macOS, iptables, nftables) pour les ports EXO.
  • Prévention de la découverte de dispositifs non autorisés et de l'injection de nœuds malveillants.
  • Chiffrement du trafic libp2p entre les nœuds lorsque RDMA n'est pas disponible.

Gouvernance des modèles et provenance

  • Construction d'un registre de modèles interne avec des listes de modèles approuvés et des métadonnées.
  • Étiquetage et versionnement des poids quantifiés (4-bit, 8-bit) ainsi que des points de contrôle sources.
  • Imposition du chargement uniquement depuis des dépôts HuggingFace spécifiques ou des artefacts internes.
  • Documentation de la lignée des modèles, des conditions de licence et des politiques d'utilisation acceptable.

Journalisation de l'audit et conformité

\r
  • Configuration du transfert des logs EXO vers des traces d'audit immuables (SIEM, stockage WORM).
  • Corrélation des journaux d'appels API avec l'identité de l'utilisateur et l'horodatage.
  • Capture des événements de création, suppression et demande d'inférence des instances de modèles.
  • Génération de rapports de conformité périodiques pour les auditeurs internes et externes.

Modélisation des menaces et réponse aux incidents

  • Identification des menaces : exfiltration de données via les sorties de modèles, injection de prompts, fuites par canaux auxiliaires.
  • Mise en œuvre de pipelines de surveillance des prompts et de filtrage du contenu.
  • Création de manuels de réponse aux incidents pour les scénarios de compromission des clusters.
  • Isolation des nœuds concernés, préservation des journaux forensiques et reconstruction d'environnements propres.

Sécurité physique et limites matérielles

  • Sécurisation des ports Thunderbolt contre les connexions de câbles RDMA non autorisées.
  • Utilisation d'enceintes sécurisées (secure enclaves) et d'attestation matérielle Apple Silicon lorsque cela est applicable.
  • Contrôle de l'accès physique aux Macs en cluster et au stockage partagé.
  • Documentation du cycle de vie du matériel et des procédures de mise hors service.

Considérations réglementaires

  • Mappage des déploiements EXO aux exigences GDPR, HIPAA et SOC 2.
  • Maintenir la résidence des données en conservant l'inférence sur site.
  • Documenter les risques de la chaîne d'approvisionnement des fournisseurs (MLX, EXO, poids des modèles).
  • Se préparer aux cadres de gouvernance de l'IA tels que l'article 53 du règlement européen sur l'IA.

Pré requis

  • Expérience avec EXO ou un autre runtime LLM local.
  • Compréhension des permissions du système de fichiers Unix et des ACLs réseau.
  • Maîtrise de la gestion des certificats TLS/SSL et des bases du chiffrement.

Audience cible

  • Ingénieurs en sécurité.
  • Responsables de la conformité.
  • Administrateurs d'infrastructure IA gérant des données sensibles.
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (1)

Cours à venir

Catégories Similaires