Prenez contact avec nous

Plan du cours

Déploiement d'EXO hors ligne

  • Utilisation d'EXO_OFFLINE pour empêcher l'accès internet au moment de l'exécution
  • Préchargement des modèles dans EXO_MODELS_READ_ONLY_DIRS à partir de miroirs internes de confiance
  • Vérification de l'intégrité des poids du modèle via des sommes de contrôle SHA-256 et des fiches de modèle signées
  • Exécution d'EXO dans des réseaux air-gapped sans dépendances à HuggingFace

Contrôle d'accès au tableau de bord et à l'API

  • Installation et configuration de reverse proxies (nginx, Caddy) avec terminaison TLS
  • Mise en œuvre d'un contrôle d'accès basé sur les rôles pour le tableau de bord EXO et l'API REST
  • Utilisation du trousseau macOS ou de Linux pass pour stocker les secrets d'authentification de l'API
  • Restriction des points de terminaison administratifs à des plages d'adresses IP source spécifiques

Isolation du cluster et sécurité réseau

  • Segmentation des clusters EXO avec EXO_LIBP2P_NAMESPACE et VLANs
  • Configuration des pare-feux hôtes (pare-feu d'application macOS, iptables, nftables) pour les ports EXO
  • Prévention de la découverte de dispositifs non autorisés et de l'injection de nœuds malveillants
  • Chiffrement du trafic libp2p entre les nœuds lorsque le RDMA n'est pas disponible

Gouvernance et traçabilité des modèles

  • Création d'un registre de modèles interne avec des listes de modèles approuvées et des métadonnées
  • Marquage et versionnage des poids quantifiés (4 bits, 8 bits) alongside les points de contrôle source
  • Imposition du chargement exclusif de dépôts HuggingFace spécifiques ou d'artefacts internes
  • Documentation de la lignée des modèles, des conditions de licence et des politiques d'utilisation acceptable

Journalisation d'audit et conformité

  • Configuration du transfert de journaux EXO vers des traces d'audit immuables (SIEM, stockage WORM)
  • Corrélation des journaux d'appels API avec l'identité de l'utilisateur et l'horodatage
  • Capture des événements de création, de suppression et de requête d'inférence d'instances de modèles
  • Génération de rapports de conformité périodiques pour les auditeurs internes et externes

Modélisation des menaces et réponse aux incidents

  • Identification des menaces : exfiltration de données via les sorties de modèles, injection de prompts, fuites par canal auxiliaire
  • Mise en œuvre de pipelines de surveillance des prompts et de filtrage de contenu
  • Création de procédures de réponse aux incidents pour les scénarios de compromission de cluster
  • Isolation des nœuds affectés, préservation des journaux forensiques et reconstruction d'environnements propres

Sécurité physique et limites matérielles

  • Sécurisation des ports Thunderbolt contre les connexions de câbles RDMA non autorisées
  • Utilisation d'enclaves sécurisées et d'attestation matérielle Apple Silicon lorsque cela est applicable
  • Contrôle de l'accès physique aux Mac en cluster et au stockage partagé
  • Documentation du cycle de vie du matériel et des procédures de mise hors service

Considérations réglementaires

  • Correspondance des déploiements EXO aux exigences GDPR, HIPAA et SOC 2
  • Maintien de la résidence des données en conservant l'inférence en locale
  • Documentation des risques de la chaîne d'approvisionnement des fournisseurs (MLX, EXO, poids des modèles)
  • Préparation aux cadres de gouvernance de l'IA tels que l'article 53 du règlement IA de l'UE

Pré requis

  • Expérience avec EXO ou un autre runtime de LLM local
  • Compréhension des permissions du système de fichiers Unix et des ACL réseau
  • Connaissance de la gestion des certificats TLS/SSL et des bases du chiffrement

Audience cible

  • Ingénieurs en sécurité
  • Responsables de la conformité
  • Administrateurs d'infrastructure IA gérant des données sensibles
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (1)

Cours à venir

Catégories Similaires