Prenez contact avec nous

Plan du cours

Déploiement d'EXO hors ligne

  • Utilisation de la variable d'environnement EXO_OFFLINE pour empêcher l'accès Internet au moment de l'exécution.
  • Préchargement des modèles dans les répertoires EXO_MODELS_READ_ONLY_DIRS depuis des miroirs internes de confiance.
  • Vérification de l'intégrité des poids des modèles à l'aide de sommes de contrôle SHA-256 et de cartes de modèle signées.
  • Faire fonctionner EXO dans des réseaux segmentés sans dépendre de HuggingFace.

Contrôle d'accès au tableau de bord et à l'API

  • Installation et configuration des serveurs proxy inverses (nginx, Caddy) avec terminaison TLS.
  • Mise en place du contrôle d'accès basé sur les rôles pour le tableau de bord EXO et l'API REST.
  • Utilisation du trousseau macOS ou de l'utilitaire pass sous Linux pour stocker les secrets nécessaires à l'authentification de l'API.
  • Restriction des points de terminaison administratifs à des plages d'adresses IP source spécifiques.

Isolation des clusters et sécurité réseau

  • Ségrégation des clusters EXO à l'aide de EXO_LIBP2P_NAMESPACE et de VLANs.
  • Configuration des pare-feux hôte (pare-feu d'application macOS, iptables, nftables) pour les ports EXO.
  • Prévention de la découverte non autorisée d'appareils et de l'injection de nœuds malveillants.
  • Chiffrement du trafic libp2p entre les nœuds lorsque RDMA n'est pas disponible.

Gouvernance et provenance des modèles

  • Création d'un registre de modèles interne avec des listes approuvées et des métadonnées.
  • Étiquetage et versionnement des poids quantifiés (4 bits, 8 bits) ainsi que les points de contrôle source.
  • Garantie qu'aucun dépôt HuggingFace ou artefact interne autre que ceux spécifiés ne peut être chargé.
  • Documentation de la lignée du modèle, des conditions de licence et des politiques d'utilisation acceptable.

Journale audit et conformité

  • Configuration du transfert des journaux EXO vers des pistes d'audit immuables (SIEM, stockage WORM).
  • Corrélation des journaux d'appels d'API avec l'identité de l'utilisateur et l'horodatage.
  • Capture des événements de création, de suppression et de demande d'inférence des instances de modèles.
  • Génération de rapports périodiques de conformité pour les auditeurs internes et externes.

Modélisation des menaces et réponse aux incidents

  • Identification des menaces : exfiltration de données via les sorties des modèles, injection d'invitations (prompts), fuites par canal latéral.
  • Mise en place de pipelines de surveillance des invitations et de filtrage du contenu.
  • Création de manuels de réponse aux incidents pour les scénarios de compromission des clusters.
  • Isolation des nœuds affectés, préservation des journaux forensiques et reconstruire des environnements propres.

Sécurité physique et limites matérielles

  • Sécurisation des ports Thunderbolt contre les connexions de câbles RDMA non autorisées.
  • Utilisation d'enclaves sécurisées et de l'attestation matérielle Apple Silicon lorsque cela est applicable.
  • Contrôle de l'accès physique aux Mac en cluster et au stockage partagé.
  • Documentation du cycle de vie du matériel et des procédures de décommissionnement.

Considérations réglementaires

  • Alignement des déploiements EXO sur les exigences RGPD, HIPAA et SOC 2.
  • Maintien de la résidence des données en gardant l'inférence sur site.
  • Documentation des risques liés à la chaîne d'approvisionnement des fournisseurs (MLX, EXO, poids des modèles).
  • Préparation aux cadres de gouvernance de l'IA tels que l'article 53 du règlement européen sur l'IA.

Pré requis

  • Expérience avec EXO ou un autre environnement d'exécution de LLM local.
  • Compréhension des autorisations du système de fichiers Unix et des listes de contrôle d'accès (ACL) réseau.
  • Connaissance de la gestion des certificats TLS/SSL et des bases du chiffrement.

Audience cible

  • Ingénieurs en sécurité.
  • Responsables de la conformité.
  • Administrateurs d'infrastructure IA gérant des données sensibles.
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (1)

Cours à venir

Catégories Similaires