Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Déploiement d'EXO hors ligne
- Utilisation de la variable d'environnement EXO_OFFLINE pour empêcher l'accès Internet au moment de l'exécution.
- Préchargement des modèles dans les répertoires EXO_MODELS_READ_ONLY_DIRS depuis des miroirs internes de confiance.
- Vérification de l'intégrité des poids des modèles à l'aide de sommes de contrôle SHA-256 et de cartes de modèle signées.
- Faire fonctionner EXO dans des réseaux segmentés sans dépendre de HuggingFace.
Contrôle d'accès au tableau de bord et à l'API
- Installation et configuration des serveurs proxy inverses (nginx, Caddy) avec terminaison TLS.
- Mise en place du contrôle d'accès basé sur les rôles pour le tableau de bord EXO et l'API REST.
- Utilisation du trousseau macOS ou de l'utilitaire pass sous Linux pour stocker les secrets nécessaires à l'authentification de l'API.
- Restriction des points de terminaison administratifs à des plages d'adresses IP source spécifiques.
Isolation des clusters et sécurité réseau
- Ségrégation des clusters EXO à l'aide de EXO_LIBP2P_NAMESPACE et de VLANs.
- Configuration des pare-feux hôte (pare-feu d'application macOS, iptables, nftables) pour les ports EXO.
- Prévention de la découverte non autorisée d'appareils et de l'injection de nœuds malveillants.
- Chiffrement du trafic libp2p entre les nœuds lorsque RDMA n'est pas disponible.
Gouvernance et provenance des modèles
- Création d'un registre de modèles interne avec des listes approuvées et des métadonnées.
- Étiquetage et versionnement des poids quantifiés (4 bits, 8 bits) ainsi que les points de contrôle source.
- Garantie qu'aucun dépôt HuggingFace ou artefact interne autre que ceux spécifiés ne peut être chargé.
- Documentation de la lignée du modèle, des conditions de licence et des politiques d'utilisation acceptable.
Journale audit et conformité
- Configuration du transfert des journaux EXO vers des pistes d'audit immuables (SIEM, stockage WORM).
- Corrélation des journaux d'appels d'API avec l'identité de l'utilisateur et l'horodatage.
- Capture des événements de création, de suppression et de demande d'inférence des instances de modèles.
- Génération de rapports périodiques de conformité pour les auditeurs internes et externes.
Modélisation des menaces et réponse aux incidents
- Identification des menaces : exfiltration de données via les sorties des modèles, injection d'invitations (prompts), fuites par canal latéral.
- Mise en place de pipelines de surveillance des invitations et de filtrage du contenu.
- Création de manuels de réponse aux incidents pour les scénarios de compromission des clusters.
- Isolation des nœuds affectés, préservation des journaux forensiques et reconstruire des environnements propres.
Sécurité physique et limites matérielles
- Sécurisation des ports Thunderbolt contre les connexions de câbles RDMA non autorisées.
- Utilisation d'enclaves sécurisées et de l'attestation matérielle Apple Silicon lorsque cela est applicable.
- Contrôle de l'accès physique aux Mac en cluster et au stockage partagé.
- Documentation du cycle de vie du matériel et des procédures de décommissionnement.
Considérations réglementaires
- Alignement des déploiements EXO sur les exigences RGPD, HIPAA et SOC 2.
- Maintien de la résidence des données en gardant l'inférence sur site.
- Documentation des risques liés à la chaîne d'approvisionnement des fournisseurs (MLX, EXO, poids des modèles).
- Préparation aux cadres de gouvernance de l'IA tels que l'article 53 du règlement européen sur l'IA.
Pré requis
- Expérience avec EXO ou un autre environnement d'exécution de LLM local.
- Compréhension des autorisations du système de fichiers Unix et des listes de contrôle d'accès (ACL) réseau.
- Connaissance de la gestion des certificats TLS/SSL et des bases du chiffrement.
Audience cible
- Ingénieurs en sécurité.
- Responsables de la conformité.
- Administrateurs d'infrastructure IA gérant des données sensibles.
14 Heures
Nos clients témoignent (1)
Le formateur avait une excellente connaissance de FortiGate et a bien transmis le contenu. Un grand merci à Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Formation - FortiGate 7.4 Administration
Traduction automatique