Plan du cours
Jour 1 : Fondements et Menaces Principales
Module 1 : Introduction au projet OWASP GenAI Security (1 heure)
Objectifs d'apprentissage :
- Comprendre l'évolution des défis de sécurité de l'IA par rapport à OWASP Top 10
- Explorer l'écosystème et les ressources du projet OWASP GenAI Security
- Identifier les principales différences entre la sécurité des applications traditionnelles et celle de l'IA
Sujets abordés :
- Aperçu de la mission et de la portée du projet OWASP GenAI Security
- Introduction à la méthodologie Threat Defense COMPASS
- Compréhension du paysage de sécurité de l'IA et des exigences réglementaires
- Surfaces d'attaque de l'IA versus vulnérabilités traditionnelles des applications web
Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces
Module 2 : OWASP Top 10 pour les LLMs - Partie 1 (2,5 heures)
Objectifs d'apprentissage :
- Maîtriser les cinq premières vulnérabilités LLM critiques
- Comprendre les vecteurs d'attaque et les techniques d'exploitation
- Appliquer des stratégies de mitigation pratiques
Sujets abordés :
LLM01 : Injection de prompt
- Techniques d'injection directe et indirecte de prompts
- Attaques par instructions cachées et contamination croisée des prompts
- Exemples pratiques : Jailbreaking de chatbots et contournement des mesures de sécurité
- Stratégies de défense : Sanitisation des entrées, filtrage des prompts, confidentialité différentielle
LLM02 : Divulgation d'informations sensibles
- Extraction de données d'entraînement et fuite des prompts système
- Analyse du comportement du modèle pour l'exposition d'informations sensibles
- Implications de la vie privée et considérations réglementaires
- Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données
LLM03 : Vulnérabilités de la chaîne d'approvisionnement
- Dépendances de modèles tiers et sécurité des plugins
- Données d'entraînement compromises et empoisonnement du modèle
- Évaluation des risques liés aux fournisseurs pour les composants d'IA
- Pratiques de déploiement sécurisé et de vérification du modèle
Exercice pratique : Laboratoire pratique démontrant des attaques d'injection de prompts contre des applications LLM vulnérables et mise en œuvre de mesures défensives
Module 3 : OWASP Top 10 pour les LLMs - Partie 2 (2 heures)
Sujets abordés :
LLM04 : Emprisonnement de données et empoisonnement du modèle
- Techniques de manipulation des données d'entraînement
- Modification du comportement du modèle par des entrées empoisonnées
- Attaques de porte dérobée et vérification de l'intégrité des données
- Prévention : Pipelines de validation des données, suivi de la provenance
LLM05 : Gestion incorrecte des sorties
- Traitement non sécurisé du contenu généré par les LLM
- Injection de code via les sorties générées par l'IA
- Scripting entre sites via les réponses d'IA
- Cadres de validation et sanitisation des sorties
Exercice pratique : Simulation d'attaques d'empoisonnement de données et mise en œuvre de mécanismes de validation robuste des sorties
Module 4 : Menaces avancées pour les LLM (1,5 heure)
Sujets abordés :
LLM06 : Excessive agence
- Risques liés aux décisions autonomes et violations de limites
- Gestion des autorisations et des permissions d'agents
- Interactions systématiques non prévues et escalade de privilèges
- Mise en place de garde-fous et contrôles d'encadrement humain
LLM07 : Fuite des prompts système
- Vulnérabilités d'exposition des instructions systèmes
- Divulgation de credentials et de logique via les prompts
- Techniques d'attaque pour extraire les prompts système
- Sécurisation des instructions systèmes et configuration externe
Exercice pratique : Conception d'architectures d'agents sécurisées avec contrôles d'accès appropriés et surveillance
Jour 2 : Menaces avancées et mise en œuvre
Module 5 : Menaces émergentes de l'IA (2 heures)
Objectifs d'apprentissage :
- Comprendre les menaces de sécurité de pointe en IA
- Mettre en œuvre des techniques avancées de détection et de prévention
- Concevoir des systèmes d'IA résilients face aux attaques sophistiquées
Sujets abordés :
LLM08 : Faiblesses des vecteurs et des embeddings
- Vulnérabilités du système RAG et sécurité des bases de données vectorielles
- Empoisonnement des embeddings et attaques de manipulation de similarité
- Exemples adverses dans la recherche sémantique
- Sécurisation des magasins vectoriels et mise en œuvre de la détection d'anomalies
LLM09 : Désinformation et fiabilité du modèle
- Détection et atténuation des hallucinations
- Amplification du biais et considérations d'équité
- Mécanismes de vérification des faits et des sources
- Validation du contenu et intégration de l'encadrement humain
LLM10 : Consommation non limitée
- Épuisement des ressources et attaques par déni de service
- Stratégies de limitation du taux et de gestion des ressources
- Optimisation des coûts et contrôles budgétaires
- Surveillance des performances et systèmes d'alerte
Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection d'hallucinations
Module 6 : Sécurité des IA agente (2 heures)
Objectifs d'apprentissage :
- Comprendre les défis de sécurité uniques des agents IA autonomes
- Appliquer la taxonomie OWASP Agentic AI à des systèmes réels
- Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents
Sujets abordés :
- Introduction aux IA agentes et systèmes autonomes
- Taxonomie des menaces OWASP Agentic AI : Conception d'agents, mémoire, planification, utilisation d'outils, déploiement
- Sécurité des systèmes multi-agents et risques de coordination
- Utilisation abusive d'outils, empoisonnement de la mémoire, détournement d'objectifs
- Sécurisation des communications et processus de prise de décision des agents
Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP Agentic AI sur un système multi-agents de service client
Module 7 : Mise en œuvre de Threat Defense COMPASS (2 heures)
Objectifs d'apprentissage :
- Maîtriser l'application pratique de Threat Defense COMPASS
- Intégrer l'évaluation des menaces liées à l'IA dans les programmes de sécurité organisationnels
- Développer des stratégies globales de gestion des risques d'IA
Sujets abordés :
- Plongée approfondie dans la méthodologie Threat Defense COMPASS
- Intégration de la boucle OODA : Observe, Oriente, Décide, Agit
- Mappage des menaces aux cadres MITRE ATT&CK et ATLAS
- Construction de tableaux de bord de résilience aux menaces d'IA
- Intégration avec les outils et processus de sécurité existants
Exercice pratique : Évaluation complète des menaces à l'aide de COMPASS pour un scénario de déploiement de Microsoft Copilot
Module 8 : Mise en œuvre et bonnes pratiques (2,5 heures)
Objectifs d'apprentissage :
- Concevoir des architectures d'IA sécurisées dès le début
- Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes d'IA
- Créer des cadres de gouvernance pour la sécurité de l'IA
Sujets abordés :
Cycle de développement sécurisé d'IA :
- Principes de sécurité-by-design pour les applications IA
- Pratiques de revue de code pour les intégrations LLM
- Méthodologies de test et de détection des vulnérabilités
- Sécurisation du déploiement et durcissement en production
Surveillance et détection :
- Exigences de journalisation et de surveillance spécifiques à l'IA
- Détection d'anomalies pour les systèmes d'IA
- Procédures de réponse aux incidents liés à la sécurité de l'IA
- Techniques de forensic et d'enquête
Gouvernance et conformité :
- Cadres et politiques de gestion des risques liés à l'IA
- Considérations de conformité réglementaire (RGPD, Règlement sur l'IA, etc.)
- Évaluation des risques liés aux tiers pour les fournisseurs d'IA
- Formation à la sécurité de l'IA pour les équipes de développement IA
Exercice pratique : Conception d'une architecture de sécurité complète pour un chatbot d'entreprise d'IA, y compris la surveillance, la gouvernance et les procédures de réponse aux incidents
Module 9 : Outils et technologies (1 heure)
Objectifs d'apprentissage :
- Évaluer et mettre en œuvre des outils de sécurité pour l'IA
- Comprendre le paysage actuel des solutions de sécurité de l'IA
- Construire des capacités pratiques de détection et de prévention
Sujets abordés :
- Écosystème des outils de sécurité de l'IA et paysage des fournisseurs
- Outils open-source de sécurité : Garak, PyRIT, Giskard
- Solutions commerciales pour la sécurité et la surveillance de l'IA
- Modèles d'intégration et stratégies de déploiement
- Critères de sélection des outils et cadres d'évaluation
Exercice pratique : Démonstration pratique des outils de test de sécurité pour l'IA et planification de la mise en œuvre
Module 10 : Tendances futures et conclusion (1 heure)
Objectifs d'apprentissage :
- Comprendre les menaces émergentes et les défis de sécurité futurs
- Développer des stratégies d'apprentissage continu et d'amélioration
- Créer des plans d'action pour les programmes de sécurité de l'IA dans l'organisation
Sujets abordés :
- Menaces émergentes : Deepfakes, injection de prompts avancée, inversion des modèles
- Développements futurs du projet OWASP GenAI et feuille de route
- Construction de communautés de sécurité de l'IA et partage des connaissances
- Amélioration continue et intégration de l'intelligence des menaces
Exercice de planification d'action : Développer un plan d'action sur 90 jours pour la mise en œuvre des pratiques de sécurité OWASP GenAI dans les organisations des participants
Pré requis
- Compréhension générale des principes de sécurité des applications web
- Familiarité de base avec les concepts d'IA/ML
- Expérience avec des cadres de sécurité ou des méthodologies d'évaluation des risques souhaitée
Public cible
- Professionnels de la cybersécurité
- Développeurs d'IA
- Architectes système
- Officiers de conformité
- Praticiens de la sécurité
Nos clients témoignent (1)
J'ai vraiment apprécié d'apprendre sur les attaques par IA et les outils disponibles pour commencer à pratiquer et à utiliser activement pour les tests de sécurité. J'ai acquis beaucoup de connaissances que je n'avais pas au début, et le cours a répondu à mes attentes. Ma partie préférée de la formation était le navigateur Comet, et j'ai été impressionné par ce qu'il pouvait faire. C'est assurément quelque chose que je vais explorer davantage. Globalement, c'était un excellent cours et j'ai beaucoup apprécié d'apprendre le Top 10 OWASP GenAI.
Patrick Collins - Optum
Formation - OWASP GenAI Security
Traduction automatique