Plan du cours
Jour 1 : Fondamentaux et menaces principales
Module 1 : Introduction au projet OWASP GenAI Security (1 heure)
Objectifs d'apprentissage :
- Comprendre l'évolution de l'OWASP Top 10 vers les défis de sécurité spécifiques à l'IA générative
- Explorer l'écosystème et les ressources du projet OWASP GenAI Security
- Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité de l'IA
Sujets abordés :
- Aperçu de la mission et de la portée du projet OWASP GenAI Security
- Introduction au cadre Threat Defense COMPASS
- Compréhension du paysage de la sécurité de l'IA et des exigences réglementaires
- Les surfaces d'attaque de l'IA par rapport aux vulnérabilités des applications web traditionnelles
Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces
Module 2 : OWASP Top 10 pour les LLM - Partie 1 (2,5 heures)
Objectifs d'apprentissage :
- Maîtriser les cinq premières vulnérabilités critiques des LLM
- Comprendre les vecteurs d'attaque et les techniques d'exploitation
- Appliquer des stratégies d'atténuation pratiques
Sujets abordés :
LLM01 : Injection de prompt
- Techniques d'injection de prompt directe et indirecte
- Attaques par instructions cachées et contamination croisée des prompts
- Exemples pratiques : Jailbreaking de chatbots et contournement des mesures de sécurité
- Stratégies de défense : Sanitisation des entrées, filtrage des prompts, confidentialité différentielle
LLM02 : Divulgation d'informations sensibles
- Extraction des données d'entraînement et fuite du prompt système
- Analyse du comportement du modèle pour l'exposition d'informations sensibles
- Implications en matière de confidentialité et considérations de conformité réglementaire
- Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données
LLM03 : Vulnérabilités de la chaîne d'approvisionnement
- Dépendances aux modèles tiers et sécurité des plugins
- Jeux de données d'entraînement compromis et empoisonnement de modèles
- Évaluation des risques des fournisseurs pour les composants d'IA
- Pratiques de déploiement sécurisé des modèles et de vérification
Exercice pratique : Laboratoire pratique démontrant des attaques d'injection de prompt contre des applications LLM vulnérables et la mise en œuvre de mesures défensives
Module 3 : OWASP Top 10 pour les LLM - Partie 2 (2 heures)
Sujets abordés :
LLM04 : Empoisonnement des données et des modèles
- Techniques de manipulation des données d'entraînement
- Modification du comportement du modèle par des entrées empoisonnées
- Attaques par porte dérobée et vérification de l'intégrité des données
- Prévention : Pipelines de validation des données, traçabilité de la provenance
LLM05 : Gestion incorrecte des sorties
- Traitement non sécurisé du contenu généré par les LLM
- Injection de code par les sorties générées par l'IA
- Cross-Site Scripting (XSS) via les réponses de l'IA
- Cadres de validation et de sanitisation des sorties
Exercice pratique : Simulation d'attaques par empoisonnement de données et mise en œuvre de mécanismes robustes de validation des sorties
Module 4 : Menaces avancées des LLM (1,5 heure)
Sujets abordés :
LLM06 : Agence excessive
- Risques de prise de décision autonome et violations des limites
- Gestion de l'autorité et des permissions des agents
- Interactions système non intentionnelles et élévation de privilèges
- Mise en œuvre de garde-fous et de contrôles de supervision humaine
LLM07 : Fuite du prompt système
- Vulnérabilités d'exposition des instructions système
- Divulgation d'identifiants et de logique par les prompts
- Techniques d'attaque pour extraire les prompts système
- Sécurisation des instructions système et de la configuration externe
Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès et une surveillance appropriés
Jour 2 : Menaces avancées et mise en œuvre
Module 5 : Menaces émergentes de l'IA (2 heures)
Objectifs d'apprentissage :
- Comprendre les menaces de sécurité de l'IA de pointe
- Mettre en œuvre des techniques avancées de détection et de prévention
- Concevoir des systèmes d'IA résilients face aux attaques sophistiquées
Sujets abordés :
LLM08 : Faiblesses des vecteurs et des embeddings
- Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles
- Empoisonnement des embeddings et attaques de manipulation de similarité
- Exemples adverses dans la recherche sémantique
- Sécurisation des entrepôts de vecteurs et mise en œuvre de détection d'anomalies
LLM09 : Désinformation et fiabilité des modèles
- Détection et atténuation des hallucinations
- Amplification des biais et considérations d'équité
- Mécanismes de vérification des faits et des sources
- Validation du contenu et intégration de la supervision humaine
LLM10 : Consommation non bornée
- Épuisement des ressources et attaques par déni de service
- Stratégies de limitation du débit et de gestion des ressources
- Optimisation des coûts et contrôles budgétaires
- Systèmes de surveillance des performances et d'alerte
Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations
Module 6 : Sécurité de l'IA agentic (2 heures)
Objectifs d'apprentissage :
- Comprendre les défis de sécurité uniques des agents d'IA autonomes
- Appliquer la taxonomie OWASP de l'IA agentic aux systèmes réels
- Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents
Sujets abordés :
- Introduction à l'IA agentic et aux systèmes autonomes
- Taxonomie des menaces OWASP de l'IA agentic : Conception de l'agent, mémoire, planification, utilisation des outils, déploiement
- Sécurité des systèmes multi-agents et risques de coordination
- Attaques par mauvaise utilisation des outils, empoisonnement de la mémoire et détournement des objectifs
- Sécurisation de la communication entre agents et des processus de prise de décision
Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP de l'IA agentic sur un système de service client multi-agents
Module 7 : Mise en œuvre d'OWASP Threat Defense COMPASS (2 heures)
Objectifs d'apprentissage :
- Maîtriser l'application pratique de Threat Defense COMPASS
- Intégrer l'évaluation des menaces liées à l'IA dans les programmes de sécurité organisationnels
- Développer des stratégies complètes de gestion des risques liés à l'IA
Sujets abordés :
- Analyse approfondie de la méthodologie Threat Defense COMPASS
- Intégration de la boucle OODA : Observer, Orienter, Décider, Agir
- Mappage des menaces aux cadres MITRE ATT&CK et ATLAS
- Création de tableaux de bord de stratégie de résilience aux menaces liées à l'IA
- Intégration avec les outils et processus de sécurité existants
Exercice pratique : Évaluation complète des menaces à l'aide de COMPASS pour un scénario de déploiement de Microsoft Copilot
Module 8 : Mise en œuvre pratique et bonnes pratiques (2,5 heures)
Objectifs d'apprentissage :
- Concevoir des architectures d'IA sécurisées dès la base
- Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes d'IA
- Créer des cadres de gouvernance pour la sécurité de l'IA
Sujets abordés :
Cycle de développement sécurisé de l'IA :
- Principes de sécurité dès la conception pour les applications d'IA
- Pratiques de révision de code pour les intégrations LLM
- Méthodologies de test et analyse de vulnérabilités
- Sécurité du déploiement et durcissement de la production
Surveillance et détection :
- Exigences de journalisation et de surveillance spécifiques à l'IA
- Détection d'anomalies pour les systèmes d'IA
- Procédures de réponse aux incidents pour les événements de sécurité de l'IA
- Techniques de forensic et d'enquête
Gouvernance et conformité :
- Cadres et politiques de gestion des risques liés à l'IA
- Considérations de conformité réglementaire (RGPD, AI Act, etc.)
- Évaluation des risques tiers pour les fournisseurs d'IA
- Formation à la sensibilisation à la sécurité pour les équipes de développement d'IA
Exercice pratique : Concevoir une architecture de sécurité complète pour un chatbot d'entreprise incluant la surveillance, la gouvernance et les procédures de réponse aux incidents
Module 9 : Outils et technologies (1 heure)
Objectifs d'apprentissage :
- Évaluer et mettre en œuvre des outils de sécurité de l'IA
- Comprendre le paysage actuel des solutions de sécurité de l'IA
- Développer des capacités pratiques de détection et de prévention
Sujets abordés :
- Écosystème d'outils de sécurité de l'IA et paysage des fournisseurs
- Outils de sécurité open-source : Garak, PyRIT, Giskard
- Solutions commerciales pour la sécurité et la surveillance de l'IA
- Modèles d'intégration et stratégies de déploiement
- Critères de sélection des outils et cadres d'évaluation
Exercice pratique : Démonstration pratique des outils de test de sécurité de l'IA et planification de la mise en œuvre
Module 10 : Tendances futures et conclusion (1 heure)
Objectifs d'apprentissage :
- Comprendre les menaces émergentes et les futurs défis de sécurité
- Développer des stratégies d'apprentissage continu et d'amélioration
- Créer des plans d'action pour les programmes de sécurité de l'IA organisationnels
Sujets abordés :
- Menaces émergentes : deepfakes, injection de prompt avancée, inversion de modèle
- Développements futurs du projet OWASP GenAI et feuille de route
- Création de communautés de sécurité de l'IA et partage des connaissances
- Amélioration continue et intégration du renseignement sur les menaces
Exercice de planification de l'action : Élaborer un plan d'action à 90 jours pour la mise en œuvre des pratiques de sécurité OWASP GenAI dans les organisations des participants
Pré requis
- Compréhension générale des principes de sécurité des applications web
- Connaissance de base des concepts d'IA/ML
- Expérience avec les cadres de sécurité ou les méthodologies d'évaluation des risques (privilégiée)
Audience
- Professionnels de la cybersécurité
- Développeurs d'IA
- Architectes système
- Agents de conformité
- Praticiens en sécurité
Nos clients témoignent (1)
J'ai vraiment apprécié d'apprendre sur les attaques par IA et les outils disponibles pour commencer à pratiquer et à utiliser activement pour les tests de sécurité. J'ai acquis beaucoup de connaissances que je n'avais pas au début, et le cours a répondu à mes attentes. Ma partie préférée de la formation était le navigateur Comet, et j'ai été impressionné par ce qu'il pouvait faire. C'est assurément quelque chose que je vais explorer davantage. Globalement, c'était un excellent cours et j'ai beaucoup apprécié d'apprendre le Top 10 OWASP GenAI.
Patrick Collins - Optum
Formation - OWASP GenAI Security
Traduction automatique