Formation Sécurité OWASP GenAI

Jour 1 : Fondements et menaces essentielles

Module 1 : Introduction au projet OWASP GenAI Security (1 heure)

Objectifs d'apprentissage :

• Comprendre l'évolution des 10 principaux risques de l'OWASP vers les défis de sécurité spécifiques à l'IA générative
• Explorer l'écosystème et les ressources du projet OWASP GenAI Security
• Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité de l'IA

Sujets abordés :

• Aperçu de la mission et du champ d'application du projet OWASP GenAI Security
• Introduction au cadre Threat Defense COMPASS
• Comprendre le paysage de la sécurité de l'IA et les exigences réglementaires
• Surfaces d'attaque de l'IA par rapport aux vulnérabilités des applications web traditionnelles

Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces

Module 2 : Les 10 principaux risques pour les LLM - Partie 1 (2,5 heures)

Objectifs d'apprentissage :

• Maîtriser les cinq vulnérabilités LLM critiques
• Comprendre les vecteurs d'attaque et les techniques d'exploitation
• Appliquer des stratégies d'atténuation pratiques

Sujets abordés :

LLM01 : Injection de prompt

• Techniques d'injection de prompt directes et indirectes
• Attaques d'instructions cachées et contamination croisée des prompts
• Exemples pratiques : Jailbreaking de chatbots et contournement des mesures de sécurité
• Stratégies de défense : Assainissement des entrées, filtrage des prompts, confidentialité différentielle

LLM02 : Divulgation d'informations sensibles

• Extraction de données d'entraînement et fuite de prompts système
• Analyse du comportement du modèle pour l'exposition d'informations sensibles
• Implications pour la vie privée et considérations de conformité réglementaire
• Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données

LLM03 : Vulnérabilités de la chaîne d'approvisionnement

• Dépendances aux modèles de tierces parties et sécurité des plugins
• Ensembles de données d'entraînement compromis et empoisonnement des modèles
• Évaluation des risques des fournisseurs pour les composants d'IA
• Pratiques sécurisées de déploiement et de vérification des modèles

Exercice pratique : Laboratoire pratique démontrant les attaques d'injection de prompt contre des applications LLM vulnérables et la mise en œuvre de mesures défensives

Module 3 : Les 10 principaux risques pour les LLM - Partie 2 (2 heures)

Sujets abordés :

LLM04 : Empoisonnement des données et des modèles

• Techniques de manipulation des données d'entraînement
• Modification du comportement du modèle par des entrées empoisonnées
• Attaques par portes dérobées et vérification de l'intégrité des données
• Prévention : Pipelines de validation des données, suivi de la provenance

LLM05 : Gestion inappropriée des sorties

• Traitement non sécurisé du contenu généré par le LLM
• Injection de code par le biais de sorties générées par l'IA
• Scripting inter-sites via des réponses d'IA
• Cadres de validation et d'assainissement des sorties

Exercice pratique : Simulation d'attaques d'empoisonnement de données et mise en œuvre de mécanismes de validation des sorties robustes

Module 4 : Menaces avancées pour les LLM (1,5 heure)

Sujets abordés :

LLM06 : Agence excessive

• Risques de prise de décision autonome et violations de limites
• Autorité et gestion des permissions des agents
• Interactions système inattendues et élévation des privilèges
• Mise en œuvre de garde-fous et de contrôles de supervision humaine

LLM07 : Fuite de prompts système

• Vulnérabilités d'exposition des instructions système
• Divulgation d'identifiants et de logique par le biais de prompts
• Techniques d'attaque pour extraire les prompts système
• Sécurisation des instructions système et de la configuration externe

Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès et de surveillance appropriés

Jour 2 : Menaces avancées et mise en œuvre

Module 5 : Menaces émergentes de l'IA (2 heures)

Objectifs d'apprentissage :

• Comprendre les menaces de sécurité de pointe en matière d'IA
• Mettre en œuvre des techniques avancées de détection et de prévention
• Concevoir des systèmes d'IA résilients face aux attaques sophistiquées

Sujets abordés :

LLM08 : Faiblesses des vecteurs et des embeddings

• Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles
• Empoisonnement des embeddings et attaques de manipulation de la similarité
• Exemples adverses dans la recherche sémantique
• Sécurisation des dépôts vectoriels et mise en œuvre de la détection d'anomalies

LLM09 : Désinformation et fiabilité des modèles

• Détection et atténuation des hallucinations
• Amplification des biais et considérations d'équité
• Mécanismes de vérification des faits et de validation des sources
• Validation du contenu et intégration de la supervision humaine

LLM10 : Consommation illimitée

• Épuisement des ressources et attaques par déni de service
• Stratégies de limitation de débit et de gestion des ressources
• Optimisation des coûts et contrôles budgétaires
• Systèmes de surveillance des performances et d'alerte

Exercice pratique : Création d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations

Module 6 : Sécurité de l'IA agentique (2 heures)

Objectifs d'apprentissage :

• Comprendre les défis de sécurité uniques des agents d'IA autonomes
• Appliquer la taxonomie OWASP Agentic AI à des systèmes réels
• Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents

Sujets abordés :

• Introduction à l'IA agentique et aux systèmes autonomes
• Taxonomie des menaces OWASP Agentic AI : Conception de l'agent, Mémoire, Planification, Utilisation d'outils, Déploiement
• Sécurité des systèmes multi-agents et risques de coordination
• Attaques par mauvaise utilisation des outils, empoisonnement de la mémoire et détournement des objectifs
• Sécurisation de la communication et des processus de prise de décision des agents

Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP Agentic AI sur un système de service client multi-agents

Module 7 : Mise en œuvre de l'OWASP Threat Defense COMPASS (2 heures)

Objectifs d'apprentissage :

• Maîtriser l'application pratique du Threat Defense COMPASS
• Intégrer l'évaluation des menaces liées à l'IA dans les programmes de sécurité organisationnels
• Développer des stratégies complètes de gestion des risques de l'IA

Sujets abordés :

• Approfondissement de la méthodologie Threat Defense COMPASS
• Intégration de la boucle OODA : Observer, S'orienter, Décider, Agir
• Cartographie des menaces aux cadres MITRE ATT&CK et ATLAS
• Création de tableaux de bord de stratégie de résilience aux menaces de l'IA
• Intégration avec les outils et processus de sécurité existants

Exercice pratique : Évaluation complète des menaces à l'aide de COMPASS pour un scénario de déploiement de Microsoft Copilot

Module 8 : Mise en œuvre pratique et bonnes pratiques (2,5 heures)

Objectifs d'apprentissage :

• Concevoir des architectures d'IA sécurisées dès la conception
• Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes d'IA
• Créer des cadres de gouvernance pour la sécurité de l'IA

Sujets abordés :

Cycle de vie de développement sécurisé de l'IA :

• Principes de sécurité dès la conception pour les applications d'IA
• Pratiques de revue de code pour les intégrations LLM
• Méthodologies de test et balayage des vulnérabilités
• Sécurité du déploiement et durcissement de la production

Surveillance et détection :

• Exigences de journalisation et de surveillance spécifiques à l'IA
• Détection d'anomalies pour les systèmes d'IA
• Procédures de réponse aux incidents pour les événements de sécurité de l'IA
• Techniques de forensique et d'enquête

Gouvernance et conformité :

• Cadres et politiques de gestion des risques de l'IA
• Considérations de conformité réglementaire (RGPD, AI Act, etc.)
• Évaluation des risques de tierces parties pour les fournisseurs d'IA
• Formation à la sensibilisation à la sécurité pour les équipes de développement d'IA

Exercice pratique : Conception d'une architecture de sécurité complète pour un chatbot d'IA d'entreprise, y compris la surveillance, la gouvernance et les procédures de réponse aux incidents

Module 9 : Outils et technologies (1 heure)

Objectifs d'apprentissage :

• Évaluer et mettre en œuvre des outils de sécurité de l'IA
• Comprendre le paysage actuel des solutions de sécurité de l'IA
• Constituer des capacités pratiques de détection et de prévention

Sujets abordés :

• Écosystème d'outils de sécurité de l'IA et paysage des fournisseurs
• Outils de sécurité open source : Garak, PyRIT, Giskard
• Solutions commerciales pour la sécurité et la surveillance de l'IA
• Modèles d'intégration et stratégies de déploiement
• Critères de sélection des outils et cadres d'évaluation

Exercice pratique : Démonstration pratique des outils de test de sécurité de l'IA et planification de la mise en œuvre

Module 10 : Tendances futures et synthèse (1 heure)

Objectifs d'apprentissage :

• Comprendre les menaces émergentes et les défis de sécurité futurs
• Développer des stratégies d'apprentissage continu et d'amélioration
• Créer des plans d'action pour les programmes de sécurité de l'IA organisationnels

Sujets abordés :

• Menaes émergentes : Deepfakes, injection de prompt avancée, inversion de modèle
• Évolutions et feuille de route futures du projet OWASP GenAI
• Construction de communautés de sécurité de l'IA et partage des connaissances
• Amélioration continue et intégration des renseignements sur les menaces

Exercice de planification d'action : Élaborer un plan d'action de 90 jours pour la mise en œuvre des pratiques de sécurité OWASP GenAI dans les organisations des participants