Formation Sécurité OWASP pour l'IA générative

Jour 1 : Fondements et menaces principales

Module 1 : Introduction au Projet OWASP pour la Sécurité de l'IA générative (1 heure)

Objectifs d'apprentissage :

• Comprendre l'évolution depuis les OWASP Top 10 vers les défis de sécurité spécifiques à l'IA générative.
• Explorer l'écosystème et les ressources du Projet OWASP pour la Sécurité de l'IA générative.
• Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité de l'IA.

Sujets couverts :

• Aperçu de la mission et du périmètre du Projet OWASP pour la Sécurité de l'IA générative.
• Introduction au cadre Threat Defense COMPASS.
• Compréhension du paysage de la sécurité de l'IA et des exigences réglementaires.
• Surfaces d'attaque de l'IA vs vulnérabilités traditionnelles des applications web.

Exercice pratique : Mise en place de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces.

Module 2 : OWASP Top 10 pour les LLM - Partie 1 (2,5 heures)

Objectifs d'apprentissage :

• Maîtriser les cinq premières vulnérabilités critiques des LLM.
• Comprendre les vecteurs d'attaque et les techniques d'exploitation.
• Appliquer des stratégies d'atténuation pratiques.

Sujets couverts :

LLM01 : Injection de prompt

• Techniques directes et indirectes d'injection de prompt.
• Attaques par instructions cachées et contamination croisée entre prompts.
• Exemples pratiques : Jailbreaking de chatbots et contournement des mesures de sécurité.
• Stratégies de défense : Sanitisation des entrées, filtrage des prompts, confidentialité différentielle.

LLM02 : Divulgation d'informations sensibles

• Extraction des données d'entraînement et fuite des invites système.
• Analyse du comportement du modèle pour exposer les informations sensibles.
• Implications en matière de confidentialité et considérations de conformité réglementaire.
• Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données.

LLM03 : Vulnérabilités de la chaîne d'approvisionnement

• Dépendances aux modèles tiers et sécurité des plugins.
• Jeu de données d'entraînement compromis et empoisonnement des modèles.
• Évaluation des risques des fournisseurs pour les composants IA.
• Pratiques de déploiement sécurisé des modèles et vérification.

Exercice pratique : Laboratoire pratique démontrant des attaques par injection de prompt contre des applications LLM vulnérables et mise en œuvre de mesures défensives.

Module 3 : OWASP Top 10 pour les LLM - Partie 2 (2 heures)

Sujets couverts :

LLM04 : Empoisonnement des données et des modèles

• Techniques de manipulation des données d'entraînement.
• Modification du comportement du modèle par des entrées empoisonnées.
• Attaques par porte dérobée et vérification de l'intégrité des données.
• Prévention : Pipelines de validation des données, traçabilité de la provenance.

LLM05 : Gestion incorrecte des sorties

• Traitement sécurisé du contenu généré par les LLM.
• Injection de code via les sorties générées par l'IA.
• Cross-site scripting (XSS) via les réponses de l'IA.
• Cadres de validation et de sanitisation des sorties.

Exercice pratique : Simulation d'attaques par empoisonnement des données et mise en œuvre de mécanismes robustes de validation des sorties.

Module 4 : Menaces avancées des LLM (1,5 heure)

Sujets couverts :

LLM06 : Agence excessive

• Risques de prise de décision autonome et violations des limites.
• Gestion de l'autorité et des permissions des agents.
• Interactions système non intentionnelles et élévation de privilèges.
• Mise en œuvre de garde-fous et de contrôles de supervision humaine.

LLM07 : Fuite des invites système

• Vulnérabilités exposant les instructions système.
• Divulgation d'identifiants et de logique via les prompts.
• Techniques d'attaque pour extraire les invites système.
• Sécurisation des instructions système et de la configuration externe.

Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès appropriés et une surveillance.

Jour 2 : Menaces avancées et mise en œuvre

Module 5 : Menaces émergentes de l'IA (2 heures)

Objectifs d'apprentissage :

• Comprendre les menaces de sécurité IA les plus récentes.
• Mettre en œuvre des techniques avancées de détection et de prévention.
• Concevoir des systèmes IA résilients face aux attaques sophistiquées.

Sujets couverts :

LLM08 : Faiblesses vectorielles et d'embedding

• Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles.
• Empoisonnement des embeddings et attaques par manipulation de similarité.
• Exemples adversariaux dans la recherche sémantique.
• Sécurisation des entrepôts vectoriels et mise en œuvre de la détection d'anomalies.

LLM09 : Désinformation et fiabilité du modèle

• Détection et atténuation des hallucinations.
• Amplification des biais et considérations d'équité.
• Mécanismes de vérification des faits et des sources.
• Validation du contenu et intégration de la supervision humaine.

LLM10 : Consommation illimitée

• Épuisement des ressources et attaques par déni de service.
• Stratégies de limitation du débit et de gestion des ressources.
• Optimisation des coûts et contrôles budgétaires.
• Systèmes de surveillance des performances et d'alerte.

Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations.

Module 6 : Sécurité de l'IA agentique (2 heures)

Objectifs d'apprentissage :

• Comprendre les défis de sécurité uniques des agents IA autonomes.
• Appliquer la taxonomie OWASP pour l'IA agentique aux systèmes réels.
• Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents.

Sujets couverts :

• Introduction à l'IA agentique et aux systèmes autonomes.
• OWASP Agentic AI Threat Taxonomy : Conception de l'agent, mémoire, planification, utilisation des outils, déploiement.
• Sécurité des systèmes multi-agents et risques de coordination.
• Attaques par détournement d'outils, empoisonnement de la mémoire et hijacking des objectifs.
• Sécurisation des processus de communication et de prise de décision des agents.

Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP pour l'IA agentique sur un système de service client multi-agents.

Module 7 : Mise en œuvre d'OWASP Threat Defense COMPASS (2 heures)

Objectifs d'apprentissage :

• Maîtriser l'application pratique de Threat Defense COMPASS.
• Intégrer l'évaluation des menaces IA dans les programmes de sécurité organisationnels.
• Développer des stratégies complètes de gestion des risques liés à l'IA.

Sujets couverts :

• Étude approfondie de la méthodologie Threat Defense COMPASS.
• Intégration du cycle OODA : Observer, Orienter, Décider, Agir.
• Cartographie des menaces vers les cadres MITRE ATT&CK et ATLAS.
• Construction de tableaux de bord pour la stratégie de résilience aux menaces IA.
• Intégration avec les outils et processus de sécurité existants.

Exercice pratique : Évaluation complète des menaces en utilisant COMPASS dans le cadre d'un scénario de déploiement de Microsoft Copilot.

Module 8 : Mise en œuvre pratique et bonnes pratiques (2,5 heures)

Objectifs d'apprentissage :

• Concevoir des architectures IA sécurisées dès la conception.
• Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes IA.
• Créer des cadres de gouvernance pour la sécurité IA.

Sujets couverts :

Cycle de développement sécurisé de l'IA :

• Principes de sécurité dès la conception pour les applications IA.
• Pratiques de revue de code pour les intégrations LLM.
• Méthodologies de test et numérisation des vulnérabilités.
• Sécurité du déploiement et durcissement en production.

Surveillance et détection :

• Exigences spécifiques de journalisation et de surveillance pour l'IA.
• Détection d'anomalies pour les systèmes IA.
• Procédures de réponse aux incidents pour les événements de sécurité liés à l'IA.
• Techniques de forensic et d'enquête.

Gouvernance et conformité :

• Cadres et politiques de gestion des risques liés à l'IA.
• Considérations de conformité réglementaire (RGPD, Loi sur l'IA, etc.).
• Évaluation des risques tiers pour les fournisseurs d'IA.
• Formation à la sensibilisation à la sécurité pour les équipes de développement IA.

Exercice pratique : Concevoir une architecture de sécurité complète pour un chatbot d'entreprise, incluant la surveillance, la gouvernance et les procédures de réponse aux incidents.

Module 9 : Outils et technologies (1 heure)

Objectifs d'apprentissage :

• Évaluer et implémenter des outils de sécurité IA.
• Comprendre le paysage actuel des solutions de sécurité IA.
• Construire des capacités pratiques de détection et de prévention.

Sujets couverts :

• Écosystème des outils de sécurité IA et paysage des fournisseurs.
• Outils de sécurité open-source : Garak, PyRIT, Giskard.
• Solutions commerciales pour la sécurité et la surveillance de l'IA.
• Modes d'intégration et stratégies de déploiement.
• Critères de sélection des outils et cadres d'évaluation.

Exercice pratique : Démonstration pratique des outils de test de sécurité IA et planification de la mise en œuvre.

Module 10 : Tendances futures et conclusion (1 heure)

Objectifs d'apprentissage :

• Comprendre les menaces émergentes et les futurs défis de sécurité.
• Développer des stratégies d'apprentissage continu et d'amélioration.
• Créer des plans d'action pour les programmes de sécurité IA organisationnels.

Sujets couverts :

• Menaces émergentes : Deepfakes, injection de prompt avancée, inversion de modèles.
• Développements futurs du projet OWASP pour l'IA générative et feuille de route.
• Construction de communautés de sécurité IA et partage des connaissances.
• Amélioration continue et intégration de la veille technologique en matière de menaces.

Exercice de planification d'action : Élaborer un plan d'action sur 90 jours pour mettre en œuvre les pratiques de sécurité OWASP pour l'IA générative au sein des organisations des participants.