Prenez contact avec nous

Plan du cours

Jour 1 : Fondamentaux et menaces principales

Module 1 : Introduction au projet OWASP GenAI Security (1 heure)

Objectifs d'apprentissage :

  • Comprendre l'évolution de l'OWASP Top 10 vers les défis de sécurité spécifiques à l'IA générative
  • Explorer l'écosystème et les ressources du projet OWASP GenAI Security
  • Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité de l'IA

Sujets abordés :

  • Aperçu de la mission et de la portée du projet OWASP GenAI Security
  • Introduction au cadre Threat Defense COMPASS
  • Compréhension du paysage de la sécurité de l'IA et des exigences réglementaires
  • Les surfaces d'attaque de l'IA par rapport aux vulnérabilités des applications web traditionnelles

Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces

Module 2 : OWASP Top 10 pour les LLM - Partie 1 (2,5 heures)

Objectifs d'apprentissage :

  • Maîtriser les cinq premières vulnérabilités critiques des LLM
  • Comprendre les vecteurs d'attaque et les techniques d'exploitation
  • Appliquer des stratégies d'atténuation pratiques

Sujets abordés :

LLM01 : Injection de prompt

  • Techniques d'injection de prompt directe et indirecte
  • Attaques par instructions cachées et contamination croisée des prompts
  • Exemples pratiques : Jailbreaking de chatbots et contournement des mesures de sécurité
  • Stratégies de défense : Sanitisation des entrées, filtrage des prompts, confidentialité différentielle

LLM02 : Divulgation d'informations sensibles

  • Extraction des données d'entraînement et fuite du prompt système
  • Analyse du comportement du modèle pour l'exposition d'informations sensibles
  • Implications en matière de confidentialité et considérations de conformité réglementaire
  • Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données

LLM03 : Vulnérabilités de la chaîne d'approvisionnement

  • Dépendances aux modèles tiers et sécurité des plugins
  • Jeux de données d'entraînement compromis et empoisonnement de modèles
  • Évaluation des risques des fournisseurs pour les composants d'IA
  • Pratiques de déploiement sécurisé des modèles et de vérification

Exercice pratique : Laboratoire pratique démontrant des attaques d'injection de prompt contre des applications LLM vulnérables et la mise en œuvre de mesures défensives

Module 3 : OWASP Top 10 pour les LLM - Partie 2 (2 heures)

Sujets abordés :

LLM04 : Empoisonnement des données et des modèles

  • Techniques de manipulation des données d'entraînement
  • Modification du comportement du modèle par des entrées empoisonnées
  • Attaques par porte dérobée et vérification de l'intégrité des données
  • Prévention : Pipelines de validation des données, traçabilité de la provenance

LLM05 : Gestion incorrecte des sorties

  • Traitement non sécurisé du contenu généré par les LLM
  • Injection de code par les sorties générées par l'IA
  • Cross-Site Scripting (XSS) via les réponses de l'IA
  • Cadres de validation et de sanitisation des sorties

Exercice pratique : Simulation d'attaques par empoisonnement de données et mise en œuvre de mécanismes robustes de validation des sorties

Module 4 : Menaces avancées des LLM (1,5 heure)

Sujets abordés :

LLM06 : Agence excessive

  • Risques de prise de décision autonome et violations des limites
  • Gestion de l'autorité et des permissions des agents
  • Interactions système non intentionnelles et élévation de privilèges
  • Mise en œuvre de garde-fous et de contrôles de supervision humaine

LLM07 : Fuite du prompt système

  • Vulnérabilités d'exposition des instructions système
  • Divulgation d'identifiants et de logique par les prompts
  • Techniques d'attaque pour extraire les prompts système
  • Sécurisation des instructions système et de la configuration externe

Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès et une surveillance appropriés

Jour 2 : Menaces avancées et mise en œuvre

Module 5 : Menaces émergentes de l'IA (2 heures)

Objectifs d'apprentissage :

  • Comprendre les menaces de sécurité de l'IA de pointe
  • Mettre en œuvre des techniques avancées de détection et de prévention
  • Concevoir des systèmes d'IA résilients face aux attaques sophistiquées

Sujets abordés :

LLM08 : Faiblesses des vecteurs et des embeddings

  • Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles
  • Empoisonnement des embeddings et attaques de manipulation de similarité
  • Exemples adverses dans la recherche sémantique
  • Sécurisation des entrepôts de vecteurs et mise en œuvre de détection d'anomalies

LLM09 : Désinformation et fiabilité des modèles

  • Détection et atténuation des hallucinations
  • Amplification des biais et considérations d'équité
  • Mécanismes de vérification des faits et des sources
  • Validation du contenu et intégration de la supervision humaine

LLM10 : Consommation non bornée

  • Épuisement des ressources et attaques par déni de service
  • Stratégies de limitation du débit et de gestion des ressources
  • Optimisation des coûts et contrôles budgétaires
  • Systèmes de surveillance des performances et d'alerte

Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations

Module 6 : Sécurité de l'IA agentic (2 heures)

Objectifs d'apprentissage :

  • Comprendre les défis de sécurité uniques des agents d'IA autonomes
  • Appliquer la taxonomie OWASP de l'IA agentic aux systèmes réels
  • Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents

Sujets abordés :

  • Introduction à l'IA agentic et aux systèmes autonomes
  • Taxonomie des menaces OWASP de l'IA agentic : Conception de l'agent, mémoire, planification, utilisation des outils, déploiement
  • Sécurité des systèmes multi-agents et risques de coordination
  • Attaques par mauvaise utilisation des outils, empoisonnement de la mémoire et détournement des objectifs
  • Sécurisation de la communication entre agents et des processus de prise de décision

Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP de l'IA agentic sur un système de service client multi-agents

Module 7 : Mise en œuvre d'OWASP Threat Defense COMPASS (2 heures)

Objectifs d'apprentissage :

  • Maîtriser l'application pratique de Threat Defense COMPASS
  • Intégrer l'évaluation des menaces liées à l'IA dans les programmes de sécurité organisationnels
  • Développer des stratégies complètes de gestion des risques liés à l'IA

Sujets abordés :

  • Analyse approfondie de la méthodologie Threat Defense COMPASS
  • Intégration de la boucle OODA : Observer, Orienter, Décider, Agir
  • Mappage des menaces aux cadres MITRE ATT&CK et ATLAS
  • Création de tableaux de bord de stratégie de résilience aux menaces liées à l'IA
  • Intégration avec les outils et processus de sécurité existants

Exercice pratique : Évaluation complète des menaces à l'aide de COMPASS pour un scénario de déploiement de Microsoft Copilot

Module 8 : Mise en œuvre pratique et bonnes pratiques (2,5 heures)

Objectifs d'apprentissage :

  • Concevoir des architectures d'IA sécurisées dès la base
  • Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes d'IA
  • Créer des cadres de gouvernance pour la sécurité de l'IA

Sujets abordés :

Cycle de développement sécurisé de l'IA :

  • Principes de sécurité dès la conception pour les applications d'IA
  • Pratiques de révision de code pour les intégrations LLM
  • Méthodologies de test et analyse de vulnérabilités
  • Sécurité du déploiement et durcissement de la production

Surveillance et détection :

  • Exigences de journalisation et de surveillance spécifiques à l'IA
  • Détection d'anomalies pour les systèmes d'IA
  • Procédures de réponse aux incidents pour les événements de sécurité de l'IA
  • Techniques de forensic et d'enquête

Gouvernance et conformité :

  • Cadres et politiques de gestion des risques liés à l'IA
  • Considérations de conformité réglementaire (RGPD, AI Act, etc.)
  • Évaluation des risques tiers pour les fournisseurs d'IA
  • Formation à la sensibilisation à la sécurité pour les équipes de développement d'IA

Exercice pratique : Concevoir une architecture de sécurité complète pour un chatbot d'entreprise incluant la surveillance, la gouvernance et les procédures de réponse aux incidents

Module 9 : Outils et technologies (1 heure)

Objectifs d'apprentissage :

  • Évaluer et mettre en œuvre des outils de sécurité de l'IA
  • Comprendre le paysage actuel des solutions de sécurité de l'IA
  • Développer des capacités pratiques de détection et de prévention

Sujets abordés :

  • Écosystème d'outils de sécurité de l'IA et paysage des fournisseurs
  • Outils de sécurité open-source : Garak, PyRIT, Giskard
  • Solutions commerciales pour la sécurité et la surveillance de l'IA
  • Modèles d'intégration et stratégies de déploiement
  • Critères de sélection des outils et cadres d'évaluation

Exercice pratique : Démonstration pratique des outils de test de sécurité de l'IA et planification de la mise en œuvre

Module 10 : Tendances futures et conclusion (1 heure)

Objectifs d'apprentissage :

  • Comprendre les menaces émergentes et les futurs défis de sécurité
  • Développer des stratégies d'apprentissage continu et d'amélioration
  • Créer des plans d'action pour les programmes de sécurité de l'IA organisationnels

Sujets abordés :

  • Menaces émergentes : deepfakes, injection de prompt avancée, inversion de modèle
  • Développements futurs du projet OWASP GenAI et feuille de route
  • Création de communautés de sécurité de l'IA et partage des connaissances
  • Amélioration continue et intégration du renseignement sur les menaces

Exercice de planification de l'action : Élaborer un plan d'action à 90 jours pour la mise en œuvre des pratiques de sécurité OWASP GenAI dans les organisations des participants

Pré requis

  • Compréhension générale des principes de sécurité des applications web
  • Connaissance de base des concepts d'IA/ML
  • Expérience avec les cadres de sécurité ou les méthodologies d'évaluation des risques (privilégiée)

Audience

  • Professionnels de la cybersécurité
  • Développeurs d'IA
  • Architectes système
  • Agents de conformité
  • Praticiens en sécurité
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (1)

Cours à venir

Catégories Similaires