Plan du cours
Introduction au Red Teaming de l'IA
- Compréhension du paysage des menaces de l'IA
- Rôle des équipes rouges dans la sécurité de l'IA
- Considérations éthiques et légales
Apprentissage machine adversarial
- Types d'attaques : évasion, empoisonnement, extraction, inférence
- Génération d'exemples adversariaux (par ex., FGSM, PGD)
- Attaques ciblées vs non ciblées et mesures de succès
Test de la robustesse des modèles
- Évaluation de la robustesse sous perturbation
- Exploration des angles morts des modèles et des modes d'échec
- Tests de stress des modèles de classification, de vision et de NPL
Red Teaming des pipelines d'IA
- Surface d'attaque des pipelines d'IA : données, modèles, déploiement
- Exploitation des API et points de terminaison de modèles peu sécurisés
- Ingénierie inverse du comportement et des sorties des modèles
Simulation et outils
- Utilisation de la boîte à outils de robustesse adversariale (ART)
- Red Teaming avec des outils comme TextAttack et IBM ART
- Outils de sandboxing, de surveillance et d'observabilité
Stratégie de Red Team de l'IA et collaboration pour la défense
- Développement des exercices et des objectifs du Red Team
- Communication des résultats aux équipes bleues
- Intégration du Red Teaming dans la gestion des risques de l'IA
Résumé et prochaines étapes
Pré requis
- Une compréhension des architectures d'apprentissage automatique et d'apprentissage profond
- De l'expérience avec Python et des frameworks d'apprentissage automatique (par ex., TensorFlow, PyTorch)
- Une familiarité avec les concepts de cybersécurité ou les techniques de sécurité offensive
Audience cible
- Chercheurs en sécurité
- Équipes de sécurité offensive
- Professionnels de l'assurance IA et des tests de pénétration (red teaming)
Nos clients témoignent (2)
J'ai vraiment apprécié d'apprendre sur les attaques par IA et les outils disponibles pour commencer à pratiquer et à utiliser activement pour les tests de sécurité. J'ai acquis beaucoup de connaissances que je n'avais pas au début, et le cours a répondu à mes attentes. Ma partie préférée de la formation était le navigateur Comet, et j'ai été impressionné par ce qu'il pouvait faire. C'est assurément quelque chose que je vais explorer davantage. Globalement, c'était un excellent cours et j'ai beaucoup apprécié d'apprendre le Top 10 OWASP GenAI.
Patrick Collins - Optum
Formation - OWASP GenAI Security
Traduction automatique
Les connaissances professionnelles et la manière dont il les a présentées devant nous
Miroslav Nachev - PUBLIC COURSE
Formation - Cybersecurity in AI Systems
Traduction automatique