Plan du cours
Introduction à la manipulation robotique et à l'apprentissage profond
- Vue d'ensemble des tâches de manipulation et des composants du système
- Approches traditionnelles vs. approches basées sur l'apprentissage
- Apprentissage profond dans la perception, la planification et le contrôle
Perception pour la manipulation
- Sensation visuelle et détection d'objets pour la préhension
- Vision 3D, détection de profondeur et traitement des nuages de points
- Entraînement de CNNs pour la localisation et la segmentation d'objets
Planification et détection de préhension
- Algorithmes classiques de planification de préhension
- Apprentissage des poses de préhension à partir de données et de simulations
- Mise en œuvre de réseaux de détection de préhension (par exemple, GGCNN, Dex-Net)
Contrôle et planification de mouvement
- Cinématique inverse et génération de trajectoires
- Planification de mouvement basée sur l'apprentissage et apprentissage par imitation
- Apprentissage par renforcement pour les politiques de contrôle de manipulation
Intégration avec ROS 2 et environnements de simulation
- Configuration de nœuds ROS 2 pour la perception et le contrôle
- Simulation de manipulateurs robotiques dans Gazebo et Isaac Sim
- Intégration de modèles neuronaux pour le contrôle en temps réel
Apprentissage de bout en bout pour la manipulation
- Combinaison de la perception, de la politique et du contrôle dans des réseaux unifiés
- Utilisation de données de démonstration pour l'apprentissage supervisé de politiques
- Adaptation de domaine entre simulation et matériel réel
Évaluation et optimisation
- Métriques de succès, de stabilité et de précision de la préhension
- Tests dans des conditions variées et perturbations
- Compression de modèle et déploiement sur des appareils edge
Projet pratique : préhension robotique basée sur l'apprentissage profond
- Conception d'un pipeline de perception à l'action
- Entraînement et test d'un modèle de détection de préhension
- Intégration du modèle dans un bras robotique simulé
Résumé et prochaines étapes
Pré requis
- Bonne compréhension de la cinématique et de la dynamique robotiques
- Expérience avec Python et les frameworks d'apprentissage profond
- Familiarité avec ROS ou un middleware robotique similaire
Audience
- Ingénieurs robotiques développant des systèmes de manipulation intelligents
- Spécialistes de la perception et du contrôle travaillant sur des applications de préhension
- Chercheurs et praticiens avancés en apprentissage robotique et commande basée sur l'IA
Nos clients témoignent (2)
Fourniture des matériels (machine virtuelle) pour passer directement aux exercices, et explication des fondamentaux de ROS2. Comprendre pourquoi les choses fonctionnent d'une manière particulière.
Arjan Bakema
Formation - Autonomous Navigation & SLAM with ROS 2
Traduction automatique
ses connaissances et son utilisation de l'IA pour la robotique dans le futur.
Ryle - PHILIPPINE MILITARY ACADEMY
Formation - Artificial Intelligence (AI) for Robotics
Traduction automatique