Projet Learn2Grasp : Learning Human-like Interactive Grasping based on Visual and Haptic Feedback
Le projet Learn2Grasp a pour but de développer des stratégies interactives de saisie d’objets dans des environnements encombrés en utilisant un bras robotique et une main dextre très sensible. Les stratégies de saisie seront apprises à l’aide de méthodes d’apprentissage par renforcement profond dans une simulation et sur robot réel, en utilisant des informations provenant de caméras RGB-D et des capteurs tactiles. La saisie est une tâche difficile pour l’apprentissage car il s’agit d’un problème à récompenses rares. Pour résoudre ce problème, deux approches seront combinées : une initialisation à partir de démonstrations par un humain avec une interface de téléopération immersive et une exploration des comportements améliorée par des algorithmes de qualité-diversité.
Le contexte
Les approches existantes de la manipulation fondées sur la théorie du contrôle sont efficaces mais requièrent habituellement un modèle précis des objets à saisir et de leur environnement. Inversement, les méthodes reposant sur l’apprentissage peuvent être entraînées de bout en bout sans un modèle élaboré de l’environnement, mais elles sont souvent inefficaces sur les problèmes d’exploration difficile, et demandent des gros volumes de données d’entraînement. Une troisième possibilité est d’apprendre à partir de démonstrations humaines, mais la généralisation au-delà des conditions des démonstrations est difficile.
Le partenariat franco-allemand Learn2Grasp, fait intervenir deux partenaires complémentaires pour résoudre ce problème. L’Université de Bonn a une expérience reconnue en perception visuelle, modélisation de scène et apprentissage par démonstration, et Sorbonne Université a une expertise en apprentissage d’actions et stratégies d’exploration efficace dans des contextes de récompense rare. Les deux partenaires utiliseront des plateforme robotiques modernes intégrant des mains dotées de capacités tactiles avancées.
Les objectifs
Les objectifs scientifiques du projet sont les suivants :
- Coupler les méthodes de modélisation et d’analyse de scènes développées par Bonn et les techniques de génération de politiques diverses de Sorbonne Université, de façon à développer une méthode de génération de mouvements de saisie robuste, efficace, et économe en données et en calcul.
- Intégrer la modalité tactile avec les méthodes de perception basée sur la vision de façon a apprendre des politiques en boucle fermée plus flexibles et robustes.
- Permettre un apprentissage sur des données hybrides, exploitant au mieux des données issues de simulations, de démonstrations humaines (par une interface de téléopération) et d’expériences sur système réel.
Ces tâches sont structurées en 4 unités de travail :
- WP1 : Modélisation et prédiction de scène structurée et multimodale (Leader : Université de Bonn),
- WP2 : Apprentissage de la saisie interactive (Leader : Sorbonne Université),
- WP3 : Intégration technique (Leader : University of Bonn),
- WP4 : Management et collaboration scientifique (Leader : Sorbonne Université).
Les résultats
Le projet aura pour issue la réalisation d’un système intégré faisant appel aux technologies de perception visuelle et tactile développées pour construire des représentations de la scène, et utilisant de ces représentations pour apprendre efficacement, avec un volume de données non-simulées réduit, des politiques en boucle ouverte et en boucle fermée diverses permettant une saisie robuste en environnement encombré. Ce système devra être évalué sur environnement simulé et réel.
Un autre objectif du projet Learn2Grasp est de renforcer les liens et la collaboration scientifique entre l’équipe AIS de Bonn et l’ISIR à Sorbonne Université, de façon à développer un pôle d’expertise compétent sur tous les aspects de l’apprentissage pour la manipulation d’objets, allant de la perception et la création de représentations jusqu’à la génération d’actions.
Partenariats et collaborations
Le projet Learn2Grasp (réf. ANR-21-FAI1-0004) est une collaboration de recherche entre :
- l’équipe AIS de l’Université de Bonn,
- et l’ISIR de Sorbonne Université.
Cette collaboration est menée dans le cadre de l’appel à projets bilatéral franco-allemand en intelligence artificielle (MESRI-BMBF) 2021. Sa réalisation s’échelonne sur 4 ans, de 2021 à 2025.
Il est coordonné à Sorbonne Université par Miranda Coninx, maître de conférences dans l’équipe AMAC de l’ISIR, et à l’université de Bonn par Prof. Dr. Sven Behnke, responsable de l’équipe AIS (Autonomous Intelligent Systems).
