{"id":8314,"date":"2022-07-05T15:58:50","date_gmt":"2022-07-05T13:58:50","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_projects&p=8314"},"modified":"2025-06-03T11:47:39","modified_gmt":"2025-06-03T09:47:39","slug":"apprentissage-de-la-saisie-interactive-par-un-retour-visuel-et-haptique","status":"publish","type":"isir_projects","link":"https:\/\/www.isir.upmc.fr\/projets\/apprentissage-de-la-saisie-interactive-par-un-retour-visuel-et-haptique\/","title":{"rendered":"Learn2Grasp"},"content":{"rendered":"\n

Projet Learn2Grasp : Learning Human-like Interactive Grasping based on Visual and Haptic Feedback<\/h3>\n\n\n\n

Le projet<\/strong> Learn2Grasp<\/strong> a pour but de d\u00e9velopper des strat\u00e9gies interactives de saisie d’objets dans des environnements encombr\u00e9s en utilisant un bras robotique et une main dextre tr\u00e8s sensible. Les strat\u00e9gies de saisie seront apprises \u00e0 l’aide de m\u00e9thodes d\u2019apprentissage par renforcement profond dans une simulation et sur robot r\u00e9el, en utilisant des informations provenant de cam\u00e9ras RGB-D et des capteurs tactiles. La saisie est une t\u00e2che difficile pour l\u2019apprentissage car il s\u2019agit d\u2019un probl\u00e8me \u00e0 r\u00e9compenses rares. Pour r\u00e9soudre ce probl\u00e8me, deux approches seront combin\u00e9es : une initialisation \u00e0 partir de d\u00e9monstrations par un humain avec une interface de t\u00e9l\u00e9op\u00e9ration immersive et une exploration des comportements am\u00e9lior\u00e9e par des algorithmes de qualit\u00e9-diversit\u00e9.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Le contexte<\/h3>\n\n\n\n

Les approches existantes de la manipulation fond\u00e9es sur la th\u00e9orie du contr\u00f4le sont efficaces mais requi\u00e8rent habituellement un mod\u00e8le pr\u00e9cis des objets \u00e0 saisir et de leur environnement. Inversement, les m\u00e9thodes reposant sur l\u2019apprentissage peuvent \u00eatre entra\u00een\u00e9es de bout en bout sans un mod\u00e8le \u00e9labor\u00e9 de l\u2019environnement, mais elles sont souvent inefficaces sur les probl\u00e8mes d\u2019exploration difficile, et demandent des gros volumes de donn\u00e9es d\u2019entra\u00eenement. Une troisi\u00e8me possibilit\u00e9 est d\u2019apprendre \u00e0 partir de d\u00e9monstrations humaines, mais la g\u00e9n\u00e9ralisation au-del\u00e0 des conditions des d\u00e9monstrations est difficile.<\/p>\n\n\n\n

Le partenariat franco-allemand Learn2Grasp<\/strong>, fait intervenir deux partenaires compl\u00e9mentaires pour r\u00e9soudre ce probl\u00e8me. L\u2019Universit\u00e9 de Bonn<\/a> a une exp\u00e9rience reconnue en perception visuelle, mod\u00e9lisation de sc\u00e8ne et apprentissage par d\u00e9monstration, et Sorbonne Universit\u00e9<\/a> a une expertise en apprentissage d\u2019actions et strat\u00e9gies d\u2019exploration efficace dans des contextes de r\u00e9compense rare. Les deux partenaires utiliseront des plateforme robotiques modernes int\u00e9grant des mains dot\u00e9es de capacit\u00e9s tactiles avanc\u00e9es.<\/p>\n\n\n\n

Les objectifs<\/h3>\n\n\n\n

Les objectifs scientifiques du projet sont les suivants\u00a0:<\/strong><\/p>\n\n\n\n

– Coupler les m\u00e9thodes de mod\u00e9lisation et d\u2019analyse de sc\u00e8nes d\u00e9velopp\u00e9es par Bonn et les techniques de g\u00e9n\u00e9ration de politiques diverses de Sorbonne Universit\u00e9, de fa\u00e7on \u00e0 d\u00e9velopper une m\u00e9thode de g\u00e9n\u00e9ration de mouvements de saisie robuste, efficace, et \u00e9conome en donn\u00e9es et en calcul.<\/p>\n\n\n\n

– Int\u00e9grer la modalit\u00e9 tactile avec les m\u00e9thodes de perception bas\u00e9e sur la vision de fa\u00e7on a apprendre des politiques en boucle ferm\u00e9e plus flexibles et robustes.<\/p>\n\n\n\n

– Permettre un apprentissage sur des donn\u00e9es hybrides, exploitant au mieux des donn\u00e9es issues de simulations, de d\u00e9monstrations humaines (par une interface de t\u00e9l\u00e9op\u00e9ration) et d\u2019exp\u00e9riences sur syst\u00e8me r\u00e9el.<\/p>\n\n\n\n

\n\n\n\n

Ces t\u00e2ches sont structur\u00e9es en 4 unit\u00e9s de travail\u00a0:<\/strong><\/p>\n\n\n\n

– WP1 : Mod\u00e9lisation et pr\u00e9diction de sc\u00e8ne structur\u00e9e et multimodale (Leader : Universit\u00e9 de Bonn),<\/p>\n\n\n\n

– WP2 : Apprentissage de la saisie interactive (Leader : Sorbonne Universit\u00e9),<\/p>\n\n\n\n

– WP3 : Int\u00e9gration technique (Leader : University of Bonn),<\/p>\n\n\n\n

– WP4 : Management et collaboration scientifique (Leader : Sorbonne Universit\u00e9).<\/p>\n\n\n\n

\n
\"\"<\/figure>\n<\/figure>\n\n\n\n

Les r\u00e9sultats<\/h3>\n\n\n\n

Le projet aura pour issue la r\u00e9alisation d\u2019un syst\u00e8me int\u00e9gr\u00e9 faisant appel aux technologies de perception visuelle et tactile d\u00e9velopp\u00e9es pour construire des repr\u00e9sentations de la sc\u00e8ne, et utilisant de ces repr\u00e9sentations pour apprendre efficacement, avec un volume de donn\u00e9es non-simul\u00e9es r\u00e9duit, des politiques en boucle ouverte et en boucle ferm\u00e9e diverses permettant une saisie robuste en environnement encombr\u00e9. Ce syst\u00e8me devra \u00eatre \u00e9valu\u00e9 sur environnement simul\u00e9 et r\u00e9el.<\/p>\n\n\n\n

Un autre objectif du projet Learn2Grasp<\/strong> est de renforcer les liens et la collaboration scientifique entre l\u2019\u00e9quipe AIS de Bonn et l\u2019ISIR \u00e0 Sorbonne Universit\u00e9, de fa\u00e7on \u00e0 d\u00e9velopper un p\u00f4le d\u2019expertise comp\u00e9tent sur tous les aspects de l\u2019apprentissage pour la manipulation d\u2019objets, allant de la perception et la cr\u00e9ation de repr\u00e9sentations jusqu\u2019\u00e0 la g\u00e9n\u00e9ration d\u2019actions.<\/p>\n\n\n\n

Partenariats et collaborations<\/h3>\n\n\n\n

Le projet<\/strong> Learn2Grasp<\/strong> (r\u00e9f. ANR-21-FAI1-0004) est une collaboration de recherche entre :<\/p>\n\n\n\n

– l\u2019\u00e9quipe AIS<\/a> de l\u2019Universit\u00e9 de Bonn<\/a>,<\/p>\n\n\n\n

– et l\u2019ISIR de Sorbonne Universit\u00e9<\/a>.<\/p>\n\n\n\n

Cette collaboration est men\u00e9e dans le cadre de l\u2019appel \u00e0 projets bilat\u00e9ral franco-allemand en intelligence artificielle (MESRI-BMBF) 2021. Sa r\u00e9alisation s\u2019\u00e9chelonne sur 4 ans, de 2021 \u00e0 2025.<\/p>\n\n\n\n

Il est coordonn\u00e9 \u00e0 Sorbonne Universit\u00e9 par Miranda Coninx, ma\u00eetre de conf\u00e9rences dans l\u2019\u00e9quipe AMAC de l\u2019ISIR, et \u00e0 l\u2019universit\u00e9 de Bonn par Prof. Dr. Sven Behnke, responsable de l\u2019\u00e9quipe AIS<\/a> (Autonomous Intelligent Systems).<\/p>\n","protected":false},"featured_media":8334,"template":"","isir_project_types":[236],"isir_teams":[264],"class_list":["post-8314","isir_projects","type-isir_projects","status-publish","has-post-thumbnail","hentry","isir_project_types-all-projects-fr","isir_teams-asimov"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects\/8314","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_projects"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/8334"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=8314"}],"wp:term":[{"taxonomy":"isir_project_types","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_project_types?post=8314"},{"taxonomy":"isir_teams","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_teams?post=8314"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}