{"id":7926,"date":"2022-04-22T13:08:16","date_gmt":"2022-04-22T11:08:16","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_projects&#038;p=7926"},"modified":"2025-06-03T11:48:33","modified_gmt":"2025-06-03T09:48:33","slug":"corsmal","status":"publish","type":"isir_projects","link":"https:\/\/www.isir.upmc.fr\/projets\/corsmal\/","title":{"rendered":"CORSMAL"},"content":{"rendered":"\n<h3 class=\"wp-block-heading\">Projet CORSMAL: Collaborative Object Recognition, Shared Manipulation And Learning<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Dans les robots collaboratifs et d&rsquo;assistance, la transmission d&rsquo;objets est une capacit\u00e9 fondamentale et essentielle. Bien que cette capacit\u00e9 puisse sembler simple, puisque les humains effectuent le transfert d&rsquo;objets sans probl\u00e8me, il est tr\u00e8s difficile de le reproduire chez les robots. Le probl\u00e8me du transfert d&rsquo;objets a \u00e9t\u00e9 \u00e9tudi\u00e9 dans le pass\u00e9 et reste un domaine de recherche actif. Il englobe de nombreux sous-probl\u00e8mes tels que l&rsquo;\u00e9tude de l&rsquo;intention humaine, l&rsquo;extraction des caract\u00e9ristiques de l&rsquo;objet, l&rsquo;accessibilit\u00e9, la synth\u00e8se de la manipulation et bien d\u2019autres encore.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong><a href=\"http:\/\/corsmal.eecs.qmul.ac.uk\" data-type=\"URL\" data-id=\"corsmal.eecs.qmul.ac.uk\" target=\"_blank\" rel=\"noreferrer noopener\">CORSMAL<\/a><\/strong> propose de d\u00e9velopper et de valider un nouveau cadre pour la reconnaissance et la manipulation d&rsquo;objets en collaboration avec des humains, capable d&rsquo;imiter la capacit\u00e9 humaine d&rsquo;apprentissage et d&rsquo;adaptation \u00e0 travers un ensemble de manipulateurs, de t\u00e2ches, de configurations de d\u00e9tection et d&rsquo;environnements diff\u00e9rents. Le projet explore la fusion de plusieurs modalit\u00e9s de d\u00e9tection (le toucher, le son et la vision \u00e0 la premi\u00e8re ou \u00e0 la troisi\u00e8me personne) pour estimer les propri\u00e9t\u00e9s physiques des objets de mani\u00e8re pr\u00e9cise et robuste dans des environnements bruyants et potentiellement ambigus. L&rsquo;objectif principal est de d\u00e9finir des architectures d&rsquo;apprentissage pour les donn\u00e9es sensorielles multimodales et pour les donn\u00e9es agr\u00e9g\u00e9es provenant de diff\u00e9rents environnements. L&rsquo;objectif est d&rsquo;am\u00e9liorer continuellement l&rsquo;adaptabilit\u00e9 et la robustesse des mod\u00e8les appris, et de g\u00e9n\u00e9raliser les capacit\u00e9s \u00e0 travers les t\u00e2ches et les sites. La robustesse du cadre propos\u00e9 sera \u00e9valu\u00e9e \u00e0 l&rsquo;aide de prototypes mis en \u0153uvre dans diff\u00e9rents environnements. Il est important de noter qu&rsquo;au cours du projet, nous organiserons deux d\u00e9fis communautaires pour favoriser le partage des donn\u00e9es et soutenir la reproductibilit\u00e9 des exp\u00e9riences dans des sites suppl\u00e9mentaires. <\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Le contexte<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La coop\u00e9ration avec les humains est un d\u00e9fi important pour la robotique, car les robots seront amen\u00e9s \u00e0 travailler conjointement avec les humains. <strong>CORSMAL<\/strong> consid\u00e8re un sc\u00e9nario de coop\u00e9ration typique dans lequel un humain et un robot se transmettent un objet inconnu et partiellement occult\u00e9, comme par exemple un verre ou une tasse partiellement remplie de liquide, ce qui rend extr\u00eamement difficile la d\u00e9termination des affordances et des points de prise appropri\u00e9s. La caract\u00e9risation des objets partiellement observables est en effet l&rsquo;un des probl\u00e8mes les plus critiques pour instancier des actions robotiques appropri\u00e9es.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"483\" height=\"362\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/Corsmal-illustration-prise-objet.png\" alt=\"\" class=\"wp-image-7927\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/Corsmal-illustration-prise-objet.png 483w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/Corsmal-illustration-prise-objet-300x225.png 300w\" sizes=\"auto, (max-width: 483px) 100vw, 483px\" \/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Bien que la m\u00e9catronique des manipulateurs robotiques ait atteint un niveau de sophistication consid\u00e9rable, la manipulation d&rsquo;objets aux propri\u00e9t\u00e9s physiques inconnues dans des sc\u00e8nes du monde r\u00e9el reste extr\u00eamement difficile. Cela est principalement d\u00fb \u00e0 l&rsquo;absence de mod\u00e8les appropri\u00e9s et d&rsquo;une quantit\u00e9 suffisante de donn\u00e9es pour l&rsquo;apprentissage de ces mod\u00e8les. Les progr\u00e8s sont \u00e9galement entrav\u00e9s par l&rsquo;absence d&rsquo;une masse critique de chercheuses et chercheurs abordant et \u00e9valuant la m\u00eame t\u00e2che \u00e0 l&rsquo;aide d&rsquo;un ensemble de donn\u00e9es commun.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour r\u00e9soudre ce probl\u00e8me, <strong>CORSMAL<\/strong> construira, gr\u00e2ce \u00e0 l&rsquo;inclusion de priorit\u00e9s physiques et de connaissances du domaine, des mod\u00e8les d&rsquo;apprentissage qui fonctionnent avec moins de donn\u00e9es. En outre, <strong>CORSMAL<\/strong> mettra les donn\u00e9es d&rsquo;entra\u00eenement et les mod\u00e8les \u00e0 la disposition des autres chercheuses et chercheurs et, pour faciliter le partage des donn\u00e9es et l&rsquo;implication de la communaut\u00e9 des scientifiques, organisera deux d\u00e9fis lors de conf\u00e9rences internationales. Ces d\u00e9fis et l&rsquo;\u00e9valuation associ\u00e9e illustreront l&rsquo;interaction humain-robot typique qui a lieu lorsque le robot est charg\u00e9 de manipuler des objets arbitraires manipul\u00e9s quotidiennement par les humains.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"604\" height=\"350\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-schema.png\" alt=\"\" class=\"wp-image-7929\" style=\"width:453px;height:263px\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-schema.png 604w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-schema-300x174.png 300w\" sizes=\"auto, (max-width: 604px) 100vw, 604px\" \/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Les objectifs<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Les questions scientifiques sp\u00e9cifiques que CORSMAL abordera sont :\u00a0<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; Peut-on imiter la capacit\u00e9 humaine d&rsquo;apprendre \u00e0 partir de quelques exemples et d&rsquo;adapter rapidement la manipulation en fusionnant de multiples indices ?\u00a0<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; Pouvons-nous reproduire la capacit\u00e9 humaine \u00e0 pr\u00e9dire les affordances et les forces applicables appropri\u00e9es pour le transfert d&rsquo;objets inconnus \u00e0 partir d&rsquo;indices partiels ?\u00a0<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; Pouvons-nous apprendre efficacement les compromis entre les mod\u00e8les sp\u00e9cifiques au manipulateur et les mod\u00e8les g\u00e9n\u00e9ralis\u00e9s par le partage des donn\u00e9es pour une reconnaissance et une manipulation pr\u00e9cise et robuste des objets ?\u00a0<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour r\u00e9pondre \u00e0 ces questions, <strong>CORSMAL<\/strong> \u00e9tudiera, concevra et validera de nouveaux mod\u00e8les et technologies d&rsquo;apprentissage pour combler l&rsquo;\u00e9cart entre la perception et la manipulation d&rsquo;objets inconnus par le biais de la d\u00e9tection multimodale, de l&rsquo;apprentissage automatique et de l&rsquo;adaptation de mod\u00e8les. Le projet  vise \u00e0 cr\u00e9er un syst\u00e8me artificiel capable d&rsquo;apprendre des primitives de mouvement adapt\u00e9es \u00e0 l&rsquo;interaction physique humain-robot. Le syst\u00e8me doit am\u00e9liorer sa compr\u00e9hension de l&rsquo;environnement en utilisant les mod\u00e8les appris et les observations d&rsquo;un humain pour fa\u00e7onner les affordances du robot dans la manipulation d&rsquo;objets.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans ce projet, l&rsquo;\u00e9quipe de l&rsquo;<strong>ISIR<\/strong> se concentrera sur le probl\u00e8me de la pr\u00e9hension. En effet, un robot n&rsquo;est toujours pas capable de saisir un objet aux propri\u00e9t\u00e9s inconnues, en mouvement et partiellement cach\u00e9, comme il l&rsquo;est lorsqu&rsquo;il est tenu dans une main humaine.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Les r\u00e9sultats<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Les humains peuvent sentir, peser et saisir divers objets, et en d\u00e9duire simultan\u00e9ment leurs propri\u00e9t\u00e9s mat\u00e9rielles tout en appliquant la bonne quantit\u00e9 de force. Nous voulons reproduire cela avec notre syst\u00e8me robotique. Pour ce faire, nous avons besoin d&rsquo;obtenir des informations sur l&rsquo;interaction entre notre robot et l&rsquo;objet \u00e0 saisir.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Notre approche combinera les deux m\u00e9thodes existantes pour r\u00e9soudre le probl\u00e8me de la pr\u00e9hension : la m\u00e9thode analytique et la m\u00e9thode bas\u00e9e sur les donn\u00e9es (illustr\u00e9e dans la figure ci-dessous).<\/p>\n\n\n\n<figure class=\"wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex\">\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"945\" height=\"858\" data-id=\"7931\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-figure-1.png\" alt=\"\" class=\"wp-image-7931\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-figure-1.png 945w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-figure-1-300x272.png 300w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-figure-1-768x697.png 768w\" sizes=\"auto, (max-width: 945px) 100vw, 945px\" \/><\/figure>\n<\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">La main du robot sera pr\u00e9form\u00e9e en fonction de la forme primitive de l&rsquo;objet, en s&rsquo;inspirant des approches bas\u00e9es sur les donn\u00e9es qui \u00e9tudient la fa\u00e7on dont les humains effectuent des saisies, ce qui permet de r\u00e9duire l&rsquo;espace de recherche pour les saisies appropri\u00e9es. Nous initierons ensuite la fermeture de la main jusqu&rsquo;\u00e0 ce qu&rsquo;un maximum de contacts soit \u00e9tabli avec l&rsquo;objet. Sur la base des emplacements des points de contact et des positions des articulations, nous obtiendrons les emplacements de contact dans l&rsquo;espace 3D, ainsi que la somme des forces appliqu\u00e9es \u00e0 l&rsquo;objet. Nous rechercherons les forces appliqu\u00e9es pour obtenir une fermeture de force par une combinaison de points de contact. Lorsque la fermeture de force n&rsquo;est pas atteinte, une approche analytique aidera \u00e0 trouver le point de contact o\u00f9 placer\/replacer un doigt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Notre approche sera test\u00e9e et valid\u00e9e avec la main Wonik Allegro Hand with 16 DOF \u00e9quip\u00e9e de 368 capteurs tactiles de Xela electronics r\u00e9partis sur les phalanges de la main, sa paume et le bout de ses doigts.<\/p>\n\n\n\n<figure class=\"wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-2 is-layout-flex wp-block-gallery-is-layout-flex\">\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"710\" height=\"739\" data-id=\"7933\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-main.png\" alt=\"\" class=\"wp-image-7933\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-main.png 710w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-main-288x300.png 288w\" sizes=\"auto, (max-width: 710px) 100vw, 710px\" \/><\/figure>\n<\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Partenaires et collaborations<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Ce travail est soutenu par le projet europ\u00e9en <strong>CORSMAL<\/strong> dans le cadre de programme CHIST-ERA, sujet d&rsquo;appel : Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR) et a re\u00e7u des financements du Engineering and Physical Sciences Research Council (EPSRC-UK), de l&rsquo;Agence Nationale de la Recherche (ANR), et du Fonds National Suisse de la Recherche Scientifique.<\/p>\n\n\n\n<div class=\"wp-block-media-text alignwide is-stacked-on-mobile\" style=\"grid-template-columns:29% auto\"><figure class=\"wp-block-media-text__media\"><img loading=\"lazy\" decoding=\"async\" width=\"437\" height=\"131\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-logo.png\" alt=\"\" class=\"wp-image-7935 size-full\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-logo.png 437w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/corsmal-logo-300x90.png 300w\" sizes=\"auto, (max-width: 437px) 100vw, 437px\" \/><\/figure><div class=\"wp-block-media-text__content\">\n<p class=\"wp-block-paragraph\">Les partenaires du projet sont :<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.qmul.ac.uk\" data-type=\"URL\" data-id=\"https:\/\/www.qmul.ac.uk\" target=\"_blank\" rel=\"noreferrer noopener\">Queen Mary University of London<\/a> &#8211; Royaume-Uni, (coordinateur du projet), <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; ISIR de <a rel=\"noreferrer noopener\" href=\"https:\/\/www.sorbonne-universite.fr\" data-type=\"URL\" data-id=\"https:\/\/www.sorbonne-universite.fr\" target=\"_blank\">Sorbonne Universit\u00e9<\/a> &#8211; France,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a rel=\"noreferrer noopener\" href=\"https:\/\/www.epfl.ch\/fr\/\" data-type=\"URL\" data-id=\"https:\/\/www.epfl.ch\/fr\/\" target=\"_blank\">\u00c9cole Polytechnique F\u00e9d\u00e9rale de Lausanne<\/a> (EPFL) \u2013 Suisse.<\/p>\n<\/div><\/div>\n\n\n\n<hr class=\"wp-block-separator has-css-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\">En savoir plus sur <strong>CORSMAL<\/strong> : <a rel=\"noreferrer noopener\" href=\"https:\/\/corsmal.eecs.qmul.ac.uk\/index.html\" target=\"_blank\">corsmal.eecs.qmul.ac.uk<\/a><\/p>\n","protected":false},"featured_media":8031,"template":"","isir_project_types":[236],"isir_teams":[264],"class_list":["post-7926","isir_projects","type-isir_projects","status-publish","has-post-thumbnail","hentry","isir_project_types-all-projects-fr","isir_teams-asimov"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects\/7926","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_projects"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/8031"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=7926"}],"wp:term":[{"taxonomy":"isir_project_types","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_project_types?post=7926"},{"taxonomy":"isir_teams","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_teams?post=7926"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}