{"id":7780,"date":"2022-04-12T11:40:05","date_gmt":"2022-04-12T09:40:05","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_projects&#038;p=7780"},"modified":"2025-06-03T11:50:47","modified_gmt":"2025-06-03T09:50:47","slug":"index","status":"publish","type":"isir_projects","link":"https:\/\/www.isir.upmc.fr\/projets\/index\/","title":{"rendered":"INDEX"},"content":{"rendered":"\n<h3 class=\"wp-block-heading\">Projet INDEX: Robot In-hand Dexterous manipulation by extracting data from human manipulation of objects to improve robotic autonomy and dexterity<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Le projet <strong>InDex<\/strong> vise \u00e0 comprendre comment les humains manipulent des objets avec leurs mains et reproduire les mouvements observ\u00e9s avec des mains artificielles dextres, en fusionnant les concepts d&rsquo;apprentissage par renforcement et par transfert pour g\u00e9n\u00e9raliser les capacit\u00e9s de manipulation pour de multiples objets et t\u00e2ches. De plus, une abstraction et une repr\u00e9sentation des connaissances ant\u00e9rieures seront fondamentales pour la reproductibilit\u00e9 des comp\u00e9tences acquises sur diff\u00e9rents mat\u00e9riels. L&rsquo;apprentissage utilisera des informations provenant de plusieurs modalit\u00e9s qui seront collect\u00e9es, annot\u00e9es et assembl\u00e9es dans un grand ensemble de donn\u00e9es. Les donn\u00e9es et nos m\u00e9thodes seront partag\u00e9es avec la communaut\u00e9 de recherche au sens large afin de permettre des tests par rapport \u00e0 des points de r\u00e9f\u00e9rence et la reproduction des r\u00e9sultats.<\/p>\n\n\n\n<figure class=\"wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex\">\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"681\" height=\"1024\" data-id=\"7785\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0020-681x1024.jpg\" alt=\"\" class=\"wp-image-7785\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0020-681x1024.jpg 681w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0020-200x300.jpg 200w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0020-768x1154.jpg 768w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0020-1022x1536.jpg 1022w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0020-1363x2048.jpg 1363w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0020.jpg 1597w\" sizes=\"auto, (max-width: 681px) 100vw, 681px\" \/><figcaption class=\"wp-element-caption\">\u00a9 Cyril FR\u00c9SILLON \/&nbsp;ISIR&nbsp;\/ CNRS Phototh\u00e8que<\/figcaption><\/figure>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1597\" height=\"2400\" data-id=\"7783\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0032.jpg\" alt=\"\" class=\"wp-image-7783\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0032.jpg 1597w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0032-200x300.jpg 200w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0032-681x1024.jpg 681w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0032-768x1154.jpg 768w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0032-1022x1536.jpg 1022w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/CNRS_20140001_0032-1363x2048.jpg 1363w\" sizes=\"auto, (max-width: 1597px) 100vw, 1597px\" \/><figcaption class=\"wp-element-caption\">\u00a9 Cyril FR\u00c9SILLON \/&nbsp;ISIR&nbsp;\/ CNRS Phototh\u00e8que<\/figcaption><\/figure>\n<\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Le contexte <\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;\u00eatre humain excelle lorsqu&rsquo;il s&rsquo;agit de manipuler des objets du quotidien, d&rsquo;apprendre de nouvelles comp\u00e9tences et de s&rsquo;adapter \u00e0 des environnements diff\u00e9rents ou complexes. Il s&rsquo;agit de comp\u00e9tences fondamentales pour notre survie et d&rsquo;une caract\u00e9ristique essentielle de notre monde d&rsquo;artefacts et de dispositifs fabriqu\u00e9s par l&rsquo;homme. Notre capacit\u00e9 \u00e0 utiliser nos mains est le r\u00e9sultat d&rsquo;une vie d&rsquo;apprentissage, \u00e0 la fois en observant d&rsquo;autres humains comp\u00e9tents et en d\u00e9couvrant par nous-m\u00eames comment manipuler des objets. Malheureusement, les mains robotis\u00e9es d&rsquo;aujourd&rsquo;hui sont encore incapables d&rsquo;atteindre un tel niveau de dext\u00e9rit\u00e9 par rapport aux humains et les syst\u00e8mes ne sont pas non plus enti\u00e8rement capables de comprendre leur propre potentiel.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Les objectifs <\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Pour que les robots puissent v\u00e9ritablement fonctionner dans un monde humain et r\u00e9pondre aux attentes en tant qu&rsquo;assistants intelligents, ils doivent \u00eatre capables de manipuler une grande vari\u00e9t\u00e9 d&rsquo;objets inconnus en ma\u00eetrisant leurs capacit\u00e9s de force, de souplesse et de subtilit\u00e9. Pour atteindre une telle dext\u00e9rit\u00e9 avec des mains robotiques, une aptitude cognitive est n\u00e9cessaire pour faire face aux incertitudes du monde r\u00e9el et pour g\u00e9n\u00e9raliser les comp\u00e9tences acquises pr\u00e9c\u00e9demment \u00e0 de nouveaux objets et t\u00e2ches. En outre, nous affirmons que la complexit\u00e9 de la programmation doit \u00eatre fortement r\u00e9duite et que l&rsquo;autonomie des robots doit devenir beaucoup plus naturelle.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Les objectifs principaux sont :<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; la construction d&rsquo;une architecture de perception artificielle multimodale qui extrait des donn\u00e9es de manipulation d&rsquo;objets par des humains,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; la cr\u00e9ation d&rsquo;un ensemble de donn\u00e9es multimodales de t\u00e2ches de manipulation avec la main telles que la pr\u00e9hension, la r\u00e9orientation et le repositionnement fin,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; le d\u00e9veloppement d&rsquo;un syst\u00e8me avanc\u00e9 de mod\u00e9lisation et de reconnaissance d&rsquo;objets, comprenant la caract\u00e9risation des affordances et des propri\u00e9t\u00e9s de pr\u00e9hension des objets, afin de capturer \u00e0 la fois les informations explicites et les utilisations implicites possibles des objets,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; l&rsquo;apprentissage autonome et l&rsquo;imitation pr\u00e9cise des strat\u00e9gies humaines dans les t\u00e2ches de manipulation,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; et la construction d&rsquo;un lien entre l&rsquo;observation et l&rsquo;ex\u00e9cution, permettant un d\u00e9ploiement ind\u00e9pendant de l&rsquo;architecture du robot.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Les objectifs de l&rsquo;\u00e9quipe de l&rsquo;ISIR sont de concevoir :<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; un planificateur en temps r\u00e9el pour la saisie et la manipulation robotique, <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; une commande de r\u00e9troaction optimale pour d\u00e9terminer les \u00e9tats interm\u00e9diaires qui donnent les meilleures performances possibles pour la transition d&rsquo;un \u00e9tat initial \u00e0 l&rsquo;\u00e9tat d\u00e9sir\u00e9 suivant,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; des contr\u00f4leurs multimodaux de bas niveau qui permettent \u00e0 la main artificielle de manipuler l&rsquo;objet cibl\u00e9 en tenant compte du fait que le syst\u00e8me robotique a besoin de sources d&rsquo;information diverses et vari\u00e9es pendant la s\u00e9quence d&rsquo;action, ce qui donne lieu \u00e0 une structure de commande complexe, <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; le r\u00e9glage de la saisie, la tenue d&rsquo;un objet dans une main exige que les doigts maintiennent fermement l&rsquo;objet sans aucun glissement et r\u00e9sistent aux perturbations externes li\u00e9es ; en d&rsquo;autres termes, la prise doit \u00eatre stable.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Les r\u00e9sultats <\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La manipulation robotique de la main est bas\u00e9e sur une combinaison de mouvements primitifs humains. Les mouvements primitifs ont \u00e9t\u00e9 extraits et test\u00e9s pour \u00eatre efficaces dans la reconstitution des trajectoires. Le planificateur de trajectoire en temps r\u00e9el est en cours de conception et combine les mouvements primitifs sous les contraintes de la manipulation robotique \u00e0 la main pour g\u00e9n\u00e9rer les trajectoires.&nbsp;&nbsp;&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Partenariats et collaborations <\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Ce travail est soutenu par le projet europ\u00e9en InDex dans le cadre du programme CHIST-ERA, sujet d&rsquo;appel \u00ab\u00a0Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR)\u00a0\u00bb. Le projet a re\u00e7u un financement du Minist\u00e8re italien de l&rsquo;\u00e9ducation et de la recherche (MIUR), du Fonds scientifique autrichien (FWF) sous la convention de subvention n\u00b0 I3969-N30, de l&rsquo;Engineering and Physical Sciences Research Council (EPSRC-UK) sous la r\u00e9f\u00e9rence EP\/S032355\/1 et de l&rsquo;Agence Nationale de la Recherche (ANR) sous la convention de subvention n\u00b0 ANR-18-CHR3-0004.<\/p>\n\n\n\n<div class=\"wp-block-media-text alignwide is-stacked-on-mobile\" style=\"grid-template-columns:38% auto\"><figure class=\"wp-block-media-text__media\"><img loading=\"lazy\" decoding=\"async\" width=\"322\" height=\"239\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/index.png\" alt=\"\" class=\"wp-image-7788 size-full\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/index.png 322w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/04\/index-300x223.png 300w\" sizes=\"auto, (max-width: 322px) 100vw, 322px\" \/><\/figure><div class=\"wp-block-media-text__content\">\n<p class=\"wp-block-paragraph\"><strong>Les partenaires du projets sont :\u00a0<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.aston.ac.uk\" data-type=\"URL\" data-id=\"https:\/\/www.aston.ac.uk\" target=\"_blank\" rel=\"noreferrer noopener\">Universit\u00e9 Aston<\/a> &#8211; Royaume-Uni (coordinateur),<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.tuwien.at\" data-type=\"URL\" data-id=\"https:\/\/www.tuwien.at\" target=\"_blank\" rel=\"noreferrer noopener\">Universit\u00e9<\/a> <a href=\"https:\/\/www.tuwien.at\" data-type=\"URL\" data-id=\"https:\/\/www.tuwien.at\" target=\"_blank\" rel=\"noreferrer noopener\">Technique de Vienne<\/a> &#8211; Autriche,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/ut.ee\/en\" data-type=\"URL\" data-id=\"https:\/\/ut.ee\/en\" target=\"_blank\" rel=\"noreferrer noopener\">Universit\u00e9 de Tartu<\/a> &#8211; Estonie,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.sorbonne-universite.fr\" data-type=\"URL\" data-id=\"https:\/\/www.sorbonne-universite.fr\" target=\"_blank\" rel=\"noreferrer noopener\">Sorbonne Universit\u00e9<\/a> &#8211; France,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/unige.it\/en\" data-type=\"URL\" data-id=\"https:\/\/unige.it\/en\" target=\"_blank\" rel=\"noreferrer noopener\">Universit\u00e9 of G\u00eanes<\/a> &#8211; Italie.<\/p>\n<\/div><\/div>\n","protected":false},"featured_media":7947,"template":"","isir_project_types":[236],"isir_teams":[264],"class_list":["post-7780","isir_projects","type-isir_projects","status-publish","has-post-thumbnail","hentry","isir_project_types-all-projects-fr","isir_teams-asimov"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects\/7780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_projects"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/7947"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=7780"}],"wp:term":[{"taxonomy":"isir_project_types","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_project_types?post=7780"},{"taxonomy":"isir_teams","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_teams?post=7780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}