{"id":5801,"date":"2021-04-12T11:56:48","date_gmt":"2021-04-12T09:56:48","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_projects&#038;p=5801"},"modified":"2025-02-07T10:19:31","modified_gmt":"2025-02-07T09:19:31","slug":"apprentissage-ouvert-en-robotique","status":"publish","type":"isir_projects","link":"https:\/\/www.isir.upmc.fr\/projets\/apprentissage-ouvert-en-robotique\/","title":{"rendered":"Apprentissage ouvert en robotique"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">La robotique repr\u00e9sente un d\u00e9fi pour les m\u00e9thodes d\u2019apprentissage car elle combine les difficult\u00e9s&nbsp;suivantes : espaces d\u2019\u00e9tat et d\u2019action de grande dimension et continus, r\u00e9compenses rares, monde dynamique, ouvert et partiellement observable avec des perceptions et des actions bruit\u00e9es. Leur mise en \u0153uvre est donc d\u00e9licate et n\u00e9cessite une analyse pouss\u00e9e des t\u00e2ches \u00e0 accomplir, ce qui r\u00e9duit leur potentiel d\u2019application. Dans le <a rel=\"noreferrer noopener\" href=\"http:\/\/dream.isir.upmc.fr\/\" data-type=\"URL\" data-id=\"http:\/\/dream.isir.upmc.fr\/\" target=\"_blank\">projet Europ\u00e9en DREAM<\/a>, nous avons d\u00e9fini les bases d\u2019une approche d\u00e9veloppementale permettant de combiner diff\u00e9rentes m\u00e9thodes pour r\u00e9duire ces contraintes et donc augmenter les capacit\u00e9s d\u2019adaptation des robots par le biais de l\u2019apprentissage.&nbsp;<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"Des robots qui apprennent\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/sWuhXqDniUk?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Le contexte<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La conception de robots n\u00e9cessite d\u2019anticiper toutes les conditions auxquelles ils peuvent \u00eatre confront\u00e9s et de pr\u00e9voir les comportements appropri\u00e9s. Une situation impr\u00e9vue peut donc provoquer un dysfonctionnement susceptible de se reproduire si les m\u00eames conditions surviennent de nouveau. Ce manque d\u2019adaptation est un frein \u00e0 de nombreuses applications de la robotique, en particulier lorsqu\u2019elles ciblent un environnement non contr\u00f4l\u00e9 comme notre environnement quotidien (pour des robots compagnons, par exemple) ou plus g\u00e9n\u00e9ralement pour des robots collaboratifs, c\u2019est-\u00e0-dire agissant au contact d\u2019humains. Les m\u00e9thodes d\u2019apprentissage artificiel pourraient aider \u00e0 rendre les robots plus adaptatifs, si toutefois elles parviennent \u00e0 surmonter les multiples difficult\u00e9s li\u00e9es au contexte de la robotique. Ce sont ces difficult\u00e9s sp\u00e9cifiques que ce projet se propose d\u2019aborder.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Les objectifs<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">L\u2019objectif du projet est d\u2019aider \u00e0 concevoir des robots en interaction avec un environnement non contr\u00f4l\u00e9, sur des t\u00e2ches pour lesquelles le comportement d\u00e9sir\u00e9 est partiellement connu ou m\u00eame totalement inconnu. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans ce contexte, l\u2019apprentissage permet de laisser le robot explorer&nbsp;son environnement en autonomie, afin d\u2019en extraire des repr\u00e9sentations sensorielles, sensori-motrices ou purement motrices pertinentes. Par exemple, apprendre \u00e0 reconna\u00eetre des objets, identifier sont ceux qui sont manipulables, apprendre \u00e0 les saisir, les pousser, les jeter, etc. Explorer le vaste espace sensori-moteur de mani\u00e8re pertinente&nbsp;est central, d\u2019autant plus que nombre d\u2019interactions sont rares (la probabilit\u00e9 d\u2019attraper un objet avec un mouvement purement al\u00e9atoire est quasiment nulle). <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous nous int\u00e9ressons donc \u00e0 la construction de ces repr\u00e9sentations et nous appuyons sur une approche modulaire et it\u00e9rative visant \u00e0 explorer les capacit\u00e9s du robot et \u00e0 en d\u00e9duire des repr\u00e9sentations qui faciliteront la r\u00e9solution des t\u00e2ches qui se pr\u00e9sentent, que ce soit avec des m\u00e9thodes&nbsp;de planification ou d\u2019apprentissage.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Les r\u00e9sultats<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La cr\u00e9ation de repr\u00e9sentations d\u2019\u00e9tats et d\u2019actions susceptibles de servir ult\u00e9rieurement n\u00e9cessite dans un premier temps de g\u00e9n\u00e9rer des comportements pertinents&nbsp;par rapport aux capacit\u00e9s du robot. Un comportement est pertinent s\u2019il met en avant la capacit\u00e9 du robot \u00e0 obtenir un effet particulier en interagissant avec son environnement. Sachant que beaucoup de mouvements du robot ne cr\u00e9ent aucun effet, d\u00e9couvrir les effets que le robot est susceptible de g\u00e9n\u00e9rer est difficile. A cela s\u2019ajoute la difficult\u00e9 d\u2019explorer pour apprendre des comportements sans disposer de repr\u00e9sentations appropri\u00e9es. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous nous appuyons donc sur des algorithmes d\u2019exploration bas\u00e9s notamment sur de la recherche de nouveaut\u00e9 et des algorithmes de Qualit\u00e9-Diversit\u00e9 pour g\u00e9n\u00e9rer des comportements d\u2019exploration en grande quantit\u00e9 et en d\u00e9duire des espace d\u2019\u00e9tat et d\u2019action appropri\u00e9s pour des apprentissages ult\u00e9rieurs.&nbsp;<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"637\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2019\/12\/AMAC_Header-1024x637.jpg\" alt=\"\" class=\"wp-image-2552\" style=\"width:768px;height:478px\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2019\/12\/AMAC_Header-1024x637.jpg 1024w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2019\/12\/AMAC_Header-300x187.jpg 300w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2019\/12\/AMAC_Header-768x478.jpg 768w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2019\/12\/AMAC_Header.jpg 1553w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\"><em>Figure&nbsp;1: Le robot Baxter a appris un r\u00e9pertoire d&rsquo;actions de manipulation du Joystick qu&rsquo;il utilise pour apprendre \u00e0 piloter un petit robot \u00e0 roues.<\/em><\/figcaption><\/figure>\n<\/div>\n\n\n<h3 class=\"wp-block-heading\">Partenariats et collaborations<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Le <a rel=\"noreferrer noopener\" href=\"http:\/\/dream.isir.upmc.fr\/\" data-type=\"URL\" data-id=\"http:\/\/dream.isir.upmc.fr\/\" target=\"_blank\">projet Europ\u00e9en DREAM<\/a>, coordonn\u00e9 par <a rel=\"noreferrer noopener\" href=\"https:\/\/www.sorbonne-universite.fr\" data-type=\"URL\" data-id=\"https:\/\/www.sorbonne-universite.fr\" target=\"_blank\">Sorbonne Universit\u00e9<\/a> (FET H2020 2015-2018), a lanc\u00e9 cette th\u00e9matique de recherche au laboratoire (<a rel=\"noreferrer noopener\" href=\"http:\/\/dream.isir.upmc.fr\/\" target=\"_blank\">http:\/\/dream.isir.upmc.fr\/<\/a>). <\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Son consortium \u00e9tait compos\u00e9 de :<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.ensta-paris.fr\" data-type=\"URL\" data-id=\"https:\/\/www.ensta-paris.fr\" target=\"_blank\" rel=\"noreferrer noopener\">l\u2019ENSTA-ParisTech<\/a>, en France, <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.sorbonne-universite.fr\" data-type=\"URL\" data-id=\"https:\/\/www.sorbonne-universite.fr\" target=\"_blank\" rel=\"noreferrer noopener\">Sorbonne Universit\u00e9<\/a>, en France,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.udc.gal\" data-type=\"URL\" data-id=\"https:\/\/www.udc.gal\" target=\"_blank\" rel=\"noreferrer noopener\">l\u2019Universit\u00e9 de la Corogne<\/a>, en Espagne, <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.ed.ac.uk\" data-type=\"URL\" data-id=\"https:\/\/www.ed.ac.uk\" target=\"_blank\" rel=\"noreferrer noopener\">l\u2019Universit\u00e9 d\u2019\u00c9dimbourg<\/a> au Royaume-Uni,<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&#8211; <a href=\"https:\/\/www.vu.nl\/nl\/index.aspx\" data-type=\"URL\" data-id=\"https:\/\/www.vu.nl\/nl\/index.aspx\" target=\"_blank\" rel=\"noreferrer noopener\">la Vrije Universiteit Amsterdam<\/a> au Pays-Bas. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il s\u2019agissait d\u2019un projet acad\u00e9mique, sans partenaire industriel.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Elle se poursuit dans le cadre de plusieurs projets visant \u00e0 appliquer ces travaux \u00e0 un contexte industriel. La capacit\u00e9 d\u2019adaptation de l\u2019apprentissage est destin\u00e9e \u00e0 aider les ing\u00e9nieurs dans la phase de conception et de mise \u00e0 jour du comportement d\u2019un robot. Le projet Europ\u00e9en SoftManBot (<a href=\"http:\/\/softmanbot.eu\/\">http:\/\/softmanbot.eu<\/a>) vise des applications \u00e0 la manipulation d\u2019objets d\u00e9formables. Il dispose d\u2019un consortium de 11 partenaires, notamment SIGMA, \u00e0 Clermont-Ferrand, l\u2019IIT \u00e0 G\u00eanes et des entreprises comme Decathlon et Michelin. Le projet VeriDREAM (<a href=\"https:\/\/veridream.eu\/\">https:\/\/veridream.eu\/<\/a>), en collaboration avec le DLR, l\u2019ENSTA-Paristech, Magazino GmbH, Synesis et GoodAI, vise \u00e0 faciliter le transfert de ces m\u00e9thodes dans un contexte industriel plus large, incluant en particulier des petites et moyennes entreprises avec un focus sur les secteurs de la logistique et du jeu vid\u00e9o.<\/p>\n","protected":false},"featured_media":2552,"template":"","isir_project_types":[236],"isir_teams":[264,262],"class_list":["post-5801","isir_projects","type-isir_projects","status-publish","has-post-thumbnail","hentry","isir_project_types-all-projects-fr","isir_teams-asimov","isir_teams-mlia"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects\/5801","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_projects"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/2552"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=5801"}],"wp:term":[{"taxonomy":"isir_project_types","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_project_types?post=5801"},{"taxonomy":"isir_teams","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_teams?post=5801"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}