{"id":5125,"date":"2021-01-28T09:35:15","date_gmt":"2021-01-28T08:35:15","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_projects&p=5125"},"modified":"2025-02-07T10:22:59","modified_gmt":"2025-02-07T09:22:59","slug":"cooperation-de-systeme-multiples-dapprentissage-par-renforcement","status":"publish","type":"isir_projects","link":"https:\/\/www.isir.upmc.fr\/projets\/cooperation-de-systeme-multiples-dapprentissage-par-renforcement\/","title":{"rendered":"Coop\u00e9ration de syst\u00e8me multiples d\u2019apprentissage par renforcement"},"content":{"rendered":"\n

Les vert\u00e9br\u00e9s sont capables d\u2019apprendre \u00e0 modifier leur comportement sur la base de r\u00e9compenses et de punitions. Cet apprentissage, dit \u00ab par renforcement \u00bb, est \u00e9galement l\u2019objet de nombreuses recherches en Intelligence Artificielle pour augmenter l\u2019autonomie d\u00e9cisionnelle des robots.<\/p>\n\n\n\n

Comment apprendre par r\u00e9compenses et punitions, le plus vite possible pour un co\u00fbt de calcul minimal ? C\u2019est \u00e0 cette question que nous nous attelons en combinant des algorithmes d\u2019apprentissage par renforcement aux caract\u00e9ristiques compl\u00e9mentaires.<\/p>\n\n\n\n

Ce projet interdisciplinaire vise \u00e0 am\u00e9liorer les performances des robots, mais \u00e9galement \u00e0 mieux expliquer l\u2019apprentissage chez les vert\u00e9br\u00e9s.<\/p>\n\n\n\n

Le contexte <\/h3>\n\n\n\n

L\u2019apprentissage par renforcement distingue deux grandes familles d\u2019algorithmes :<\/p>\n\n\n\n

– ceux qui construisent un mod\u00e8le du monde et raisonnent dessus pour d\u00e9cider quoi faire (MB ou model-based<\/em>). Ils n\u00e9cessitent beaucoup de calculs pour prendre une d\u00e9cision, mais sont tr\u00e8s efficaces, apprennent \u00e0 r\u00e9soudre un probl\u00e8me avec peu d\u2019essais et r\u00e9apprennent tout aussi vite si la t\u00e2che \u00e0 r\u00e9aliser change.<\/p>\n\n\n\n

– ceux sans mod\u00e8les qui apprennent de simple associations \u00e9tat-action (MF ou model-free<\/em>). Ils sont tr\u00e8s peu co\u00fbteux en calcul, mais en contre-partie apprennent lentement et r\u00e9-apprennent encore moins vite.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Les vert\u00e9br\u00e9s, eux, sont capables d\u2019exhiber des comportement dirig\u00e9s vers un but r\u00e9sultant de d\u00e9ductions sur la structure de l\u2019environnement. En cas d\u2019apprentissage prolong\u00e9, ils d\u00e9veloppent des habitudes qui sont difficiles \u00e0 remettre en cause. Il est couramment accept\u00e9, depuis le milieu des ann\u00e9es 2000 (Daw et al., 2005), que les algorithmes MB sont un bon mod\u00e8le des comportements dirig\u00e9s vers un but, et les algorithmes MF un bon mod\u00e8le de la formation d\u2019habitudes.<\/p>\n\n\n\n

Les objectifs<\/h3>\n\n\n\n

Du point de vue de la robotique et de l\u2019IA : <\/strong><\/p>\n\n\n\n

Nous cherchons \u00e0 d\u00e9finir des m\u00e9thodes de coordination de ces deux types d\u2019algorithmes permettant de les combiner au mieux, afin d\u2019apprendre rapidement et de s\u2019adapter aux changement, tout en minimisant les calculs lorsque c\u2019est possible. Nous testons nos r\u00e9alisations dans des t\u00e2ches de navigation robotique et de coop\u00e9ration homme-machine.<\/p>\n\n\n\n

Du point de vue des neurosciences : <\/strong><\/p>\n\n\n\n

Nous cherchons plut\u00f4t \u00e0 expliquer les interactions observ\u00e9es entre comportement flexibles et habituels, qui ne semblent pas n\u00e9cessairement optimales. Cela implique que les m\u00e9thodes de coordination d\u00e9velopp\u00e9es pour la robotique et pour les neurosciences ne sont pas n\u00e9cessairement identiques.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Les r\u00e9sultats<\/h3>\n\n\n\n

Nous avons initialement propos\u00e9 une m\u00e9thode de coordination des algorithmes MB-MF permettant d\u2019expliquer des effets de comp\u00e9tition et de coop\u00e9ration entre syst\u00e8mes d\u2019apprentissage chez le rat (Doll\u00e9 et al., 2010, 2018).<\/p>\n\n\n\n

Elle a ensuite \u00e9t\u00e9 adapt\u00e9e pour son utilisation en navigation robotique (Caluwaerts et al., 2012), et dot\u00e9e \u00e0 l\u2019occasion d\u2019un syst\u00e8me de d\u00e9tection de contexte permettant d\u2019apprendre et de r\u00e9-apprendre rapidement en cas de changement de la t\u00e2che. Le d\u00e9veloppement d\u2019un nouveau crit\u00e8re de coordination prenant en compte explicitement le temps de calcul a permis de proposer un nouveau syst\u00e8me robotique ayant des performances maximales, identiques \u00e0 celles d\u2019un algorithme MB, pour un co\u00fbt de calcul divis\u00e9 par trois (Dromnelle et al., 2020a, 2020b).<\/p>\n\n\n\n

En parall\u00e8le, des mod\u00e8les ont \u00e9t\u00e9 d\u00e9velopp\u00e9s pour expliquer les d\u00e9cisions et les temps de r\u00e9ponse chez l\u2019humain (Viejo et al., 2015) et le macaque (Viejo et al., 2018).<\/p>\n\n\n\n

L\u2019ensemble des r\u00e9alisations de ce projet de fond ont \u00e9t\u00e9 r\u00e9sum\u00e9es dans l\u2019article (en anglais) \u00ab\u00a0Adaptive coordination of multiple learning strategies in brains and robots<\/em>\u00a0\u00bb (Khamassi, 2020).<\/p>\n\n\n\n

Partenariats et collaborations<\/h3>\n\n\n\n

Ces travaux ont \u00e9t\u00e9 men\u00e9s dans le cadre de divers projets, financ\u00e9s entre autres par l\u2019ANR (LU2, STGT, RoboErgoSum), la Ville de Paris (Emergence(s) HABOT), l\u2019Observatoire B2V des m\u00e9moire, le CNRS, etc.<\/p>\n\n\n\n

Ils s\u2019appuient sur des collaborations entre :<\/strong><\/p>\n\n\n\n

– Andrea Brovelli, Institut de Neurosciences de la Timone<\/a> (INT) de Marseille, en France, <\/p>\n\n\n\n

– Raja Chatila, Beno\u00eet Girard et Mehdi Khamassi, Institut des Syst\u00e8mes Intelligents et de Robotique (ISIR) de Paris, en France, <\/p>\n\n\n\n

– Rachid Alami et Aur\u00e9lie Clodic, Laboratoire d’analyse et d’architecture des syst\u00e8mes<\/a> (LAAS) de Toulouse, en France,<\/p>\n\n\n\n

– Emmanuel Procyk, Stem cell and Brain Research Institute<\/a> (SBRI) de Lyon, en France.<\/p>\n","protected":false},"featured_media":5281,"template":"","isir_project_types":[236],"isir_teams":[265],"class_list":["post-5125","isir_projects","type-isir_projects","status-publish","has-post-thumbnail","hentry","isir_project_types-all-projects-fr","isir_teams-acide"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects\/5125","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_projects"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/5281"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=5125"}],"wp:term":[{"taxonomy":"isir_project_types","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_project_types?post=5125"},{"taxonomy":"isir_teams","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_teams?post=5125"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}