{"id":10004,"date":"2023-12-05T12:30:09","date_gmt":"2023-12-05T11:30:09","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_news&#038;p=10004"},"modified":"2023-12-05T14:50:02","modified_gmt":"2023-12-05T13:50:02","slug":"contributions-to-local-asynchronous-and-decentralized-learning-and-to-geometric-deep-learning-soutenance-hdr-dedouard-oyallon","status":"publish","type":"isir_news","link":"https:\/\/www.isir.upmc.fr\/actualites\/contributions-to-local-asynchronous-and-decentralized-learning-and-to-geometric-deep-learning-soutenance-hdr-dedouard-oyallon\/","title":{"rendered":"\u00ab\u00a0CONTRIBUTIONS TO LOCAL, ASYNCHRONOUS AND DECENTRALIZED LEARNING, AND TO GEOMETRIC DEEP LEARNING\u00a0\u00bb, SOUTENANCE HDR D&rsquo;EDOUARD OYALLON"},"content":{"rendered":"\n<div class=\"wp-block-media-text is-stacked-on-mobile\" style=\"grid-template-columns:27% auto\"><figure class=\"wp-block-media-text__media\"><img loading=\"lazy\" decoding=\"async\" width=\"250\" height=\"250\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2023\/12\/Edouard-Oyallon.png\" alt=\"\" class=\"wp-image-10007 size-full\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2023\/12\/Edouard-Oyallon.png 250w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2023\/12\/Edouard-Oyallon-150x150.png 150w\" sizes=\"auto, (max-width: 250px) 100vw, 250px\" \/><\/figure><div class=\"wp-block-media-text__content\">\n<p class=\"wp-block-paragraph\"><strong>Edouard Oyallon<\/strong>, charg\u00e9 de recherche CNRS \u00e0 l&rsquo;ISIR, soutiendra son Habilitation \u00e0 Diriger des Recherches (HDR) le vendredi 8 d\u00e9cembre \u00e0 14h, \u00e0 la Facult\u00e9 des Sciences et Ing\u00e9nierie&nbsp;de Sorbonne Universit\u00e9. <\/p>\n<\/div><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Titre de ses travaux : <strong>Contributions to Local, Asynchronous and Decentralized Learning, and to Geometric Deep Learning<\/strong>. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La constitution du jury est la suivante&nbsp;:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Jamal ATIF, Professeur, Universit\u00e9 Paris Dauphine-PSL (<em>Examinateur<\/em>),<\/li>\n\n\n\n<li>\u00c9milie CHOUZENOUX, Directrice de Recherche, Inria (<em>Rapportrice<\/em>),<\/li>\n\n\n\n<li>Patrick GALLINARI, Professeur, Universit\u00e9 Sorbonne\/Criteo (<em>Examinateur<\/em>),<\/li>\n\n\n\n<li>Julien MAIRAL, Directeur de Recherche, Inria (<em>Rapporteur<\/em>),<\/li>\n\n\n\n<li>Sebastian STICH, Chercheur, CISPA (<em>Rapporteur<\/em>),<\/li>\n\n\n\n<li>Michal VALKO, Chercheur, Inria\/Google Deepmind (<em>Examinateur<\/em>). <\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>R\u00e9sum\u00e9 de l\u2019habilitation<\/strong> :<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les sujets des recherches dont je vais discuter portent sur les notions d\u2019apprentissage distribu\u00e9, d\u2019apprentissage local et d\u2019apprentissage de repr\u00e9sentation profonde sur des vari\u00e9t\u00e9s. Un des points centraux que je cherche \u00e0 d\u00e9velopper est la cr\u00e9ation d\u2019algorithme distribu\u00e9 d\u2019entra\u00eenement de r\u00e9seau de neurones profond, efficace, tant du point de vue du temps de calcul que de la quantit\u00e9 d\u2019op\u00e9ration n\u00e9cessaire pour l\u2019entra\u00eenement. Le premier chapitre correspond \u00e0 une introduction \u00e0 ces domaines ainsi qu\u2019\u00e0 mes activit\u00e9s de recherche. Le second chapitre discute des relations entre le mat\u00e9riel informatique et les paradigmes existants d\u2019entra\u00eenement. Ces interactions sont importantes car elles permettent de promettre ou d\u2019obtenir des am\u00e9liorations significatives des co\u00fbts d\u2019entra\u00eenement des r\u00e9seaux profonds. Le troisi\u00e8me chapitre d\u00e9crit des \u00e9l\u00e9ments initiaux d\u2019une recherche pour cr\u00e9er des repr\u00e9sentations profondes sur vari\u00e9t\u00e9 et graphe. En particulier, nous avons essay\u00e9 de r\u00e9fl\u00e9chir \u00e0 des principes pour mod\u00e9liser de telles architectures. Le quatri\u00e8me chapitre discute des r\u00e9sultats en apprentissage local que j\u2019ai obtenus, et notamment en apprentissage glouton couche par couche. Cela correspond \u00e0 l\u2019id\u00e9e d\u2019entra\u00eener des r\u00e9seaux en proposant des mises \u00e0 jour des poids d\u2019une couche bas\u00e9es uniquement sur des informations locales \u00e0 cette couche, et en utilisant le moins possible d\u2019information globale li\u00e9e \u00e0 toutes les couches. Le cinqui\u00e8me chapitre r\u00e9sume des r\u00e9sultats obtenus en apprentissage asynchrone d\u00e9centralis\u00e9, dans des cadres d\u2019optimisation convexe et d\u2019optimisation de poids de r\u00e9seaux de neurones profonds. Un des int\u00e9r\u00eats de ce type d\u2019approche est leur potentielle sup\u00e9riorit\u00e9, tant d\u2019un point de vue d\u2019impl\u00e9mentation pratique que d\u2019un point de vue algorithmique. Enfin, le dernier chapitre propose des perspectives futures sur ma recherche.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Contact r\u00e9f\u00e9rent<\/strong> : <a href=\"https:\/\/www.isir.upmc.fr\/personnel\/oyallon\/\" target=\"_blank\" rel=\"noreferrer noopener\">Edouard Oyallon<\/a>, charg\u00e9 de recherche CNRS <\/p>\n","protected":false},"featured_media":10014,"template":"","isir_news_categories":[260],"class_list":["post-10004","isir_news","type-isir_news","status-publish","has-post-thumbnail","hentry","isir_news_categories-soutenance"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news\/10004","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_news"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/10014"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=10004"}],"wp:term":[{"taxonomy":"isir_news_categories","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news_categories?post=10004"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}