Edouard Oyallon, chargé de recherche CNRS à l’ISIR, soutiendra son Habilitation à Diriger des Recherches (HDR) le vendredi 8 décembre à 14h, à la Faculté des Sciences et Ingénierie de Sorbonne Université.
Titre de ses travaux : Contributions to Local, Asynchronous and Decentralized Learning, and to Geometric Deep Learning.
La constitution du jury est la suivante :
- Jamal ATIF, Professeur, Université Paris Dauphine-PSL (Examinateur),
- Émilie CHOUZENOUX, Directrice de Recherche, Inria (Rapportrice),
- Patrick GALLINARI, Professeur, Université Sorbonne/Criteo (Examinateur),
- Julien MAIRAL, Directeur de Recherche, Inria (Rapporteur),
- Sebastian STICH, Chercheur, CISPA (Rapporteur),
- Michal VALKO, Chercheur, Inria/Google Deepmind (Examinateur).
Résumé de l’habilitation :
Les sujets des recherches dont je vais discuter portent sur les notions d’apprentissage distribué, d’apprentissage local et d’apprentissage de représentation profonde sur des variétés. Un des points centraux que je cherche à développer est la création d’algorithme distribué d’entraînement de réseau de neurones profond, efficace, tant du point de vue du temps de calcul que de la quantité d’opération nécessaire pour l’entraînement. Le premier chapitre correspond à une introduction à ces domaines ainsi qu’à mes activités de recherche. Le second chapitre discute des relations entre le matériel informatique et les paradigmes existants d’entraînement. Ces interactions sont importantes car elles permettent de promettre ou d’obtenir des améliorations significatives des coûts d’entraînement des réseaux profonds. Le troisième chapitre décrit des éléments initiaux d’une recherche pour créer des représentations profondes sur variété et graphe. En particulier, nous avons essayé de réfléchir à des principes pour modéliser de telles architectures. Le quatrième chapitre discute des résultats en apprentissage local que j’ai obtenus, et notamment en apprentissage glouton couche par couche. Cela correspond à l’idée d’entraîner des réseaux en proposant des mises à jour des poids d’une couche basées uniquement sur des informations locales à cette couche, et en utilisant le moins possible d’information globale liée à toutes les couches. Le cinquième chapitre résume des résultats obtenus en apprentissage asynchrone décentralisé, dans des cadres d’optimisation convexe et d’optimisation de poids de réseaux de neurones profonds. Un des intérêts de ce type d’approche est leur potentielle supériorité, tant d’un point de vue d’implémentation pratique que d’un point de vue algorithmique. Enfin, le dernier chapitre propose des perspectives futures sur ma recherche.
Contact référent : Edouard Oyallon, chargé de recherche CNRS
