![\"\"](\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/06\/ADONIS-projet.png\")
<\/figure>\n<\/figure>\n\n\n\nLe contexte <\/h3>\n\n\n\n
Les mod\u00e8les d’apprentissage automatique modernes, g\u00e9n\u00e9ralement des mod\u00e8les de langage \u00e0 la pointe de la technologie, n\u00e9cessitent d\u2019utiliser des ressources informatiques consid\u00e9rables. Le parall\u00e9lisme des donn\u00e9es s’est concentr\u00e9 sur la distribution des calculs de mani\u00e8re centralis\u00e9e, avec une gamme de GPU g\u00e9r\u00e9s par un CPU central. Toute cette coordination est n\u00e9cessaire pour former des mod\u00e8les \u00e0 grande \u00e9chelle, car l’algorithme de r\u00e9tropropagation largement utilis\u00e9 n\u00e9cessite des calculs en s\u00e9rie \u00e0 travers les couches. Alors qu’un nombre croissant d’appareils informatiques devient disponible sur Internet, peu de litt\u00e9rature traite de la formation dans un environnement h\u00e9t\u00e9rog\u00e8ne et peu fiable. Le projet<\/strong> ADONIS<\/strong> explore les probl\u00e8mes pos\u00e9s lors de la formation d’un mod\u00e8le statistique sur un cluster de dispositifs h\u00e9t\u00e9rog\u00e8nes avec une connectivit\u00e9 variable. Les membres du projet de l’ISIR ont obtenu des r\u00e9sultats encourageants vers l’optimisation asynchrone d\u00e9centralis\u00e9e. Ce projet est motiv\u00e9 par le fait que si la litt\u00e9rature couvre les algorithmes synchrones, la d\u00e9centralisation et l’asynchronisme restent difficiles \u00e0 \u00e9tudier, en particulier dans le cas de l’apprentissage en profondeur. L’apport de l’ISIR en optimisation convexe distribu\u00e9e est l’occasion d’\u00e9tudier le probl\u00e8me d’un point de vue th\u00e9orique, tandis que son exp\u00e9rience en apprentissage d\u00e9centralis\u00e9 sera utile pour souligner la pertinence pratique des apports.<\/p>\n\n\n\n – Le premier objectif du projet est de d\u00e9river un cadre th\u00e9orique pour rendre compte de la dynamique de formation qui doit \u00eatre mod\u00e9lis\u00e9e pour le cas d’utilisation en question. \u00c0 savoir, la formation d’un mod\u00e8le statistique sur un cluster d’appareils h\u00e9t\u00e9rog\u00e8nes avec une connectivit\u00e9 potentiellement mauvaise et une topologie variable devrait b\u00e9n\u00e9ficier de l’\u00e9tude de l’optimisation d\u00e9centralis\u00e9e asynchrone. <\/p>\n\n\n\n – De plus, pour \u00e9valuer dans quelle mesure les r\u00e9sultats th\u00e9oriques atteignent leur objectif dans des cas d’utilisation r\u00e9els, l’objectif du projet est de d\u00e9river des algorithmes comp\u00e9titifs par rapport \u00e0 leurs homologues traditionnels. <\/p>\n\n\n\n – Enfin, le projet propose de d\u00e9river une proc\u00e9dure objective facilement impl\u00e9mentable pour \u00e9valuer les performances de sorte que tout chercheur puisse reproduire tout r\u00e9sultat asynchrone dans un environnement contr\u00f4l\u00e9 et le comparer \u00e0 ses propres contributions.<\/p>\n\n\n\n Le projet<\/strong> ADONIS<\/strong> est motiv\u00e9 par une litt\u00e9rature en \u00e9mergence lente mais plut\u00f4t dispers\u00e9e en optimisation d\u00e9centralis\u00e9e asynchrone. Le PI a initi\u00e9 une ligne de travail sur l’apprentissage glouton qui permet de briser le verrou impos\u00e9 par l’algorithme traditionnel de r\u00e9tropropagation. Bien que ce travail montre des r\u00e9sultats prometteurs sur des jeux de donn\u00e9es du monde r\u00e9el, une premi\u00e8re ligne de r\u00e9sultats th\u00e9oriques est attendue de l’\u00e9tude de l’optimisation convexe asynchrone d\u00e9centralis\u00e9e. \u00c0 savoir, les taux de convergence optimaux et les conditions sur la matrice de connectivit\u00e9 variant dans le temps devraient \u00eatre d\u00e9riv\u00e9s prochainement. Compte tenu de certaines connaissances th\u00e9oriques sur la dynamique de formation d\u00e9centralis\u00e9e, l’un des objectifs est d’adapter les performances de l’apprentissage glouton d\u00e9coupl\u00e9 \u00e0 des ensembles de donn\u00e9es tels que Imagenet. Une meilleure compr\u00e9hension de l’impact des astuces d’ing\u00e9nierie n\u00e9cessaires pour faire face \u00e0 la contrainte de ressources est attendue, plus pr\u00e9cis\u00e9ment sur les strat\u00e9gies de quantification et l’utilisation d’un tampon de relecture. Enfin, un ensemble de proc\u00e9dures objectives pour \u00e9valuer les performances du mod\u00e8le devrait \u00e9merger de l’exp\u00e9rimentation extensive pr\u00e9vue au cours du projet.<\/p>\n\n\n\n Le projet coordonn\u00e9 par l’\u00e9quipe MLIA est structur\u00e9 autour de plusieurs organismes : <\/p>\n\n\n\n – le MILA<\/a> – Institut qu\u00e9b\u00e9cois d’intelligence artificielle de Montr\u00e9al,<\/p>\n\n\n\n – le centre INRIA<\/a> de l’Universit\u00e9 de Lille, <\/p>\n\n\n\n![\"\"](\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2022\/06\/adonis-projet-isir.png\")
<\/figure>\n<\/figure>\n\n\n\nLes objectifs<\/h3>\n\n\n\n
Les r\u00e9sultats <\/h3>\n\n\n\n
Partenariats et collaborations<\/h3>\n\n\n\n