{"id":10965,"date":"2024-04-25T10:28:26","date_gmt":"2024-04-25T08:28:26","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_news&p=10965"},"modified":"2024-04-26T11:03:39","modified_gmt":"2024-04-26T09:03:39","slug":"modele-locost-une-alternative-aux-transformers-pour-le-traitement-de-gros-volumes-de-texte","status":"publish","type":"isir_news","link":"https:\/\/www.isir.upmc.fr\/actualites\/modele-locost-une-alternative-aux-transformers-pour-le-traitement-de-gros-volumes-de-texte\/","title":{"rendered":"MOD\u00c8LE LOCOST\u00a0: UNE ALTERNATIVE AUX \u00ab\u00a0TRANSFORMERS\u00a0\u00bb POUR LE TRAITEMENT DE GROS VOLUMES DE TEXTE"},"content":{"rendered":"\n

LOCOST : LOng COntext abstractive summarization with STate-space models<\/em><\/strong><\/h4>\n\n\n\n

Alors que la quantit\u00e9 de donn\u00e9es textuelles g\u00e9n\u00e9r\u00e9es chaque jour continue d’augmenter de mani\u00e8re exponentielle, les besoins en outils capables de synth\u00e9tiser, analyser et comprendre de vastes quantit\u00e9s de texte sont devenus essentiels dans de nombreux domaines. L’\u00e9tat de l’art, repr\u00e9sent\u00e9 par les architectures neuronales bas\u00e9es sur les \u00ab\u00a0transformers\u00a0\u00bb, pr\u00e9sente des limitations en termes de consommation de ressources, surtout lorsque les textes \u00e0 traiter sont longs. <\/p>\n\n\n\n

Le mod\u00e8le LOCOST \u00e9merge dans ce contexte o\u00f9 la demande de traitement automatique du langage naturel est grandissante. Il vise \u00e0 trouver une m\u00e9thode plus \u00e9conome en ressources, capable de traiter des textes de plusieurs dizaines de pages. LOCOST repr\u00e9sente une r\u00e9ponse innovante aux d\u00e9fis pos\u00e9s par le traitement de textes longs, ouvrant ainsi de nouvelles perspectives pour l’analyse et la compr\u00e9hension de l’information textuelle \u00e0 grande \u00e9chelle.<\/p>\n\n\n\n

Ce travail est men\u00e9 par une \u00e9quipe de chercheurs et chercheuses de diverses institutions fran\u00e7aises et singapouriennes, impliquant l\u2019ISIR (CNRS<\/a>\/Sorbonne Universit\u00e9<\/a>), le LAMSADE<\/a> (CNRS<\/a>\/Universit\u00e9 Paris Dauphine-PSL<\/a>), le Criteo AI Lab<\/a>, l\u2019Institute for Infocomm Research<\/a> (A*Star), le Nanyang Technological University<\/a>, et AgroParisTech<\/a>.<\/p>\n\n\n\n

Description du mod\u00e8le LOCOST par les membres de l’ISIR impliqu\u00e9s dans ces travaux. <\/em><\/p>\n\n\n\n

L\u2019innovation face aux mod\u00e8les traditionnels de traitement de texte<\/strong><\/h4>\n\n\n\n

Le principal d\u00e9fi du mod\u00e8le LOCOST est de trouver une alternative efficace aux mod\u00e8les qui repr\u00e9sentent l’\u00e9tat de l’art en g\u00e9n\u00e9ration de texte appel\u00e9s \u00ab transformers \u00bb. Bien que ces derniers soient largement utilis\u00e9s pour la g\u00e9n\u00e9ration de texte, ils consomment des ressources de calcul consid\u00e9rables lorsqu’ils sont confront\u00e9s \u00e0 des textes de grande taille. <\/p>\n\n\n\n

C’est l\u00e0 qu’intervient l’innovation apport\u00e9e par LOCOST, en utilisant une architecture encodeur-d\u00e9codeur bas\u00e9e sur les mod\u00e8les \u00e0 espace d’\u00e9tat avec une complexit\u00e9 sous-quadratique en fonction de l’entr\u00e9e du mod\u00e8le. L’\u00e9quipe de recherche a r\u00e9ussi \u00e0 concevoir un syst\u00e8me capable de g\u00e9rer des s\u00e9quences textuelles allant jusqu’\u00e0 500 000 mots, tout en offrant des performances comparables aux \u00ab transformers \u00bb traditionnels. Cependant, ce qui distingue vraiment ce mod\u00e8le, c’est son efficacit\u00e9 : il permet d’\u00e9conomiser jusqu’\u00e0 50% de m\u00e9moire lors de l’entra\u00eenement et jusqu’\u00e0 87% lors de l’inf\u00e9rence.<\/p>\n\n\n\n

Vers de nouveaux horizons textuels<\/strong><\/h4>\n\n\n\n

Les applications de cette d\u00e9couverte sont vastes. Non seulement elle ouvre la voie \u00e0 un traitement plus efficace des textes longs, mais elle propose \u00e9galement de nouvelles perspectives pour des domaines tels que le droit, la m\u00e9decine et la litt\u00e9rature, qui n\u00e9cessite le traitement de grands volumes de texte. <\/p>\n\n\n\n

Les membres du projet ont d\u00e9j\u00e0 commenc\u00e9 \u00e0 explorer diverses applications pour leur mod\u00e8le, notamment pour le r\u00e9sum\u00e9 automatique de texte longs tels que des documents scientifiques, des rapports administratifs et des livres. Cependant, les possibilit\u00e9s ne s’arr\u00eatent pas l\u00e0. L\u2019\u00e9quipe envisage \u00e9galement d’\u00e9tendre leur architecture \u00e0 d’autres t\u00e2ches de g\u00e9n\u00e9ration de texte, telles que la traduction de documents longs, ainsi qu’\u00e0 d’autres modalit\u00e9s telles que le traitement de fichiers tableurs. <\/p>\n\n\n\n

Bien que l’architecture \u00e0 espace d’\u00e9tat utilis\u00e9e par LOCOST soit encore relativement r\u00e9cente, l’\u00e9quipe de recherche est optimiste quant \u00e0 son potentiel d’am\u00e9lioration future. Ils esp\u00e8rent affiner davantage leur syst\u00e8me pour le rendre encore plus efficient et performant. <\/p>\n\n\n\n

Le mod\u00e8le LOCOST repr\u00e9sente ainsi une avanc\u00e9e dans le domaine du traitement automatique du langage naturel. Les travaux publi\u00e9s sous le titre \u201cLOCOST: State-Space Models for Long Document Abstractive Summarization\u201d ont \u00e9t\u00e9 distingu\u00e9 par le prix Best Paper Award lors de la 18\u00e8me<\/sup> Conference of the European Chapter of the Association for Computational Linguistics (EACL 2024) qui s\u2019est tenue du 17 au 22 mars 2024. En proposant une alternative efficace et \u00e9conome en ressources aux mod\u00e8les existants, ces travaux ouvrent la voie \u00e0 de nouvelles perspectives de traitement de texte, o\u00f9 les documents longs peuvent \u00eatre analys\u00e9s et r\u00e9sum\u00e9s de mani\u00e8re plus rapide et plus pr\u00e9cise.<\/p>\n\n\n

\n
\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button>
Florian Le Bronnec et Song Duong, doctorants \u00e0 l’ISIR, lors de la conf\u00e9rence EACL 2024. <\/em><\/figcaption><\/figure>\n<\/div>\n\n\n
\n\n\n\n

Contact scientifique \u00e0 l\u2019ISIR<\/strong> : Florian Le Bronnec<\/a>, doctorant ; Song Duong<\/a>, doctorant ; Laure Soulier<\/a>, ma\u00eetresse de conf\u00e9rences ; et Patrick Gallinari<\/a>, professeur des Universit\u00e9s.<\/p>\n\n\n\n

Lien vers le papier<\/strong> : https:\/\/arxiv.org\/abs\/2401.17919<\/a><\/p>\n\n\n\n

\n\n\n\n

Publi\u00e9 le 25 avril 2024. <\/em><\/p>\n","protected":false},"featured_media":10966,"template":"","isir_news_categories":[240],"class_list":["post-10965","isir_news","type-isir_news","status-publish","has-post-thumbnail","hentry","isir_news_categories-recherche"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news\/10965","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_news"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/10966"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=10965"}],"wp:term":[{"taxonomy":"isir_news_categories","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news_categories?post=10965"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}