{"id":10162,"date":"2024-01-16T15:56:11","date_gmt":"2024-01-16T14:56:11","guid":{"rendered":"https:\/\/www.isir.upmc.fr\/?post_type=isir_news&#038;p=10162"},"modified":"2024-01-17T10:36:12","modified_gmt":"2024-01-17T09:36:12","slug":"projet-tralalam-exploration-des-grands-modeles-de-langue-pour-la-traduction-automatique","status":"publish","type":"isir_news","link":"https:\/\/www.isir.upmc.fr\/actualites\/projet-tralalam-exploration-des-grands-modeles-de-langue-pour-la-traduction-automatique\/","title":{"rendered":"PROJET TRALALAM : EXPLORATION DES GRANDS MOD\u00c8LES DE LANGUE POUR LA TRADUCTION AUTOMATIQUE"},"content":{"rendered":"\n<h4 class=\"wp-block-heading\"><strong><em>Projet Tralalam \u2013&nbsp;<\/em><\/strong><strong><em>Translating with Large Language Models&nbsp;<\/em><\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Entra\u00een\u00e9s sur des giga corpus multilingues, les mod\u00e8les de langue (LLM) peuvent \u00eatre employ\u00e9s \u00e0 diverses fins. Une des finalit\u00e9s possibles est la traduction automatique, t\u00e2che pour laquelle l&rsquo;approche \u00e0 base de LLM permet de r\u00e9pondre simplement \u00e0 deux points difficiles&nbsp;:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>la prise en charge d&rsquo;un contexte \u00e9tendu et enrichi (par des exemples ou des entr\u00e9es de dictionaires terminologiques) ;<\/li>\n\n\n\n<li>et la prise en charge de domaines et directions de traduction pour lesquels les donn\u00e9es d&rsquo;apprentissage parall\u00e8les sont lacunaires, voire inexistantes.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Le projet Tralalam, accept\u00e9 dans le cadre de l&rsquo;appel ANR 2023 portant sur les tr\u00e8s grands mod\u00e8les de langue (LLM), se positionne au croisement de l&rsquo;intelligence artificielle, de la linguistique et de la traduction automatique.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Port\u00e9 par\u00a0<a href=\"https:\/\/www.systransoft.com\/fr\/\">l&rsquo;entreprise Systran<\/a>, le projet Tralalam implique \u00e9galement l\u2019ISIR de <a href=\"https:\/\/www.sorbonne-universite.fr\" target=\"_blank\" rel=\"noreferrer noopener\">Sorbonne Universit\u00e9 <\/a>et l&rsquo;\u00e9quipe-projet\u00a0<a href=\"https:\/\/www.inria.fr\/fr\/almanach\">ALMAnaCH<\/a>\u00a0du\u00a0<a href=\"https:\/\/www.inria.fr\/fr\/centre-inria-de-paris\">centre Inria de Paris<\/a>. Cette synergie entre le secteur priv\u00e9 et la recherche acad\u00e9mique renforce la qualit\u00e9 et la diversit\u00e9 des comp\u00e9tences mises en \u0153uvre pour atteindre les objectifs du projet.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Description du projet par Fran\u00e7ois Yvon, membre du projet \u00e0 l\u2019ISIR.&nbsp;<\/em><\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>D\u00e9fis et perspectives des grands mod\u00e8les de langue pour la traduction automatique<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Le projet TraLaLaM vise \u00e0 explorer l&rsquo;utilisation de grands mod\u00e8les de langue (LLM) pour la traduction automatique, en posant deux questions principales :&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>dans quels sc\u00e9narios les informations contextuelles peuvent-elles \u00eatre utilis\u00e9es efficacement par le biais de prompts ?<\/li>\n\n\n\n<li>pour les sc\u00e9narios \u00e0 faibles ressources (en mettant l&rsquo;accent sur les dialectes et les langues r\u00e9gionales), les LLM peuvent-ils \u00eatre affin\u00e9s efficacement sans aucune donn\u00e9e parall\u00e8le ?<\/li>\n<\/ul>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>Analyse approfondie de ces mod\u00e8les de langue<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;objectif principal du projet est d&rsquo;analyser en profondeur la pertinence des LLM.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">D\u2019une part, nous nous concentrerons sur des cas d&rsquo;usage industriels en \u00e9tudiant des sc\u00e9narios d&rsquo;adaptation au domaine, de prise en compte de donn\u00e9es terminologiques ou de m\u00e9moires de traduction, qui correspondent \u00e0 des situations r\u00e9alistes. D\u2019autre part, nous nous int\u00e9resserons \u00e0 la r\u00e9alisation d&rsquo;un syst\u00e8me de traduction automatique depuis et vers toutes les langues de France \u00e0 partir d&rsquo;un LLM massivement monololingue et entrain\u00e9 avec peu (voire pas du tout) de donn\u00e9es parall\u00e8les.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Des d\u00e9fis scientifiques significatifs sont \u00e0 relever, tels que l&rsquo;extension de mod\u00e8les pr\u00e9-entrain\u00e9s \u00e0 de nouvelles langues tr\u00e8s peu dot\u00e9es ou encore la prise en charge de textes tr\u00e8s idiomatiques, pr\u00e9sentant de nombreuses instances d&rsquo;alternance codique entre une langue minoritaire et le fran\u00e7ais.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\"><strong>\u00c9valuation des mod\u00e8les et solutions pour les langues de France<\/strong><\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Du point de vue industriel, Tralalam vise \u00e0 \u00e9valuer les co\u00fbts et compromis computationnels VS la performance induits par l&rsquo;utilisation des LLM en traduction automatique. Ces nouvelles architectures ont le potentiel de transformer en profondeur la mani\u00e8re d&rsquo;entrainer et de d\u00e9ployer op\u00e9rationnellement des syst\u00e8mes de traductions. Les outils actuels sont soit toutefois trop gourmands en calcul, soit bien moins performants que les mod\u00e8les de traduction optimis\u00e9s pour cette seule t\u00e2che.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Concernant les langues de France, en partenariat avec divers acteurs repr\u00e9sentant les communaut\u00e9s linguistiques concern\u00e9es, nous souhaitons aboutir \u00e0 des solutions op\u00e9rationnelles pour certaines applications bien cibl\u00e9es, telles que la traduction de pages Wikipedia, de textes administratifs ou r\u00e9glementaires, etc.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"681\" src=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2024\/01\/projet-Tralalam-image2-1024x681.png\" alt=\"\" class=\"wp-image-10165\" style=\"width:558px;height:auto\" srcset=\"https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2024\/01\/projet-Tralalam-image2-1024x681.png 1024w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2024\/01\/projet-Tralalam-image2-300x200.png 300w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2024\/01\/projet-Tralalam-image2-768x511.png 768w, https:\/\/www.isir.upmc.fr\/wp-content\/uploads\/2024\/01\/projet-Tralalam-image2.png 1048w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Le projet Tralalam trouve naturellement sa place au sein l\u2019ISIR, plus pr\u00e9cis\u00e9ment dans la th\u00e9matique \u00ab\u00a0Grands Mod\u00e8les de Langues\u00a0\u00bb de l&rsquo;\u00e9quipe MLIA. Cette \u00e9quipe s\u2019int\u00e9resse \u00e0 l&rsquo;\u00e9tude et au d\u00e9veloppement de mod\u00e8les de langue pour des applications en traitement automatique des langues, en recherche d&rsquo;information, en traitement d&rsquo;images, en robotique \u2013 avec la possibilit\u00e9 de combiner les signaux d&rsquo;entr\u00e9e et de sortie (texte+audio, texte+image, texte+actions, etc).&nbsp;<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Contact scientifique&nbsp;<\/strong>: <a href=\"https:\/\/www.isir.upmc.fr\/personnel\/yvon\/\">Fran\u00e7ois Yvon<\/a>, directeur de recherche CNRS<\/p>\n","protected":false},"featured_media":10167,"template":"","isir_news_categories":[240],"class_list":["post-10162","isir_news","type-isir_news","status-publish","has-post-thumbnail","hentry","isir_news_categories-recherche"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news\/10162","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_news"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/10167"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=10162"}],"wp:term":[{"taxonomy":"isir_news_categories","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_news_categories?post=10162"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}