Le projet TraLaLaM vise \u00e0 explorer l’utilisation de grands mod\u00e8les de langue (LLM) pour la traduction automatique, en posant deux questions principales : <\/p>\n\n\n\n
– dans quels sc\u00e9narios les informations contextuelles peuvent-elles \u00eatre utilis\u00e9es efficacement par le biais de prompts ?<\/p>\n\n\n\n
– pour les sc\u00e9narios \u00e0 faibles ressources (en mettant l’accent sur les dialectes et les langues r\u00e9gionales), les LLM peuvent-ils \u00eatre affin\u00e9s efficacement sans aucune donn\u00e9e parall\u00e8le ?<\/p>\n\n\n\n
Accept\u00e9 dans le cadre de l’appel ANR 2023 portant sur les tr\u00e8s grands mod\u00e8les de langue (LLM), le projet se positionne au croisement de l’intelligence artificielle, de la linguistique et de la traduction automatique. <\/p>\n\n\n\n
Entra\u00een\u00e9s sur des giga corpus multilingues, les mod\u00e8les de langue (LLM) peuvent \u00eatre employ\u00e9s \u00e0 diverses fins. Une des finalit\u00e9s possibles est la traduction automatique, t\u00e2che pour laquelle l’approche \u00e0 base de LLM permet de r\u00e9pondre simplement \u00e0 deux points difficiles :<\/p>\n\n\n\n
– la prise en charge d’un contexte \u00e9tendu et enrichi (par des exemples ou des entr\u00e9es de dictionaires terminologiques) ;<\/p>\n\n\n\n
– et la prise en charge de domaines et directions de traduction pour lesquels les donn\u00e9es d’apprentissage parall\u00e8les sont lacunaires, voire inexistantes.<\/p>\n\n\n\n
L’objectif principal du projet est d’analyser en profondeur la pertinence des LLM. <\/p>\n\n\n\n
D\u2019une part, nous nous concentrerons sur des cas d’usage industriels en \u00e9tudiant des sc\u00e9narios d’adaptation au domaine, de prise en compte de donn\u00e9es terminologiques ou de m\u00e9moires de traduction, qui correspondent \u00e0 des situations r\u00e9alistes. D\u2019autre part, nous nous int\u00e9resserons \u00e0 la r\u00e9alisation d’un syst\u00e8me de traduction automatique depuis et vers toutes les langues de France \u00e0 partir d’un LLM massivement monololingue et entrain\u00e9 avec peu (voire pas du tout) de donn\u00e9es parall\u00e8les. <\/p>\n\n\n\n
Des d\u00e9fis scientifiques significatifs sont \u00e0 relever, tels que l’extension de mod\u00e8les pr\u00e9-entrain\u00e9s \u00e0 de nouvelles langues tr\u00e8s peu dot\u00e9es ou encore la prise en charge de textes tr\u00e8s idiomatiques, pr\u00e9sentant de nombreuses instances d’alternance codique entre une langue minoritaire et le fran\u00e7ais.<\/p>\n\n\n\n
Du point de vue industriel, Tralalam vise \u00e0 \u00e9valuer les co\u00fbts et compromis computationnels VS la performance induits par l’utilisation des LLM en traduction automatique. Ces nouvelles architectures ont le potentiel de transformer en profondeur la mani\u00e8re d’entrainer et de d\u00e9ployer op\u00e9rationnellement des syst\u00e8mes de traductions. Les outils actuels sont soit toutefois trop gourmands en calcul, soit bien moins performants que les mod\u00e8les de traduction optimis\u00e9s pour cette seule t\u00e2che.<\/p>\n\n\n\n
Concernant les langues de France, en partenariat avec divers acteurs repr\u00e9sentant les communaut\u00e9s linguistiques concern\u00e9es, nous souhaitons aboutir \u00e0 des solutions op\u00e9rationnelles pour certaines applications bien cibl\u00e9es, telles que la traduction de pages Wikipedia, de textes administratifs ou r\u00e9glementaires, etc.<\/p>\n\n\n\n
Port\u00e9 par l’entreprise Systran<\/a>, le projet Tralalam implique \u00e9galement :<\/p>\n\n\n\n – l\u2019ISIR de Sorbonne Universit\u00e9<\/a>,<\/p>\n\n\n\n – et l’\u00e9quipe-projet\u00a0ALMAnaCH<\/a>\u00a0du\u00a0centre Inria de Paris<\/a>.\u00a0<\/p>\n","protected":false},"featured_media":10219,"template":"","isir_project_types":[236],"isir_teams":[262],"class_list":["post-10221","isir_projects","type-isir_projects","status-publish","has-post-thumbnail","hentry","isir_project_types-all-projects-fr","isir_teams-mlia"],"_links":{"self":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects\/10221","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_projects"}],"about":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/types\/isir_projects"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media\/10219"}],"wp:attachment":[{"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/media?parent=10221"}],"wp:term":[{"taxonomy":"isir_project_types","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_project_types?post=10221"},{"taxonomy":"isir_teams","embeddable":true,"href":"https:\/\/www.isir.upmc.fr\/wp-json\/wp\/v2\/isir_teams?post=10221"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}