Projet Tralalam – Translating with Large Language Models
Entraînés sur des giga corpus multilingues, les modèles de langue (LLM) peuvent être employés à diverses fins. Une des finalités possibles est la traduction automatique, tâche pour laquelle l’approche à base de LLM permet de répondre simplement à deux points difficiles :
- la prise en charge d’un contexte étendu et enrichi (par des exemples ou des entrées de dictionaires terminologiques) ;
- et la prise en charge de domaines et directions de traduction pour lesquels les données d’apprentissage parallèles sont lacunaires, voire inexistantes.
Le projet Tralalam, accepté dans le cadre de l’appel ANR 2023 portant sur les très grands modèles de langue (LLM), se positionne au croisement de l’intelligence artificielle, de la linguistique et de la traduction automatique.
Porté par l’entreprise Systran, le projet Tralalam implique également l’ISIR de Sorbonne Université et l’équipe-projet ALMAnaCH du centre Inria de Paris. Cette synergie entre le secteur privé et la recherche académique renforce la qualité et la diversité des compétences mises en œuvre pour atteindre les objectifs du projet.
Description du projet par François Yvon, membre du projet à l’ISIR.
Défis et perspectives des grands modèles de langue pour la traduction automatique
Le projet TraLaLaM vise à explorer l’utilisation de grands modèles de langue (LLM) pour la traduction automatique, en posant deux questions principales :
- dans quels scénarios les informations contextuelles peuvent-elles être utilisées efficacement par le biais de prompts ?
- pour les scénarios à faibles ressources (en mettant l’accent sur les dialectes et les langues régionales), les LLM peuvent-ils être affinés efficacement sans aucune donnée parallèle ?
Analyse approfondie de ces modèles de langue
L’objectif principal du projet est d’analyser en profondeur la pertinence des LLM.
D’une part, nous nous concentrerons sur des cas d’usage industriels en étudiant des scénarios d’adaptation au domaine, de prise en compte de données terminologiques ou de mémoires de traduction, qui correspondent à des situations réalistes. D’autre part, nous nous intéresserons à la réalisation d’un système de traduction automatique depuis et vers toutes les langues de France à partir d’un LLM massivement monololingue et entrainé avec peu (voire pas du tout) de données parallèles.
Des défis scientifiques significatifs sont à relever, tels que l’extension de modèles pré-entrainés à de nouvelles langues très peu dotées ou encore la prise en charge de textes très idiomatiques, présentant de nombreuses instances d’alternance codique entre une langue minoritaire et le français.
Évaluation des modèles et solutions pour les langues de France
Du point de vue industriel, Tralalam vise à évaluer les coûts et compromis computationnels VS la performance induits par l’utilisation des LLM en traduction automatique. Ces nouvelles architectures ont le potentiel de transformer en profondeur la manière d’entrainer et de déployer opérationnellement des systèmes de traductions. Les outils actuels sont soit toutefois trop gourmands en calcul, soit bien moins performants que les modèles de traduction optimisés pour cette seule tâche.
Concernant les langues de France, en partenariat avec divers acteurs représentant les communautés linguistiques concernées, nous souhaitons aboutir à des solutions opérationnelles pour certaines applications bien ciblées, telles que la traduction de pages Wikipedia, de textes administratifs ou réglementaires, etc.
Le projet Tralalam trouve naturellement sa place au sein l’ISIR, plus précisément dans la thématique « Grands Modèles de Langues » de l’équipe MLIA. Cette équipe s’intéresse à l’étude et au développement de modèles de langue pour des applications en traitement automatique des langues, en recherche d’information, en traitement d’images, en robotique – avec la possibilité de combiner les signaux d’entrée et de sortie (texte+audio, texte+image, texte+actions, etc).
Contact scientifique : François Yvon, directeur de recherche CNRS
