Laure Soulier, chercheuse à l’ISIR et maîtresse de conférences à Sorbonne Université, a soutenu son Habilitation à Diriger des Recherches (HDR) le lundi 20 mars 2023 à 14h, sur le campus Pierre et Marie Curie de Sorbonne Université.
Titre des travaux : “Neural language models for faithful data-to-text generation and proactive conversational search”.
La constitution du jury était la suivante :
- Laurent Besacier, Professeur UGA – Principal Scientist -NaverLabs Europe, France, Examinateur,
- Eric Gaussier, Professeur – Université Grenoble Alpes, France, Rapporteur,
- Fabio Crestani, Professeur – Universitá della Svizzera Italiana, Suisse), Examinateur,
- Evangelos Kanoulas, Professeur – University of Amsterdam, Pays-Bas, Rapporteur,
- Marie-Francine Moens, Professeure – KU Leuven, Belgique, Rapportrice,
- Catherine Pelachaud, Directrice de recherche – Sorbonne Université, France, Examinatrice.
Résumé :
Les grands modèles de langue sont désormais prédominants dans la plupart des travaux de recherche en traitement du langage naturel, en recherche d’information ou encore en vision par ordinateur. Ces modèles ont démontré de grandes capacités à capturer la sémantique des éléments et à générer des textes ou des images plausibles. Cependant, leur entraînement guidé par des probabilités et la détection de co-occurrences nuit parfois à la pertinence de leurs résultats. Notre ambition est de discuter et de contribuer à trois enjeux majeurs sous-jacents aux modèles de langue neuronaux dans le cadre d’une tâche de génération de descriptions à partir de données structurées et de recherche d’information conversationnelle.
- Le premier défi se concentre sur la fidélité et la pertinence de la génération de texte, discutant la modélisation des différentes parties des architectures des modèles de langue (i.e., l’encodeur et le décodeur).
- La deuxième question de recherche porte sur la contextualisation des modèles de langue, et notamment sur la contextualisation des besoins en information pour la recherche conversationnelle.
- Enfin, nous étudions la capacité des modèles de langue à s’adapter continuellement aux nouvelles connaissances lorsqu’ils sont utilisés pour effectuer des tâches d’ordonnancement de documents.
Nous concluons par une discussion sur les perspectives prometteuses de ces questions de recherche, et ouvrons également de nouvelles directions pour l’apprentissage automatique et la robotique.
La vidéo de la présentation de Laure Soulier est disponible en ligne.
Les travaux de recherche de Laure Soulier portent sur le développement de modèles basés sur l’apprentissage profond pour la recherche d’information et le traitement automatique de la langue. Ces domaines reposent sur les modèles de langue qui permettent de capturer la sémantique des mots et des phrases. Les modèles récents basés sur l’architecture Transformer, évalués en premier lieu sur des tâches de traduction, sont désormais abordés pour réaliser des tâches de plus en plus complexes, telles que le dialogue, le résumé de textes ou la complétion de codes.
L’objectif des travaux de recherche de Laure Soulier réside dans l’amélioration de ces modèles de langue dans de nombreux domaines d’applications :
– La génération de descriptions textuelles à partir de données structurées où elle a adressé dans un premier temps la problématique de génération factuelles prenant en compte des structures complexes et limitant le phénomène d’hallucination. Elle se concentre désormais sur les verrous de modèles de langue dotés de raisonnement sur les données numériques et de transférabilité de ces modèles à de nouveaux domaines. Elle participe actuellement au projet ANR PRCE ACDC pour aborder ces nouveaux aspects.
– La recherche d’information conversationnelle dont l’objectif est d’augmenter les moteurs de recherche avec des interactions en langage naturel via des systèmes de dialogue. Ces travaux sont réalisés dans le contexte du projet ANR JCJC SESAMS dont elle est responsable. Ses intérêts se focalisent sur la prise en compte et la génération de conversations pour une tâche de recherche d’information. Elle propose des modèles d’ordonnancement de documents contextualisés ou des approches de clarification de questions pour renforcer l’aspect proactif des interactions. Elle aborde également la génération de réponses en langage naturel pour répondre à un besoin d’information complexe sur la base de documents pertinents identifiés par un système de recherche d’information.
– L’apprentissage continu dans le contexte de la recherche d’information où elle analyse le comportement des modèles neuronaux et leur capacité à accumuler de nouvelles connaissances au fur et à mesure de l’apprentissage. Elle a proposé différents scénarios incluant des flux de tâches restreints à 2-3 jeux de données ou des flux longs incluant jusqu’à 74 tâches successives. Des scénarios contrôlés liés à des hypothèses de recherche d’information ont également été abordés.
Elle débute très récemment des travaux dans le domaine de la robotique dans le cadre du projet Européen HORIZON PILLAR. L’objet de ses recherches porteront sur la génération d’instructions en langage naturel pour les robots avec pour objectif d’hybrider les modèles de langue avec l’apprentissage par renforcement.
Contact scientifique : Laure Soulier, maîtresse de conférence
