PANORAMA | ISIR

Project PANORAMA: adaPtive Artificial iNtelligence fOR humAn coMputer interAction

The key concept of this project is “user adaptive AI in the context of human-computer interaction”. This project addresses two aspects for this concept. First, we will conduct research on user adaptivity of artificial intelligence embodied as a conversational agent. When people talk to other people, they change their verbal and nonverbal communication behaviors according to those of the partner. Therefore, user adaptivity is an essential issue in improving human-agent interaction.

Context

Communication style is also different depending on the culture, and adapting the agent behaviors to a target culture is useful. We will tackle this problem by employing a machine learning approach. However, a bottleneck of this approach is that annotating users’ multi-modal behaviors to create training data is time consuming. We will offer semi-automated annotations and provide visual feedback to inspect and correct machine-generated labels by incorporating eXplainable AI (XAI) techniques. Thus, the concept for user adaptive AI is used to support users in creating multimodal corpus as well as improve the human-agent interaction. Moreover, the concept of user adaptivity is also focused on the psychological studies in this project, in which user motivation will be investigated in one relevant use case (personalised motivational coaching for physical activity). Therefore, this project envisions a new research methodology for machine-learning-based conversational agents by focusing on the concept of user adaptivity.

Objectives

The PANORAMA project aims to accomplish the following 5 research goals:

– propose a user adaptive multimodal annotation tool based on XAI technique,

– exploit this tool to collect annotated multimodal corpora in three countries (France, Germany, and Japan),

– propose models and methods for developing conversational agents with multi-level adaptation functionality, where nonverbal signals of the agent as well as the content of the dialogue are adapted to the user,

– provide multitask learning and transfer learning techniques to learn models using the multi-cultural corpus obtained and adapt the conversational agent to each culture,

– and propose the design basis of adaptive AI systems grounded in psychological theories and evaluation studies.

Results

Adaptive AI interface impacts the economy and the future society.

First, user adaptive technology enhances the quality of human-computer interaction and this contributes to improve task performance and productivity of the users in industries.

Moreover, user adaptive AI will effectively motivate the users to adopt a healthy lifestyle in the long term, and this may change people’s lives in the future society.

Partnerships and collaborations

– Coordinator: Intelligent User Interface Lab (IUI-Lab), Seikei University, Japan,

– Human-Centered Multimedia (HCM), Augsburg University, Germany,

– Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne University France,

– Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSI), group CPU, France,

– Social Signal Interaction Lab, Japan Advanced Institution of Science and Technology, JAIST, Japan.

Projet PANORAMA : adaPtive Artificial iNtelligence fOR humAn coMputer interAction

Le concept clé de ce projet est « l’Intelligence Artificielle adaptative de l’utilisateur dans le contexte de l’interaction humain-machine ». Des recherches seront menées sur l’adaptabilité de l’utilisateur de l’intelligence artificielle incarnée en tant qu’agent conversationnel. Lorsque les gens parlent à d’autres personnes, ils modifient leurs comportements de communication verbale et non verbale en fonction de ceux du partenaire. L’adaptabilité de l’utilisateur est donc une question essentielle pour améliorer l’interaction entre l’homme et l’agent.

Le contexte

Le style de communication est également différent selon la culture, et il est utile d’adapter les comportements des agents à la culture cible. Nous nous attaquerons à ce problème en utilisant une approche d’apprentissage automatique. Cependant, une des limites de cette approche est que l’annotation des comportements multimodaux des utilisateurs pour créer des données de formation prend du temps.

Nous proposerons des annotations semi-automatisées et fournirons un retour d’information visuel pour inspecter et corriger les étiquettes générées par la machine en incorporant des techniques d’IA explicables (XAI). Ainsi, le concept d’IA adaptative est utilisé pour aider les utilisateurs à créer des corpus multimodaux ainsi qu’à améliorer l’interaction homme-agent. En outre, le concept d’adaptabilité de l’utilisateur est également axé sur les études psychologiques de ce projet, dans lequel la motivation de l’utilisateur sera étudiée dans un cas d’utilisation pertinent (coaching motivationnel personnalisé pour l’activité physique).

Par conséquent, ce projet envisage une nouvelle méthodologie de recherche pour les agents conversationnels basés sur l’apprentissage machine en se concentrant sur le concept d’adaptabilité de l’utilisateur.

Les objectifs

Le projet PANORAMA vise à atteindre les 5 objectifs de recherche suivants :

– proposer un outil d’annotation multimodale adaptative pour l’utilisateur basé sur la technique XAI,

– exploiter cet outil pour collecter des corpus multimodaux annotés dans trois pays (France, Allemagne et Japon),

– proposer des modèles et des méthodes pour développer des agents conversationnels avec une fonctionnalité d’adaptation à plusieurs niveaux, où les signaux non verbaux de l’agent ainsi que le contenu du dialogue sont adaptés à l’utilisateur,

– fournir des techniques d’apprentissage multitâches et de transfert pour apprendre des modèles en utilisant le corpus multiculturel obtenu et adapter l’agent conversationnel à chaque culture,

– et proposer la base de conception de systèmes d’IA adaptative fondés sur des théories psychologiques et des études d’évaluation.

Les résultats

L’interface d’IA adaptative a un impact sur l’économie et la société future.

Premièrement, la technologie adaptative de l’utilisateur améliore la qualité de l’interaction homme-machine, ce qui contribue à améliorer les performances et la productivité des utilisateurs dans les industries.

Deuxièmement, l’IA adaptative motivera efficacement les utilisateurs à adopter un mode de vie sain à long terme, ce qui pourrait changer la vie des gens dans la société future.