Le projet vise à développer des outils et des méthodes de formation aux compétences sociales (SST : Social Skill Training) pour une grande variété de population. Les compétences sociales font référence à la gestion des comportements verbaux et non verbaux lors d’une interaction avec une ou plusieurs personnes. Les personnes qui ont des difficultés à interagir avec les autres souffrent d’utiliser de manière appropriée leurs comportements sociaux et de les interpréter chez les autres. Les thérapeutes utilisent les SST pour former les personnes à pratiquer l’interaction sociale et à surmonter leur peur sociale. Elle repose sur le jeu de rôle comme moyen de mettre les participants dans une situation sociale contrôlée.
Contexte
La SST conventionnelle est une méthode établie qui a été développée à l’origine pour réduire l’anxiété et l’inconfort, et pour apprendre les compétences appropriées requises lors des interactions sociales. Elle améliore efficacement les compétences sociales des personnes atteintes de TSA (Trouble du spectre de l’autisme).
Le modèle de formation de base des SST suit cinq étapes : instruction, modelage, jeu de rôle, retour d’information et devoirs. En outre, nous allons modéliser la thérapie cognitivo-comportementale (TCC), telle que le « recadrage cognitif », qui est une technique utile pour comprendre les sentiments et les humeurs malheureux, et pour remettre en question les « croyances automatiques » parfois erronées qui peuvent se cacher derrière eux. Elle exige de former les utilisateurs à gérer leurs propres comportements multimodaux ainsi qu’à prêter attention et à s’adapter au comportement de leurs interlocuteurs dans une situation de stress social (par exemple parler en public).
Objectifs
Le projet TAPAS développera des outils et des méthodes permettant aux SST de fournir une formation personnalisée aux compétences sociales et d’aider à surmonter le stress social dans ces situations quotidiennes impliquant une présentation à l’école et au travail.
Notre objectif est de développer une plate-forme permettant aux participants de jouer des rôles dans les interactions sociales. La population ciblée est constituée d’individus neurotypiques, mais aussi d’individus présentant différentes échelles de pathologies sociales, notamment la timidité, l’alexithymie et les troubles du spectre autistique (TSA). La conception de la plateforme s’inspirera de deux méthodes courantes de formation aux compétences sociales : la SST conventionnelle et la thérapie cognitivo-comportementale.
Résultats
Nous concevrons trois scénarios pertinents qui formeront différents ensembles de compétences sociales :
- former l’utilisateur à travailler sur une tâche commune avec un ou plusieurs pair(s) virtuel(s),
- former l’utilisateur à maintenir l’attention et l’engagement d’un (petit) public virtuel lors de la présentation de certains documents,
- former l’utilisateur à présenter conjointement avec un pair virtuel un travail commun devant un petit public virtuel.
Partenariats et collaborations
- Nara Institute of Science and Technology, Data Science Center, Japan
- ISIR, Sorbonne Université, France
- LIMSI, CPU group, France
Le concept clé de ce projet est « l’Intelligence Artificielle adaptative de l’utilisateur dans le contexte de l’interaction homme-machine ». Des recherches seront menées sur l’adaptabilité de l’utilisateur de l’intelligence artificielle incarnée en tant qu’agent conversationnel. Lorsque les gens parlent à d’autres personnes, ils modifient leurs comportements de communication verbale et non verbale en fonction de ceux du partenaire. L’adaptabilité de l’utilisateur est donc une question essentielle pour améliorer l’interaction entre l’homme et l’agent.
Contexte
Le style de communication est également différent selon la culture, et il est utile d’adapter les comportements des agents à la culture cible. Nous nous attaquerons à ce problème en utilisant une approche d’apprentissage automatique. Cependant, un des goulots d’étranglement de cette approche est que l’annotation des comportements multimodaux des utilisateurs pour créer des données de formation prend du temps.
Nous proposerons des annotations semi-automatisées et fournirons un retour d’information visuel pour inspecter et corriger les étiquettes générées par la machine en incorporant des techniques d’IA explicables (XAI). Ainsi, le concept d’IA adaptative est utilisé pour aider les utilisateurs à créer des corpus multimodaux ainsi qu’à améliorer l’interaction homme-agent. En outre, le concept d’adaptabilité de l’utilisateur est également axé sur les études psychologiques de ce projet, dans lequel la motivation de l’utilisateur sera étudiée dans un cas d’utilisation pertinent (coaching motivationnel personnalisé pour l’activité physique).
Par conséquent, ce projet envisage une nouvelle méthodologie de recherche pour les agents conversationnels basés sur l’apprentissage machine en se concentrant sur le concept d’adaptabilité de l’utilisateur.
Objectifs
Le projet PANORAMA vise à atteindre les 5 objectifs de recherche suivants :
- proposer un outil d’annotation multimodale adaptative pour l’utilisateur basé sur la technique XAI,
- exploiter cet outil pour collecter des corpus multimodaux annotés dans trois pays (France, Allemagne et Japon),
- proposer des modèles et des méthodes pour développer des agents conversationnels avec une fonctionnalité d’adaptation à plusieurs niveaux, où les signaux non verbaux de l’agent ainsi que le contenu du dialogue sont adaptés à l’utilisateur,
- fournir des techniques d’apprentissage multitâches et de transfert pour apprendre des modèles en utilisant le corpus multiculturel obtenu et adapter l’agent conversationnel à chaque culture,
- et proposer la base de conception de systèmes d’IA adaptative fondés sur des théories psychologiques et des études d’évaluation.
Résultats
L’interface d’IA adaptative a un impact sur l’économie et la société future.
Premièrement, la technologie adaptative de l’utilisateur améliore la qualité de l’interaction homme-machine, ce qui contribue à améliorer les performances et la productivité des utilisateurs dans les industries.
Deuxièmement, l’IA adaptative motivera efficacement les utilisateurs à adopter un mode de vie sain à long terme, ce qui pourrait changer la vie des gens dans la société future.
Partenariats et collaborations
- Coordinateur du projet : Intelligent User Interface Lab (IUI-Lab), Université de Seikei, Japon
- Social Signal Interaction Lab, Japan Advanced Institution of Science and Technology, JAIST, Japon
- LIMSI-CNRS, groupe CPU, France
- ISIR, Sorbonne Université, France
- Human-Centered Multimedia (HCM), Université d’Augsbourg, Allemagne
Contexte
Durant une interaction, nous adaptons nos comportements à plusieurs niveaux : nous nous alignons sur plusieurs niveaux linguistiques (vocabulaire, syntaxe, niveau de formalité), mais aussi au niveau de nos comportements (nous imitons le sourire de l’autre, la posture, notre expressivité gestuelle…), de nos stratégies conversationnelles (pour être perçu plus chaleureux ou compétent)… Cette adaptation multi-niveaux peut avoir beaucoup de fonctions : renforcer l’engagement dans l’interaction, souligner notre relation à l’autre, montrer notre empathie etc.
Les robots et les agents virtuels sont de plus en plus présents dans notre environnement quotidien et il est aujourd’hui indispensable d’améliorer la qualité des interactions afin que ceux-ci soient mieux acceptés et plus performants. Cette interaction ne peut se faire sans une adaptation temps-réel et continue du comportement de l’agent face au comportement de l’utilisateur. Si des modèles de dialogue existent déjà avec des performances satisfaisantes, des progrès restent à faire en ce qui concerne les comportements non verbaux.
La modélisation temporelle conjointe des comportements non verbaux pour améliorer l’interaction entre humain et agent virtuel
L’objectif principal de ce projet est de développer un modèle d’adaptation au niveau des signaux non-verbaux pour favoriser une boucle interactive entre humain et agent. La création de ce modèle nécessite préalablement l’analyse des comportements et la maîtrise de la modélisation des interactions humain/machine. Lors de ce projet, nous prévoyons d’utiliser les réseaux de neurones récurrents pour la modélisation de la bouche interactive entre interactants et d’étudier l’impact de cette boucle sur la qualité de l’interaction et la perception que se construit l’humain de l’agent virtuel.
