Le projet TAPAS vise à développer des outils et des méthodes de formation aux compétences sociales (de l’anglais SST : Social Skill Training) pour une grande variété de population. Les compétences sociales font référence à la gestion des comportements verbaux et non verbaux lors d’une interaction avec une ou plusieurs personnes. Les personnes qui ont des difficultés à interagir avec les autres souffrent d’utiliser de manière appropriée leurs comportements sociaux et de les interpréter chez les autres. Les thérapeutes utilisent les SST (formation aux compétences sociales) pour former les personnes à pratiquer l’interaction sociale et à surmonter leur peur sociale. Elle repose sur le jeu de rôle comme moyen de mettre les participants dans une situation sociale contrôlée.
Le contexte
La SST conventionnelle est une méthode établie qui a été développée à l’origine pour réduire l’anxiété et l’inconfort, et pour apprendre les compétences appropriées requises lors des interactions sociales. Elle améliore efficacement les compétences sociales des personnes atteintes de TSA (Trouble du spectre de l’autisme).
Le modèle de formation de base des SST suit cinq étapes : instruction, modelage, jeu de rôle, retour d’information et devoirs. En outre, nous allons modéliser la thérapie cognitivo-comportementale (TCC), telle que le « recadrage cognitif », qui est une technique utile pour comprendre les sentiments et les humeurs malheureux, et pour remettre en question les « croyances automatiques » parfois erronées qui peuvent se cacher derrière eux. Elle exige de former les utilisateurs à gérer leurs propres comportements multimodaux ainsi qu’à prêter attention et à s’adapter au comportement de leurs interlocuteurs dans une situation de stress social (par exemple parler en public).
Les objectifs
Le projet TAPAS développera des outils et des méthodes permettant aux SST de fournir une formation personnalisée aux compétences sociales et d’aider à surmonter le stress social dans ces situations quotidiennes impliquant une présentation à l’école et au travail.
Notre objectif est de développer une plateforme permettant aux participants de jouer des rôles dans les interactions sociales. La population ciblée est constituée d’individus neurotypiques, mais aussi d’individus présentant différentes échelles de pathologies sociales, notamment la timidité, l’alexithymie et les troubles du spectre autistique (TSA). La conception de la plateforme s’inspirera de deux méthodes courantes de formation aux compétences sociales : la SST conventionnelle et la thérapie cognitivo-comportementale.
Les résultats
Nous concevrons trois scénarios pertinents qui formeront différents ensembles de compétences sociales :
- former l’utilisateur à travailler sur une tâche commune avec un ou plusieurs pair(s) virtuel(s),
- former l’utilisateur à maintenir l’attention et l’engagement d’un (petit) public virtuel lors de la présentation de certains documents,
- former l’utilisateur à présenter conjointement avec un pair virtuel un travail commun devant un petit public virtuel.
Partenariats et collaborations
- Institut des Systèmes Intelligents et de Robotique (ISIR), France,
- Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSI), CPU group, France,
- Nara Institute of Science and Technology, Data Science Center, Japan.
Le concept clé de ce projet est « l’Intelligence Artificielle adaptative de l’utilisateur dans le contexte de l’interaction humain-machine ». Des recherches seront menées sur l’adaptabilité de l’utilisateur de l’intelligence artificielle incarnée en tant qu’agent conversationnel. Lorsque les gens parlent à d’autres personnes, ils modifient leurs comportements de communication verbale et non verbale en fonction de ceux du partenaire. L’adaptabilité de l’utilisateur est donc une question essentielle pour améliorer l’interaction entre l’homme et l’agent.
Le contexte
Le style de communication est également différent selon la culture, et il est utile d’adapter les comportements des agents à la culture cible. Nous nous attaquerons à ce problème en utilisant une approche d’apprentissage automatique. Cependant, une des limites de cette approche est que l’annotation des comportements multimodaux des utilisateurs pour créer des données de formation prend du temps.
Nous proposerons des annotations semi-automatisées et fournirons un retour d’information visuel pour inspecter et corriger les étiquettes générées par la machine en incorporant des techniques d’IA explicables (XAI). Ainsi, le concept d’IA adaptative est utilisé pour aider les utilisateurs à créer des corpus multimodaux ainsi qu’à améliorer l’interaction homme-agent. En outre, le concept d’adaptabilité de l’utilisateur est également axé sur les études psychologiques de ce projet, dans lequel la motivation de l’utilisateur sera étudiée dans un cas d’utilisation pertinent (coaching motivationnel personnalisé pour l’activité physique).
Par conséquent, ce projet envisage une nouvelle méthodologie de recherche pour les agents conversationnels basés sur l’apprentissage machine en se concentrant sur le concept d’adaptabilité de l’utilisateur.
Les objectifs
Le projet PANORAMA vise à atteindre les 5 objectifs de recherche suivants :
- proposer un outil d’annotation multimodale adaptative pour l’utilisateur basé sur la technique XAI,
- exploiter cet outil pour collecter des corpus multimodaux annotés dans trois pays (France, Allemagne et Japon),
- proposer des modèles et des méthodes pour développer des agents conversationnels avec une fonctionnalité d’adaptation à plusieurs niveaux, où les signaux non verbaux de l’agent ainsi que le contenu du dialogue sont adaptés à l’utilisateur,
- fournir des techniques d’apprentissage multitâches et de transfert pour apprendre des modèles en utilisant le corpus multiculturel obtenu et adapter l’agent conversationnel à chaque culture,
- et proposer la base de conception de systèmes d’IA adaptative fondés sur des théories psychologiques et des études d’évaluation.
Les résultats
L’interface d’IA adaptative a un impact sur l’économie et la société future.
Premièrement, la technologie adaptative de l’utilisateur améliore la qualité de l’interaction homme-machine, ce qui contribue à améliorer les performances et la productivité des utilisateurs dans les industries.
Deuxièmement, l’IA adaptative motivera efficacement les utilisateurs à adopter un mode de vie sain à long terme, ce qui pourrait changer la vie des gens dans la société future.
Partenariats et collaborations
- Coordinateur du projet : Intelligent User Interface Lab (IUI-Lab), Université de Seikei, Japon,
- Human-Centered Multimedia (HCM), Université d’Augsbourg, Allemagne,
- Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne Université, France,
- Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSI), groupe CPU, France,
- Social Signal Interaction Lab, Japan Advanced Institution of Science and Technology, JAIST, Japon.
