ANITA – Adaptive iNterfaces for accessible and Inclusive digiTal services for older Adults
Le projet ANITA aborde la question de l’accessibilité et de l’e-inclusion pour les personnes âgées. En utilisant une approche multidisciplinaire et intégrative, nous visons à contribuer à une meilleure compréhension des besoins et des préférences des personnes âgées en ce qui concerne l’accès aux services numériques utilisant des assistants virtuels. Des méthodes qualitatives et expérimentales (associant des évaluations cliniques, des approches UX (expérience utilisateur), de l’apprentissage automatique, des techniques de traitement des signaux sociaux, des méthodes de sciences sociales) permettront une meilleure compréhension des besoins des personnes âgées afin de concevoir des interfaces d’assistants virtuels plus inclusives, efficaces, utiles et accessibles.
À son terme, le projet proposera des moyens concrets de réduire le fossé numérique chez les personnes âgées en identifiant les points clés d’une conception d’interface accessible. Ces résultats seront résumés dans un ensemble de lignes directrices pratiques destinées aux parties prenantes souhaitant s’engager dans une approche de conception inclusive et utiliser ces solutions. ANITA fournira également une base technologique et conceptuelle pour d’autres publics ayant des besoins spécifiques, et qui pourraient également bénéficier de l’adaptabilité dynamique des assistants numériques pour différentes tâches.
Le contexte
Les technologies numériques sont devenues indispensables dans notre vie quotidienne, mais elles peuvent poser des défis pour les personnes âgées qui ne sont pas toujours familières avec ces outils. Le numérique est souvent source d’exclusion pour les seniors. C’est pour cela que le projet ANITA a été mis en place, afin d’aider les personnes âgées à s’approprier les outils numériques et à les utiliser en toute autonomie.
Le projet ANITA – Adaptive iNterfaces for accessible and Inclusive digiTal services for older Adults est un projet ANR qui vise à améliorer l’accessibilité et l’inclusion numérique pour les personnes âgées.
Les objectifs
L’objectif principal d’ANITA est la conception, le développement et l’évaluation d’une plateforme d’assistants virtuels adaptatifs, pour fournir un accès aux services numériques, qui est capable de répondre aux différents besoins et capacités des personnes âgées. Les deux principales caractéristiques du projet sont :
- l’accent mis sur la reconnaissance automatique et dynamique du comportement de l’utilisateur (verbal et non verbal), qui servira de base au système pour fournir des ajustements personnalisés des paramètres d’accessibilité et des modalités d’interaction,
- et la conception de comportements d’interface pour les assistants virtuels qui favorisent l’accessibilité, ainsi que des interactions efficaces et positives lors de l’utilisation du système.
Les résultats
La principale application est la mise en place d’interfaces facilitant l’accès à des services.
ANITA fournira une approche complète de la conception et de l’utilisation des assistants virtuels pour les organismes d’évaluation, en abordant des thèmes tels que la fracture numérique, l’inclusion sociale, les représentations, ainsi que les avantages et les inconvénients liés à l’utilisation des assistants virtuels par les organismes d’évaluation eux-mêmes et par les concepteurs technologiques. Nous examinerons également les risques éthiques (par exemple, la déception, l’attachement, le remplacement de l’assistance humaine, la vulnérabilité, la stigmatisation) et les préoccupations juridiques (par exemple, le consentement, la vie privée, la sécurité) concernant les technologies utilisant l’IA, la collecte de données des utilisateurs et le profilage des utilisateurs pour le fonctionnement efficace des services.
Partenariats et collaborations
Coordonné par l’Hôpital Broca (APHP), le projet implique plusieurs partenaires européens à savoir :
- le Laboratoire d’Informatique de Grenoble (LIG),
- l’Assistance Publique des Hôpitaux de Paris (APHP),
- l’ISIR de Sorbonne Université,
- et Spoon .
Projet VirtuAlz – Outil de formation par simulation « Patient Virtuel » pour des professionnels des secteurs sanitaire et medicosocial travaillant auprès de personnes atteintes de la maladie d’Alzheimer ou maladies apparentées.
Comment permettre aux soignants, en particulier infirmiers et aides-soignants, de surmonter les difficultés à interagir au quotidien avec les patients atteints de la maladie d’Alzheimer ? Comment les former aux bons gestes et à une communication appropriée à chaque stade de la maladie ? Comment peut-on améliorer la pratique professionnelle par la simulation ? C’est en réponse à ce besoin de formation exprimé par les professionnels de santé qu’est né le projet VirtuAlz.
Le jeu sérieux VirtuAlz est conçu pour fournir, aux professionnels en gériatrie, un module de formation au raisonnement clinique et aux compétences de communication non verbales en proposant différents scénarii de situations critiques fréquemment rencontrées et de prise, en charge délicate (i.e refus de prise de médicaments, déambulation), dans un cadre sécurisé.
Le contexte
Les capacités de communication des personnes présentant la maladie d’Alzheimer ou autre maladie apparentée (MAAD) s’altèrent avec le temps, à mesure que s’aggravent les pertes de mémoire et/ou les atteintes de certaines fonctions cognitives. Ces troubles dégradent la qualité de leurs relations avec leurs aidants et soignants, et cette dimension serait peu prise en compte dans la formation initiale et continue des professionnels de santé.
Une préparation insuffisante, en particulier en communication non verbale à laquelle ces patients seraient très sensibles, serait aujourd’hui la cause de nombreuses dicultés rencontrées par les soignants. Les formations pour les professionnels de santé au contact et en charge de personnes atteintes de troubles cognitifs devraient inclure des connaissances non seulement théoriques, mais également pratiques afin de communiquer efficacement avec ces patients et de gérer des situations complexes en respectant leur sécurité et dignité.
Ces compétences, pourtant essentielles pour les professionnels de santé et le personnel en charge des personnes atteintes de la maladie d’Alzheimer sont aujourd’hui insuffisamment maîtrisées et rarement enseignées, que ce soit en formation initiale ou en formation continue.
Les objectifs
Le projet VirtuAlz avait pour objectif d’élaborer, de développer et d’évaluer un patient virtuel (PV) qui pouvait simuler des symptômes de maladie d’Alzheimer, sur le plan verbal et non verbal (expression du visage, posture, mouvements). Le projet s’est appuyé sur l’analyse de l’activité en situation de travail pour la formation, la scénarisation de simulation numérique relationnelle avec patient virtuel et l’interprétation automatisée et en temps réel du comportement de l’apprenant à partir de signaux sociaux (mouvements, gestes, expressions faciales, distance interpersonnelle).
Les résultats
Dans les pré-tests, nous avons évalué les qualités ergonomiques du dispositif et des scénarii proposés à l’aide d’entretiens et de questionnaires auprès de professionnels de santé. Cette étape a permis de faire les modifications techniques nécessaires dans le dispositif.
Puis, nous avons conduit deux vagues d’expérimentations, incluant deux scénarios (« la prise de médicaments » et « la déambulation ») auprès de professionnels de santé et montré que le dispositif Virtualz permettait d’interagir avec un patient virtuel utilisable, acceptable et ayant un bon niveau de réalisme selon ces professionnels.
Nous avons pu développer la génération de comportements du patient virtuel tels que des comportements verbaux (voix synthétisée) et non verbaux (mouvements du corps et de la tête, direction du regard, expressions faciales) imitant un patient âgé présentant des signes de la maladie d’Alzheimer (apathie, perte de mémoire, agitation, agressivité ou refus de soins). Le stagiaire pouvait interagir en langage naturel avec le patient virtuel par le biais d’une simulation en magicien d’Oz. La plateforme développée analyse le flux vidéo et transmet en temps-réel une suite de symboles décrivant les comportements non-verbaux du professionnel de santé aux autres modules informatiques du projet VirtuALZ.
Un aspect essentiel du jeu sérieux Virtualz concernait l’évaluation automatique des comportements non verbaux (expressions faciales, proxémie, toucher facial, mouvements, postures) des apprenants capturés pendant l’interaction avec le patient virtuel.
Enfin, nous avons examiné les conditions d’implémentation du dispositif dans la formation des professionnels. Le dispositif de patient virtuel créé pose les bases pour un socle de modules de formations variées dans tout type de contexte.
Partenariats et collaborations
Soutenu par l’Agence Nationale de la Recherche (ANR) dans le cadre du Challenge Life, health and wellbeing, le projet Virtualz a associé l’Assistance Publique-Hôpitaux de Paris (APHP, coordinnateur), l’Institut des Systèmes Intelligents et de Robotique (ISIR), le laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSI), le laboratoire Centre interuniversitaire de recherche en éducation de Lille (CIREL), ainsi que l’entreprise SimForHealth (Interaction Healthcare). Il a duré 48 mois (mai 2018 à mai 2022).
Projet « Le langage et sa sémantique »
Le contexte
Ce groupe de travail s’intéresse aux différentes formes de langage (texte écrit et langage oral, parole et signaux sociaux, geste, visage, etc.) ainsi qu’à la notion de sémantique qui en découle. A l’intersection entre le traitement automatique du langage, la perception, les sciences cognitives et la robotique, le langage soulève de nombreux enjeux dérivant de l’analyse à la génération, que ce soit dans un contexte individuel ou interactif.
Voici une liste non exhaustive d’exemples d’applications tirées de nos domaines de recherche :
- Prise en compte des hésitations, du rire et autres signaux sociaux
- Lien parole et comportements non verbaux ;
- Dialogues contextualisés (historique, tâche, interaction) / Systèmes de questions-réponses ;
- Synthèse textuelle d’information et d’interaction ;
- Recommandation et recherche d’information ;
- Analyse et représentation de la sémantique ;
- Variation de style ou de contenu.
Les objectifs
L’objectif de ce groupe est de rassembler des chercheuses et chercheurs ayant des expertises différentes autour du langage. A ce jour, les activités mises en place sont essentiellement des groupes de discussion ou présentation scientifiques dans l’objectif de faire émerger des centres d’intérêts communs.
Sur le long terme, un des enjeux sera de mettre en place des co-supervisions de stagiaires et/ou doctorantes et doctorants autour de cette thématique ou des mini-projets scientifiques.
Partenariats et collaboration
Le projet « Le langage et sa sémantique » est un projet fédérateur, interne à l’ISIR, qui n’implique pas de collaboration extérieure au laboratoire.
Contact du projet : projet-federateur-langage(at)listes.isir.upmc.fr
Projet CORSMAL: Collaborative Object Recognition, Shared Manipulation And Learning
Dans les robots collaboratifs et d’assistance, la transmission d’objets est une capacité fondamentale et essentielle. Bien que cette capacité puisse sembler simple, puisque les humains effectuent le transfert d’objets sans problème, il est très difficile de le reproduire chez les robots. Le problème du transfert d’objets a été étudié dans le passé et reste un domaine de recherche actif. Il englobe de nombreux sous-problèmes tels que l’étude de l’intention humaine, l’extraction des caractéristiques de l’objet, l’accessibilité, la synthèse de la manipulation et bien d’autres encore.
CORSMAL propose de développer et de valider un nouveau cadre pour la reconnaissance et la manipulation d’objets en collaboration avec des humains, capable d’imiter la capacité humaine d’apprentissage et d’adaptation à travers un ensemble de manipulateurs, de tâches, de configurations de détection et d’environnements différents. Le projet explore la fusion de plusieurs modalités de détection (le toucher, le son et la vision à la première ou à la troisième personne) pour estimer les propriétés physiques des objets de manière précise et robuste dans des environnements bruyants et potentiellement ambigus. L’objectif principal est de définir des architectures d’apprentissage pour les données sensorielles multimodales et pour les données agrégées provenant de différents environnements. L’objectif est d’améliorer continuellement l’adaptabilité et la robustesse des modèles appris, et de généraliser les capacités à travers les tâches et les sites. La robustesse du cadre proposé sera évaluée à l’aide de prototypes mis en œuvre dans différents environnements. Il est important de noter qu’au cours du projet, nous organiserons deux défis communautaires pour favoriser le partage des données et soutenir la reproductibilité des expériences dans des sites supplémentaires.
Le contexte
La coopération avec les humains est un défi important pour la robotique, car les robots seront amenés à travailler conjointement avec les humains. CORSMAL considère un scénario de coopération typique dans lequel un humain et un robot se transmettent un objet inconnu et partiellement occulté, comme par exemple un verre ou une tasse partiellement remplie de liquide, ce qui rend extrêmement difficile la détermination des affordances et des points de prise appropriés. La caractérisation des objets partiellement observables est en effet l’un des problèmes les plus critiques pour instancier des actions robotiques appropriées.
Bien que la mécatronique des manipulateurs robotiques ait atteint un niveau de sophistication considérable, la manipulation d’objets aux propriétés physiques inconnues dans des scènes du monde réel reste extrêmement difficile. Cela est principalement dû à l’absence de modèles appropriés et d’une quantité suffisante de données pour l’apprentissage de ces modèles. Les progrès sont également entravés par l’absence d’une masse critique de chercheuses et chercheurs abordant et évaluant la même tâche à l’aide d’un ensemble de données commun.
Pour résoudre ce problème, CORSMAL construira, grâce à l’inclusion de priorités physiques et de connaissances du domaine, des modèles d’apprentissage qui fonctionnent avec moins de données. En outre, CORSMAL mettra les données d’entraînement et les modèles à la disposition des autres chercheuses et chercheurs et, pour faciliter le partage des données et l’implication de la communauté des scientifiques, organisera deux défis lors de conférences internationales. Ces défis et l’évaluation associée illustreront l’interaction humain-robot typique qui a lieu lorsque le robot est chargé de manipuler des objets arbitraires manipulés quotidiennement par les humains.
Les objectifs
Les questions scientifiques spécifiques que CORSMAL abordera sont :
- Peut-on imiter la capacité humaine d’apprendre à partir de quelques exemples et d’adapter rapidement la manipulation en fusionnant de multiples indices ?
- Pouvons-nous reproduire la capacité humaine à prédire les affordances et les forces applicables appropriées pour le transfert d’objets inconnus à partir d’indices partiels ?
- Pouvons-nous apprendre efficacement les compromis entre les modèles spécifiques au manipulateur et les modèles généralisés par le partage des données pour une reconnaissance et une manipulation précise et robuste des objets ?
Pour répondre à ces questions, CORSMAL étudiera, concevra et validera de nouveaux modèles et technologies d’apprentissage pour combler l’écart entre la perception et la manipulation d’objets inconnus par le biais de la détection multimodale, de l’apprentissage automatique et de l’adaptation de modèles. Le projet vise à créer un système artificiel capable d’apprendre des primitives de mouvement adaptées à l’interaction physique humain-robot. Le système doit améliorer sa compréhension de l’environnement en utilisant les modèles appris et les observations d’un humain pour façonner les affordances du robot dans la manipulation d’objets.
Dans ce projet, l’équipe de l’ISIR se concentrera sur le problème de la préhension. En effet, un robot n’est toujours pas capable de saisir un objet aux propriétés inconnues, en mouvement et partiellement caché, comme il l’est lorsqu’il est tenu dans une main humaine.
Les résultats
Les humains peuvent sentir, peser et saisir divers objets, et en déduire simultanément leurs propriétés matérielles tout en appliquant la bonne quantité de force. Nous voulons reproduire cela avec notre système robotique. Pour ce faire, nous avons besoin d’obtenir des informations sur l’interaction entre notre robot et l’objet à saisir.
Notre approche combinera les deux méthodes existantes pour résoudre le problème de la préhension : la méthode analytique et la méthode basée sur les données (illustrée dans la figure ci-dessous).
La main du robot sera préformée en fonction de la forme primitive de l’objet, en s’inspirant des approches basées sur les données qui étudient la façon dont les humains effectuent des saisies, ce qui permet de réduire l’espace de recherche pour les saisies appropriées. Nous initierons ensuite la fermeture de la main jusqu’à ce qu’un maximum de contacts soit établi avec l’objet. Sur la base des emplacements des points de contact et des positions des articulations, nous obtiendrons les emplacements de contact dans l’espace 3D, ainsi que la somme des forces appliquées à l’objet. Nous rechercherons les forces appliquées pour obtenir une fermeture de force par une combinaison de points de contact. Lorsque la fermeture de force n’est pas atteinte, une approche analytique aidera à trouver le point de contact où placer/replacer un doigt.
Notre approche sera testée et validée avec la main Wonik Allegro Hand with 16 DOF équipée de 368 capteurs tactiles de Xela electronics répartis sur les phalanges de la main, sa paume et le bout de ses doigts.
Partenaires et collaborations
Ce travail est soutenu par le projet européen CORSMAL dans le cadre de programme CHIST-ERA, sujet d’appel : Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR) et a reçu des financements du Engineering and Physical Sciences Research Council (EPSRC-UK), de l’Agence Nationale de la Recherche (ANR), et du Fonds National Suisse de la Recherche Scientifique.
Les partenaires du projet sont :
– Queen Mary University of London – Royaume-Uni, (coordinateur du projet),
– ISIR de Sorbonne Université – France,
– École Polytechnique Fédérale de Lausanne (EPFL) – Suisse.
En savoir plus sur CORSMAL : corsmal.eecs.qmul.ac.uk
Projet TAPAS : Entrainement d’aptitudes sociales affectives personnalisées et adaptées avec des agents culturels virtuels
Le projet TAPAS vise à développer des outils et des méthodes de formation aux compétences sociales (de l’anglais SST : Social Skill Training) pour une grande variété de population. Les compétences sociales font référence à la gestion des comportements verbaux et non verbaux lors d’une interaction avec une ou plusieurs personnes. Les personnes qui ont des difficultés à interagir avec les autres souffrent d’utiliser de manière appropriée leurs comportements sociaux et de les interpréter chez les autres. Les thérapeutes utilisent les SST (formation aux compétences sociales) pour former les personnes à pratiquer l’interaction sociale et à surmonter leur peur sociale. Elle repose sur le jeu de rôle comme moyen de mettre les participants dans une situation sociale contrôlée.
Le contexte
La SST conventionnelle est une méthode établie qui a été développée à l’origine pour réduire l’anxiété et l’inconfort, et pour apprendre les compétences appropriées requises lors des interactions sociales. Elle améliore efficacement les compétences sociales des personnes atteintes de TSA (Trouble du spectre de l’autisme).
Le modèle de formation de base des SST suit cinq étapes : instruction, modelage, jeu de rôle, retour d’information et devoirs. En outre, nous allons modéliser la thérapie cognitivo-comportementale (TCC), telle que le « recadrage cognitif », qui est une technique utile pour comprendre les sentiments et les humeurs malheureux, et pour remettre en question les « croyances automatiques » parfois erronées qui peuvent se cacher derrière eux. Elle exige de former les utilisateurs à gérer leurs propres comportements multimodaux ainsi qu’à prêter attention et à s’adapter au comportement de leurs interlocuteurs dans une situation de stress social (par exemple parler en public).
Les objectifs
Le projet TAPAS développera des outils et des méthodes permettant aux SST de fournir une formation personnalisée aux compétences sociales et d’aider à surmonter le stress social dans ces situations quotidiennes impliquant une présentation à l’école et au travail.
Notre objectif est de développer une plateforme permettant aux participants de jouer des rôles dans les interactions sociales. La population ciblée est constituée d’individus neurotypiques, mais aussi d’individus présentant différentes échelles de pathologies sociales, notamment la timidité, l’alexithymie et les troubles du spectre autistique (TSA). La conception de la plateforme s’inspirera de deux méthodes courantes de formation aux compétences sociales : la SST conventionnelle et la thérapie cognitivo-comportementale.
Les résultats
Nous concevrons trois scénarios pertinents qui formeront différents ensembles de compétences sociales :
- former l’utilisateur à travailler sur une tâche commune avec un ou plusieurs pair(s) virtuel(s),
- former l’utilisateur à maintenir l’attention et l’engagement d’un (petit) public virtuel lors de la présentation de certains documents,
- former l’utilisateur à présenter conjointement avec un pair virtuel un travail commun devant un petit public virtuel.
Partenariats et collaborations
- Institut des Systèmes Intelligents et de Robotique (ISIR), France,
- Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSI), CPU group, France,
- Nara Institute of Science and Technology, Data Science Center, Japan.
Projet PANORAMA : adaPtive Artificial iNtelligence fOR humAn coMputer interAction
Le concept clé de ce projet est « l’Intelligence Artificielle adaptative de l’utilisateur dans le contexte de l’interaction humain-machine ». Des recherches seront menées sur l’adaptabilité de l’utilisateur de l’intelligence artificielle incarnée en tant qu’agent conversationnel. Lorsque les gens parlent à d’autres personnes, ils modifient leurs comportements de communication verbale et non verbale en fonction de ceux du partenaire. L’adaptabilité de l’utilisateur est donc une question essentielle pour améliorer l’interaction entre l’homme et l’agent.
Le contexte
Le style de communication est également différent selon la culture, et il est utile d’adapter les comportements des agents à la culture cible. Nous nous attaquerons à ce problème en utilisant une approche d’apprentissage automatique. Cependant, une des limites de cette approche est que l’annotation des comportements multimodaux des utilisateurs pour créer des données de formation prend du temps.
Nous proposerons des annotations semi-automatisées et fournirons un retour d’information visuel pour inspecter et corriger les étiquettes générées par la machine en incorporant des techniques d’IA explicables (XAI). Ainsi, le concept d’IA adaptative est utilisé pour aider les utilisateurs à créer des corpus multimodaux ainsi qu’à améliorer l’interaction homme-agent. En outre, le concept d’adaptabilité de l’utilisateur est également axé sur les études psychologiques de ce projet, dans lequel la motivation de l’utilisateur sera étudiée dans un cas d’utilisation pertinent (coaching motivationnel personnalisé pour l’activité physique).
Par conséquent, ce projet envisage une nouvelle méthodologie de recherche pour les agents conversationnels basés sur l’apprentissage machine en se concentrant sur le concept d’adaptabilité de l’utilisateur.
Les objectifs
Le projet PANORAMA vise à atteindre les 5 objectifs de recherche suivants :
- proposer un outil d’annotation multimodale adaptative pour l’utilisateur basé sur la technique XAI,
- exploiter cet outil pour collecter des corpus multimodaux annotés dans trois pays (France, Allemagne et Japon),
- proposer des modèles et des méthodes pour développer des agents conversationnels avec une fonctionnalité d’adaptation à plusieurs niveaux, où les signaux non verbaux de l’agent ainsi que le contenu du dialogue sont adaptés à l’utilisateur,
- fournir des techniques d’apprentissage multitâches et de transfert pour apprendre des modèles en utilisant le corpus multiculturel obtenu et adapter l’agent conversationnel à chaque culture,
- et proposer la base de conception de systèmes d’IA adaptative fondés sur des théories psychologiques et des études d’évaluation.
Les résultats
L’interface d’IA adaptative a un impact sur l’économie et la société future.
Premièrement, la technologie adaptative de l’utilisateur améliore la qualité de l’interaction homme-machine, ce qui contribue à améliorer les performances et la productivité des utilisateurs dans les industries.
Deuxièmement, l’IA adaptative motivera efficacement les utilisateurs à adopter un mode de vie sain à long terme, ce qui pourrait changer la vie des gens dans la société future.
Partenariats et collaborations
- Coordinateur du projet : Intelligent User Interface Lab (IUI-Lab), Université de Seikei, Japon,
- Human-Centered Multimedia (HCM), Université d’Augsbourg, Allemagne,
- Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne Université, France,
- Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSI), groupe CPU, France,
- Social Signal Interaction Lab, Japan Advanced Institution of Science and Technology, JAIST, Japon.
