IRIS

FHF : A Frontal Human Following technology for mobile robots

Les robots suivant les humains sont une fonction efficace et pratique, en particulier dans le contexte de la robotique de service. Cependant, la majorité des recherches existantes se sont concentrées sur le suivi derrière un humain, avec relativement peu d’attention accordée au robot opérant devant l’humain. Ce projet de suivi frontal, où le robot reste dans le champ de vision de l’utilisateur, est plus rassurant et facilite l’interaction. De nouveaux défis se présenteront lors de la mise au point d’un tracker capable d’estimer la pose d’un utilisateur à partir d’un LiDAR 2D à hauteur de genou, en particulier lorsque les jambes sont souvent masquées l’une par l’autre. Il est également nécessaire d’assurer la sécurité de l’utilisateur tout en se demandant comment le robot peut suivre l’utilisateur dans les situations où le robot serait en retard. 

Le contexte

Les robots mobiles sont de plus en plus omniprésents dans divers environnements, tels que les centres commerciaux, les hôpitaux, les entrepôts et les usines. Nombre de tâches dans ces applications sont partagées entre les robots et les opérateurs humains par la voix, la vidéo, l’interaction par la force, etc., soit parce que l’expertise ou l’agilité humaine inhérente est requise pour certaines tâches, soit parce que le robot peut fournir une assistance potentielle à l’opérateur. Dans ce projet, nous nous concentrons sur l’étude du suivi automatique de l’utilisateur par le robot mobile basé sur le LiDAR 2D. Les algorithmes communs de suivi à l’arrière maintiennent le robot à une distance de l’utilisateur. Certaines études ont montré que les gens préfèrent voir les robots dans leur champ de vision, et peuvent se sentir mal à l’aise et en danger lorsque les robots apparaissent derrière eux. En outre, les services spécifiques exigent que les robots se présentent devant les utilisateurs. Par exemple, les robots d’assistance agissent comme des chiens d’aveugle pour fournir une aide à la navigation aux malvoyants. Par conséquent, le suivi frontal devient progressivement populaire.

Les objectifs

Les objectifs scientifiques de ce projet sont les suivants :

• Construire un tracker de pose humaine (orientation et position) basé sur le LiDAR 2D à hauteur du genou pour les robots mobiles en étudiant la marche humaine ;
• Collecter des scans LiDAR de différents volontaires ainsi que des données de vérité terrain sur l’orientation humaine afin de construire un modèle basé sur les données pour améliorer l’estimation de l’orientation humaine ;
• Résoudre le problème des jambes se cachant l’une et l’autre lors du balayage en modélisant la marche ou en utilisant des techniques d’apprentissage automatique ;
• Développer un générateur de mouvement permettant au robot de se déplacer devant l’utilisateur en toute sécurité et de manière naturelle.

Les résultats

Douze volontaires (trois femmes et neuf hommes) ont été invités à participer à l’expérience de suivi frontal, et le tracker de posture humaine basé sur la marche humaine a montré de bonnes performances. Les analyses quantitatives ont révélé que l’erreur absolue moyenne (MAE) de position était d’environ 4 cm et que la MAE d’orientation était inférieure à 12 degrés pour la marche complexe.

Les données collectées pendant six heures sur cinq volontaires (une femme et quatre hommes) ont été utilisées pour construire des modèles permettant d’améliorer l’estimation de l’orientation. Grâce à la résolution du problème de retard, le modèle personnalisé a permis d’obtenir une MAE de 4 à 7 degrés pour les cinq volontaires.

Le générateur de mouvement à suivi frontal permet au robot de venir naturellement devant l’utilisateur, toujours à une distance de sécurité d’un mètre au cours de l’expérience. Voir la vidéo pour plus de détails.

Publications

• 2D LiDAR-Based Human Pose Tracking for a Mobile Robot, ICINCO 2023,
• Human Orientation Estimation from 2D Point Clouds Using Deep Neural Networks in Robotic Following Tasks, soumis à IROS 2024,
• Large Workspace Frontal Human Following for Mobile Robots Utilizing 2D LiDAR, soumis à JIRS.

Projet NeuroHCI – Prise de décisions multi-échelle avec les systèmes interactifs 

Ce projet pluridisciplinaire s’appuie sur les Neurosciences Computationnelles pour développer des modèles IHM du comportement utilisateur-utilisatrice. Il s’agit d’étudier dans quelle mesure on peut transposer les théories, modèles et méthodes des Neurosciences Computationnelles à l’IHM.

Le projet NeuroHCI vise à améliorer la prise de décision humaine dans les mondes physique et numérique dans des contextes interactifs. Les situations dans lesquelles un humain prend une décision avec un système interactif sont variées : 

Est-ce que j’utilise mon expérience ou Google Maps pour choisir mon itinéraire ? Est-ce que je réponds à cet e-mail sur mon smartphone ou sur mon PC ? Est-ce que j’utilise des menus ou des raccourcis pour sélectionner cette commande fréquente ? Est-ce que j’utilise le robot chirurgical Da Vinci pour opérer mon patient ou les instruments laparoscopiques traditionnels ? Comment puis-je atteindre cet objet avec ma prothèse robotique ?

La décision peut porter sur un choix complexe dans le monde réel assisté par un ordinateur (par exemple, un traitement médical) ou sur le choix d’une méthode pour réaliser une tâche numérique (par exemple, modifier une photo avec l’outil préféré).

Le contexte

Les neurosciences étudient les phénomènes impliquant à la fois la prise de décision et l’apprentissage chez les humains, mais ont reçu peu d’attention en IHM. 

Le projet NeuroHCI est un projet en interaction humain-machine (IHM) qui vise à concevoir des systèmes interactifs développant l’expertise de l’utilisateur-utilisatrice en établissant un partenariat humain-machine. L’interaction avec ces systèmes peut être vue comme un problème de prise de décision à plusieurs échelles :

• Une tâche, par exemple choisir le bon traitement médical sur la base de recommandations basées sur l’IA ;
• Une méthode, par exemple choisir parmi différents dispositifs ou modalités pour réaliser une tâche ;
• Un objet, par exemple avec quel objet physique ou virtuel les utilisateurs-utilisatrices vont interagir ;
• Un mouvement, par exemple quelle trajectoire pour atteindre l’objet cible.

Les objectifs

L’objectif scientifique est de comprendre comment les utilisateurs-utilisatrices prennent des décisions avec des systèmes interactifs et comment ces décisions évoluent dans le temps. En effet, les utilisateurs-utilisatrices développent progressivement une expertise au cours de l’utilisation répétée des systèmes interactifs. Cette expertise influence la façon dont ils/elles prennent leurs décisions. Cela nécessite l’étude simultanée des phénomènes d’apprentissage et de prise de décision qui sous-tendent l’utilisation des systèmes interactifs.

L’objectif applicatif est de concevoir et de mettre en œuvre de meilleurs systèmes interactifs et adaptatifs. L’être humain s’adapte et développe son expertise en utilisant un système interactif. L’objectif ici est que le système, de son côté, évolue également pour s’adapter à ses utilisateurs-utilisatrices, c’est-à-dire qu’il s’habitue à leur comportement et en particulier à leur expertise. Il s’agit donc d’établir un partenariat humain-machine dans lequel les deux acteurs (humain et machine) s’adaptent l’un à l’autre.

Les résultats

Pour atteindre ces objectifs, nous démontrons les avantages de notre approche à travers 3 applications, pour lesquelles des plateformes existent déjà et sont maintenues par les partenaires, mais où des défis scientifiques demeurent pour leur adoption dans le monde réel. Ces trois applications sont :

• les interfaces graphiques intelligentes comme les systèmes de recommandation basés sur l’IA ;
• les systèmes de simulation immersifs offrant un riche retour haptique ;
• et les interfaces cobotiques médicales qui visent à restaurer ou à améliorer la capacité des humains à interagir avec des objets dans le monde réel.

Notre hypothèse de recherche est qu’il est nécessaire de développer des modèles computationnels robustes d’apprentissage et de prise de décision en IHM. Les modèles computationnels permettent d’expliquer et de prédire le comportement humain en synthétisant des phénomènes complexes de manière testable et réfutable. En IHM, ils servent à évaluer la qualité d’une interface sans avoir à mener des études d’utilisateurs-utilisatrices longues et coûteuses. Lorsque ces modèles sont robustes, ils peuvent être intégrés dans des systèmes interactifs pour optimiser l’interaction et adapter l’interface en fonction de l’expertise et/ou des actions des utilisateurs-utilisatrices.

Partenariats et collaborations

Porté par Gilles Bailly, directeur de recherche CNRS à l’ISIR, le projet ANR NeuroHCI est un projet inter-équipes interne à l’ISIR, qui implique plusieurs membres du laboratoire. 

Projet « Le langage et sa sémantique » 

Le contexte

Ce groupe de travail s’intéresse aux différentes formes de langage (texte écrit et langage oral, parole et signaux sociaux, geste, visage, etc.) ainsi qu’à la notion de sémantique qui en découle. A l’intersection entre le traitement automatique du langage, la perception, les sciences cognitives et la robotique, le langage soulève de nombreux enjeux dérivant de l’analyse à la génération, que ce soit dans un contexte individuel ou interactif.

Voici une liste non exhaustive d’exemples d’applications tirées de nos domaines de recherche : 

• Prise en compte des hésitations, du rire et autres signaux sociaux
• Lien parole et comportements non verbaux ;
• Dialogues contextualisés (historique, tâche, interaction) / Systèmes de questions-réponses ;
• Synthèse textuelle d’information et d’interaction ;
• Recommandation et recherche d’information ;
• Analyse et représentation de la sémantique ;
• Variation de style ou de contenu.

Les objectifs

L’objectif de ce groupe est de rassembler des chercheuses et chercheurs ayant des expertises différentes autour du langage. A ce jour, les activités mises en place sont essentiellement des groupes de discussion ou présentation scientifiques dans l’objectif de faire émerger des centres d’intérêts communs.

Sur le long terme, un des enjeux sera de mettre en place des co-supervisions de stagiaires et/ou doctorantes et doctorants autour de cette thématique ou des mini-projets scientifiques.

Partenariats et collaboration

Le projet « Le langage et sa sémantique » est un projet fédérateur, interne à l’ISIR, qui n’implique pas de collaboration extérieure au laboratoire.

Contact du projet : projet-federateur-langage(at)listes.isir.upmc.fr

Projet WAVY – Wearable hAptics for Virtual realitY

Le projet WAVY vise à concevoir un dispositif haptique portable de pointe pour la réalité virtuelle, en mettant l’accent sur les illusions sensorielles et en le rendant accessible au public. Il se positionne par rapport à trois principaux domaines de recherche : 

• les dispositifs haptiques portables et en particulier kinesthésiques ; 
• les illusions de perception sensorielle ; 
• et les cadres permettant de concevoir facilement des retours haptiques pour la réalité virtuelle et les processus créatifs.

Le contexte

La réalité virtuelle (RV) a longtemps été réservée au monde universitaire et à l’industrie. Aujourd’hui, elle s’infiltre dans l’éducation, le tourisme, l’art, la thérapie et bien d’autres domaines encore. La réalité virtuelle a suscité un intérêt croissant ces dernières années sur le marché grand public, grâce à l’impact de progrès technologiques au niveau des casques, des contrôleurs et des rendus visuels et audio. Cependant, une expérience réalité virtuelle vraiment réussie et complète repose sur l’exploitation de toutes les modalités sensorielles et sur l’illusion donnée à l’utilisateur qu’il évolue dans un monde réaliste. À cet effet, un retour haptique convaincant, qui permet de ressentir des sensations pendant l’interaction, fait cruellement défaut.

Les objectifs

Les objectifs du projet WAVY sont : 

• étudier la combinaison d’illusions perceptuelles multisensorielles et de retours haptiques (vibrations, pression cutanée, retour kinesthésique) pour améliorer l’expérience globale en termes de présence, d’émotion, de qualité du retour, etc. ;
• concevoir un dispositif haptique porté sur la main pour la réalité virtuelle, léger, compact et abordable qui fournit un retour kinesthésique, vibrotactile et de pression cutanée ; 
• poursuivre la recherche sur le processus de création haptique et le développement d’un framework pour « l’haptique générique » ; il s’agit de faciliter la conception de retours haptiques pour la RV quel que soit le dispositif utilisé et ses capacités, pour des personnes qui n’ont pas forcément une grande expertise en haptique.  

Les résultats

Le résultat attendu est un dispositif avec une large gamme de retours (vibrations, pression cutanée, retour résistif) associé à une solution logicielle pour la création des interactions haptiques et des illusions sensorielles. L’objectif est que cet outil logiciel soit accessible et puisse servir à développer des applications réalité virtuelle via les cas d’usages artistiques et industriels. 

Partenariats et collaborations

Ce projet implique l’ISIR dans le cadre d’un partenariat avec Sorbonne Université dirigé par David Gueorguiev, Chargé de recherches au CNRS. Le consortium est composé de la manière suivante :

• Le Laboratoire des Interfaces Sensorielles et Ambiantes – CEA List (coordinateur du projet),
• l’ISIR – Sorbonne Université,
• la start-up GoTouch VR,
• l’Atelier Arts Sciences, plateforme commune de recherche et de création partagée avec le CEA Grenoble. 

Projet Lexikhum : Communication Kinesthesique Humain-Machine

Le but de ce projet est de construire un lexique d’unités de sens kinesthésiques qui permettraient d’aborder l’interaction physique homme-robot comme une phrase combinant ces unités de sens. L’émergence de ces unités de sens est étudié dans des interactions humain-humain et le projet est d’en extraire les parties programmables en faisant des modèles computationnels pour construire des partenaires virtuels, capable de produire une interaction aussi naturelle qu’avec un humain. Ses unités de sens visent à être développées et étudiées par une équipe pluridisciplinaire composée de chercheures et chercheurs qui placent le caractère cognitif de cette interaction au cœur de leur recherches. La quantification de la qualité des interactions humain-humain et humain-partenaire virtuel est un apport espéré de ce projet, car il donnera une base d’unités avec une connaissance précise de son caractère vraisemblable et de sa compréhensibilité lorsque cela vient d’un humain et lorsque cela vient d’un partenaire virtuel.

Le contexte

L’automatisation au cœur de notre quotidien – Les mutations technologiques à l’œuvre dans les systèmes complexes (comme en aéronautique) ont profondément modifié l’interaction entre l’humain et la machine. Au fil de cette évolution, les opératrices et opérateurs se sont retrouvés face à des systèmes de plus en plus complexes et de plus en plus automatisés. Si le public a bien souvent été fasciné par l’ingéniosité de tels systèmes, de nombreuses tragédies plus ou moins récentes montrent à quel point l’interaction entre l’humain et les automatismes reste un problème sensible. Ainsi, de nombreux travaux soulignent les conséquences négatives en matière de sécurité et de performance d’une automatisation des systèmes : difficultés pour détecter les erreurs ou pannes du système (Kessel & Wickens, 1982), pour comprendre son état courant (Sarter, Woods, & Billings, 1997) et pour déterminer les actions appropriées pour la suite de la tâche (Endsley, 1999). Ces difficultés d’interaction entre l’humain et l’automatisme constituent un enjeu de recherche majeur. Ce projet a pour ambition de participer à la compréhension et la compensation de ces difficultés d’interaction entre l’humain et les automatismes.

La difficile mais nécessaire intelligibilité des systèmes – L’opacité des agents artificiels est considérée comme une cause majeure de ces difficultés (Christoffersen & Woods, 2002 ; Dekker & Woods, 2002). En effet, le manque d’informations renvoyées par le système sur son propre fonctionnement et, en amont, par le manque de dialogue possible portant sur le statut de l’information transmise, sont des éléments centraux dans les difficultés rencontrées par les opératrices et opérateurs. Les systèmes complexes actuels ont tendance à développer des cascades de réactions automatiques qui diminuent, voire éliminent la capacité des opérateurs à prédire leur fonctionnement et provoquent des événements démesurés et imprévisibles (Taleb, 2012). Ce manque d’information renvoie à ce que l’on a classiquement appelé « l’opacité du système ». L’opacité des systèmes artificiels a tendance à rendre difficile la compréhension des intentions de ces agents artificiels. Cet état de fait est de nature à engendrer des difficultés d’anticipation/compréhension des actions de mon partenaire artificiel, générant par là même des difficultés en termes de coordination, d’acceptabilité et de sentiment de contrôle. En ce sens, l’intelligibilité des systèmes artificiels (par exemple, le fait de produire un comportement clair, prévisible et compréhensible) constitue un défi majeur par la communauté en ingénierie des systèmes.

Nous pensons qu’il est possible d’utiliser le sens haptique (combinaison du sens du toucher et de la kinesthésie) afin de rendre les systèmes artificiels plus intelligibles, plus prédictibles. Cependant, si nous considérons l’existence d’une communication, alors nous devons pouvoir envoyer et recevoir des messages clairs et complets sans perturber la tâche, ou en tout cas de manière comparable à un partenaire humain. Pour cela, nous souhaitons tout d’abord identifier les informations nécessaires à la coopération. Ensuite, nous souhaitons produire des messages kinesthésiques permettant de transmettre ces informations. Nous ferons notamment évoluer nos modèles pour obtenir un comportement dont le message est le plus clair possible pour l’utilisatrice et l’utilisateur. Le taux de compréhension de ce message chez les personnes testées sera notre mesure principale. Nous espérons ainsi construire un lexique, une base de messages, dont l’utilisation effective autant que la validité sera mesurée statistiquement, le projet étant à terme de combiner ces messages pour construire une communication complexe et augmenter ainsi les capacités de communication des machines lors des interactions humain-robot. Nous appellerons ces messages des unités de sens kinesthésiques. Ces unités pourront s’agencer en messages complexes appelés discours kinesthésiques, autrement dit des enchaînements d’unités de sens kinesthésiques qui mettent au clair l’intention, le statut de l’information. Nous évaluerons finalement l’impact de ces messages sur l’utilisabilité et l’acceptabilité de fonctions d’assistance au pilotage, ainsi que leur impact sur le sentiment de contrôle de l’opératrice et l’opérateur humain.

Les objectifs

L’objectif de ce projet est de rendre intelligible les machines à travers l’interaction kinesthésique. Pour atteindre cet objectif quatre sous-objectifs ont été identifiés :

• définir un cadre théorique de la communication kinesthésique,
• analyser les conditions de l’action conjointe et leurs modèles psychologiques pour l’interaction humain-humain,
• comprendre et modéliser les mécanismes en jeux dans une telle communication (il s’agira de construire un lexique de l’interaction kinesthésique),
• implémenter ce lexique dans des agents artificiels afin d’améliorer leur intelligibilité par l’opératrice et l’opérateur humain et supporter la coopération humain machine.

Les résultats

Le laboratoire a développé un robot permettant d’étudier les interactions à un degré de liberté : SEMAPHORO-1D (Système d’Evaluation de la Manipulation Physique Homme-Robot).

Ce système a permis de mettre en valeur une unité de sens kinesthésique pour la négociation binaire (Gauche-Droite). Cette unité de sens est paramétrable et permet de montrer un comportement plus ou moins dominant (Roche et Saint-Bauzel ICRA19, THRI accepted).  Cette interface a permis aussi d’étudier la notion d’agentivité dans la décision collaborative et a montré à l’heure actuelle que les partenaires virtuelles ne permettent pas de produire un sentiment de contrôle de l’interaction. Ce sentiment de contrôle a été mesuré avec des mesures de l’ « intentional binding » (Grynszpan et al.,  Concog 19). Enfin cette interface à permis de montrer que l’interaction kinesthésique est un moyen implicite et rapide pour transmettre la confiance (Piezzulo, Roche et Saint-Bauzel, Nature ScR 20).

Partenariats et collaborations

Le projet scientifique collaboratif ANR réuni les chercheurs et chercheurs suivant :

• Bruno Berberian, Chargé de Recherche à l’ONERA dans le laboratoire DTIS, spécialisé dans l’ergonomie et la mesure de performance de l’interaction,
• Camille Debras, Maître de Conférences à l’Université Paris-Nanterre, spécialiste en gestualité et linguistique,
• Ouriel Grynszpan, Professeur à l’Université Paris-Saclay – laboratoire LIMSI, spécialisé dans les sciences cognitives et les questions d’intelligence sociale,
• Aliyah Morgenstern, Professeur à l’Université de Paris Nanterre – laboratoire MoDyCo, spécialiste en Linguistique développementale et langue des signes,
• Ludovic Saint-Bauzel, Maître de Conférence à Sorbonne Université – laboratoire ISIR, spécialisés dans les sciences de l’ingénieur et de l’information et les sciences du vivant,
• Claudia Savina Bianchini, Maître de Conférences à l’Université Poitiers – laboratoire FORELLIS, spécialiste de linguistique et plus particulièrement dans la gestualité par la langue des signes.

Ce projet est aussi source d’une collaboration internationale avec :

• Giovanni Pezzulo Chercheur au CNR (Centre National de Recherche Italien) dans le laboratoire ISTC (Institut des Sciences et Technologies de la Cognition).