This project bridges machine learning and cognitive science to enable better collaboration between humans and robots. The overall goal of OSTENSIVE is to allow robots to perform tasks more effectively in collaboration with humans, by allowing improved communication and understanding between the two. By integrating the human perspective into perception, decision-making, and action generation, we aim to develop models capable of adapting to human mental states and behaviors.
In collaboration with Inria and LAAS, we intend to develop computational forward and inverse models that allow to integrate communication into action, from reasoning and planning to the execution of movements.
The context
When humans demonstrate a task, the demonstrations are directed not just towards the objects that are manipulated, but they are also accompanied by ostensive communicative cues such as gaze and/or modulations of the demonstrations in the space–time dimensions. These behaviors, such as pause, repetition and exaggeration, might appear to be sub-optimal, but they are provided by humans to communicate.
Cognitive Science addresses this challenge of communication in action by drawing inspiration from language (literal meaning – pragmatic inference). Most of the approaches of Human-Robot Interaction assume literal interpretation of behaviors resulting in a strong limitation of interpretation of actions and intentions of the other. There is a need for forward and inverse models being able to generate relevant content to the other (human/robot) and to adequately interpret the actions of the other.
Objectives
The aim of OSTENSIVE is to develop computational forward and inverse models using machine learning based approaches conditioned by reasoning mechanisms about humans. Our research ranges from the development of high-level models for reasoning and task planning to the implementation of low-level motion planning for precise physical execution.
Based on Cognitive Science based approaches, we will investigate situations, indicators and metrics allowing us to determine conditions under which humans engage and take benefit from such models by new approaches of real-time evaluation of second-person perspective taking. We will develop new models able to synthesize ostensive and interactive robot motions and probabilistic representations of ostensive actions learned from human demonstrations.
The results
We aim to adapt and extend experimental protocols used to study social cognition. Applications cover many sectors and include social navigation, and mobile manipulation in a shared environment, where we want to ensure that robots can navigate fluidly and perform tasks alongside humans in real-world scenarios, by integrating ostensive action into different robotics platforms.
OSTENSIVE’s work, carried out at several levels, aims to enable robots to correctly understand and interpret human intentions, to define explainable plans to accomplish tasks, and to perform actions in a readable manner for a human observer.
After ethical approval, we will conduct extensive experiments to validate the ostensive communication skills of the robots with naive participants that should maximally benefit from such skills to accomplish a task with the robot.
Partnerships and collaborations
OSTENSIVE is a collaborative initiative between ISIR, LAAS-CNRS, and INRIA to create a unified framework for human-robot interaction. ISIR is the coordinator of the OSTENSIVE project (ANR-24-CE33-6907-01).
ISIR – ACIDE Team
– Developing forward and inverse inference models, with works on understanding human intent and predicting how an agent’s actions will affect human perception.
– OSTENSIVE Lead : Mohamed Chetouani
INRIA (Nancy) – LARSEN Team
– Investigating ostensive motions at low-level, by leveraging tools such as control primitives and robotic policies.
– OSTENSIVE Lead : Serena Ivaldi
LAAS-CNRS (Toulouse) – RIS Team
– Developing socially aware planning methods, using Theory of Mind and perspective-taking.
– OSTENSIVE Lead : Rachid Alami
Ce projet fait le lien entre l’apprentissage machine et les sciences cognitives afin de permettre une meilleure collaboration entre humain et robot. L’objectif global d’OSTENSIVE est de permettre aux robots d’effectuer au mieux des tâches en collaboration avec des humains, grâce à une meilleure communication et compréhension entre les deux acteurs. En intégrant le point de vue de l’humain dans la perception, la décision et la génération d’actions, nous visons à développer des modèles capables de s’adapter aux états mentaux et aux comportements des humains.
En collaboration avec l’Inria et le LAAS, nous souhaitons développer des modèles d’apprentissage dits directs et inverses permettant d’intégrer la communication à l’action, depuis les modèles de raisonnement et de planification jusqu’à la réalisation de mouvements.
Le contexte
Lorsqu’un humain effectue une démonstration, celle-ci ne se limite pas aux objets manipulés. Elle s’accompagne également d’indices communicatifs ostensibles, tels que le regard et/ou des modulations du mouvement. Ces comportements, comme les pauses, les répétitions et les exagérations, peuvent paraître sous-optimaux, mais ils sont fréquemment utilisés par l’humain pour communiquer.
Les sciences cognitives abordent ce défi de la communication en action en s’inspirant du langage. La plupart des approches de l’interaction humain-robot supposent une interprétation littérale des comportements, ce qui limite fortement l’interprétation des actions et des intentions de l’autre. Il est nécessaire de disposer de modèles directs et inverses capables de générer un contenu pertinent pour l’autre (humain ou robot) et d’interpréter correctement ses actions.
Les objectifs
Le projet OSTENSIVE vise à développer des modèles directs et inverses, basés sur l’apprentissage machine et conditionnés par des mécanismes de raisonnement relatifs à l’humain. Nos recherches couvrent un large éventail de domaines, allant du développement de modèles de haut niveau pour le raisonnement et la planification des tâches à la mise en œuvre d’une planification de mouvement de bas niveau pour une exécution physique précise.
En nous appuyant sur des approches issues des sciences cognitives, nous étudierons les situations, les indicateurs et les métriques permettant de déterminer les conditions dans lesquelles les humains interagissent avec ces modèles et en tirent profit, grâce à de nouvelles approches d’évaluation en temps réel de la prise de perspective de l’observateur. Nous développerons de nouveaux modèles capables de synthétiser des mouvements robotiques ostensifs et interactifs, ainsi que des représentations probabilistes d’actions ostensives apprises à partir de démonstrations humaines.
Les résultats
Notre objectif est d’adapter et d’étendre les protocoles expérimentaux utilisés pour étudier la cognition sociale. Les applications couvrent de nombreux secteurs, notamment la navigation sociale et la manipulation mobile en environnement partagé. Nous souhaitons garantir que les robots puissent se déplacer avec fluidité et accomplir des tâches aux côtés des humains dans des scénarios réalistes, grâce à l’intégration d’actions ostensives sur différentes plateformes robotiques.
Les travaux d’OSTENSIVE, menés à plusieurs niveaux, visent notamment à permettre aux robots de comprendre et d’interpréter correctement les intentions humaines, de définir des plans explicables pour accomplir des tâches et d’effectuer des actions de manière compréhensible pour un observateur humain.
Après approbation éthique, nous mènerons des expériences approfondies afin de valider les capacités de communication ostensive des robots auprès de participant-es novices qui devraient tirer le meilleur parti de ces capacités pour accomplir une tâche avec le robot.
Partenariats et collaborations
OSTENSIVE est une initiative collaborative entre l’ISIR, le LAAS-CNRS et l’INRIA visant à créer un cadre unifié pour l’interaction humain-robot. L’ISIR coordonne ce projet ANR OSTENSIVE (ANR-24-CE33-6907-01).
ISIR – Équipe ACIDE
– Développement de modèles d’inférence directe et inverse, avec des travaux sur la compréhension de l’intention humaine et la prédiction de l’impact des actions d’un agent sur la perception humaine.
– Référent OSTENSIVE : Mohamed Chetouani
INRIA (Nancy) – Équipe LARSEN
– Étude des mouvements ostensifs, grâce à des outils tels que les primitives de contrôle et les politiques robotiques.
– Référente OSTENSIVE : Serena Ivaldi
LAAS-CNRS (Toulouse) – Équipe RIS
– Réalisation de méthodes de planification prenant en compte la présence des humains, par l’utilisation de la théorie de l’esprit et de la prise de perspective d’un observateur externe.
– Référent OSTENSIVE : Rachid Alami
