Project CORSMAL: Collaborative Object Recognition, Shared Manipulation And Learning
In collaborative and assistive robots, handing over objects is a basic and essential capability. Although this capability may appear simple as humans perform hand over flawlessly, it is very difficult to replicate in robots. The handover problem has been investigated in the past and is still an active field of research; it encompasses many subproblems like human intention study, object features extraction, reachability, grasp synthesis and many others.
CORSMAL proposes to develop and validate a new framework for collaborative recognition and manipulation of objects via cooperation with humans able to mimic human capability of learning and adapting across a set of different manipulators, tasks, sensing configurations and environments. The project explores the fusion of multiple sensing modalities (touch, sound, and first/third person vision) to estimate the physical properties of objects accurately and robustly in noisy and potentially ambiguous environments. The main focus is to define learning architectures for multimodal sensory data and for aggregated data from different environments. The goal is to continually improve the adaptability and robustness of the learned models, and to generalize capabilities across tasks and sites. The robustness of the proposed framework will be evaluated with prototype implementations in different environments. Importantly, during the project we will organize two community challenges to favour data sharing and support experiment reproducibility in additional sites.
Context
Cooperation with humans is an important challenge for robotics, as robots will come to work side by side with people. CORSMAL considers a typical cooperative scenario in which a human and a robot hand over an unknown and partially occluded object, such as for example a glass or a cup that is partially filled with liquid, which makes it extremely hard to determine affordances and the appropriate grip points: characterizing partially observable objects is indeed among the most critical issues to instantiate appropriate robot actions.
While the mechatronics of robotic manipulators have reached a considerable level of sophistication, the manipulation of objects with unknown physical properties in real-world scenes is still extremely challenging. This is primarily due to a lack of appropriate models and of a sufficient amount of data for training those models. Progress is also hampered by a lack of critical mass of researchers addressing and evaluating the same task using a common dataset.
To address this problem, CORSMAL will build, through the inclusion of physical priors and domain knowledge, learning models that work with fewer data. Moreover, CORSMAL will make available training data and models to other researchers and, to facilitate data sharing and the involvement of the research community, will organize two challenges at international conferences. These challenges and the associated evaluation will illustrate typical human-robot interaction that takes place when the robot is tasked to manipulate arbitrary objects handled daily by humans.
Objectives
The specific scientific questions CORSMAL will address are:
– Can we mimic human capability of learning from few examples and of quickly adapting manipulation by fusing multiple cues?
– Can we replicate human ability to predict affordances and appropriate applicable forces for handover of unknown objects from partial cues?
– Can we efficiently learn trade-offs between manipulator-specific models and generalized models through data sharing for accurate and robust object recognition and manipulation?
To answer these questions, CORSMAL will study, design and validate new learning models and technologies to bridge the gap between perception and manipulation of unknown objects via multimodal sensing, machine learning and model adaptation. CORSMAL aims to create an artificial system capable of learning motion primitives tailored to physical human-robot interaction. The system shall improve its understanding of the environment using learned models and observations of a human to shape robot affordances in object manipulation.
In this project, the ISIR team will focus on the problem of grasping. Indeed, a robot is still not able to grasp an object with unknown properties, in motion and partially hidden, like it is when held in a human hand.
Results
Humans can feel, weigh, and grasp diverse objects, and simultaneously infer their material properties while applying the right amount of force. We want to replicate this with our robotic system. To do so we will need to get information about the interaction between our robot and the object to be grasped.
Our approach will combine the two existing methods to solve the grasping problem: analytical and data driven (illustrated in the figure bellow).
The hand of the robot will be preshaped based on the shape primitive of the object, as inspired by data driven approaches that study how humans perform grasp, allowing to reduce the search space for the appropriate grasps. We will then initiate hand closure until the maximum of contacts is established with the object. Based on the contact points’ locations and joints’ positions, we will obtain the contact locations in 3D space, and the sum of the forces applied to the object. We will perform a search for the applied forces achieving force closure through a combination of contact points. When force closure is not achieved, an analytical approach will help find the contact point where to place/replace a finger.
Our approach will be tested and validated with the Wonik Allegro Hand with 16 DOF equipped with 368 tactile sensors from Xela electronics distributed on the phalanges of the hand, its palm and its fingertips.
Partnerships and collaborations
This work is supported by the European project CORSMAL under the CHIST-ERA framework, call Topic: Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR) and received funding from the Engineering and Physical Sciences Research Council (EPSRC-UK), Agence Nationale de la Recherche (ANR), and Swiss National Science Foundation.
The project partners are:
– Queen Mary University of London – United Kingdom, (project coordinator),
– ISIR of Sorbonne University – France,
– École Polytechnique Fédérale de Lausanne (EPFL) – Swiss.
More about CORSMAL: corsmal.eecs.qmul.ac.uk
Projet CORSMAL: Collaborative Object Recognition, Shared Manipulation And Learning
Dans les robots collaboratifs et d’assistance, la transmission d’objets est une capacité fondamentale et essentielle. Bien que cette capacité puisse sembler simple, puisque les humains effectuent le transfert d’objets sans problème, il est très difficile de le reproduire chez les robots. Le problème du transfert d’objets a été étudié dans le passé et reste un domaine de recherche actif. Il englobe de nombreux sous-problèmes tels que l’étude de l’intention humaine, l’extraction des caractéristiques de l’objet, l’accessibilité, la synthèse de la manipulation et bien d’autres encore.
CORSMAL propose de développer et de valider un nouveau cadre pour la reconnaissance et la manipulation d’objets en collaboration avec des humains, capable d’imiter la capacité humaine d’apprentissage et d’adaptation à travers un ensemble de manipulateurs, de tâches, de configurations de détection et d’environnements différents. Le projet explore la fusion de plusieurs modalités de détection (le toucher, le son et la vision à la première ou à la troisième personne) pour estimer les propriétés physiques des objets de manière précise et robuste dans des environnements bruyants et potentiellement ambigus. L’objectif principal est de définir des architectures d’apprentissage pour les données sensorielles multimodales et pour les données agrégées provenant de différents environnements. L’objectif est d’améliorer continuellement l’adaptabilité et la robustesse des modèles appris, et de généraliser les capacités à travers les tâches et les sites. La robustesse du cadre proposé sera évaluée à l’aide de prototypes mis en œuvre dans différents environnements. Il est important de noter qu’au cours du projet, nous organiserons deux défis communautaires pour favoriser le partage des données et soutenir la reproductibilité des expériences dans des sites supplémentaires.
Le contexte
La coopération avec les humains est un défi important pour la robotique, car les robots seront amenés à travailler conjointement avec les humains. CORSMAL considère un scénario de coopération typique dans lequel un humain et un robot se transmettent un objet inconnu et partiellement occulté, comme par exemple un verre ou une tasse partiellement remplie de liquide, ce qui rend extrêmement difficile la détermination des affordances et des points de prise appropriés. La caractérisation des objets partiellement observables est en effet l’un des problèmes les plus critiques pour instancier des actions robotiques appropriées.
Bien que la mécatronique des manipulateurs robotiques ait atteint un niveau de sophistication considérable, la manipulation d’objets aux propriétés physiques inconnues dans des scènes du monde réel reste extrêmement difficile. Cela est principalement dû à l’absence de modèles appropriés et d’une quantité suffisante de données pour l’apprentissage de ces modèles. Les progrès sont également entravés par l’absence d’une masse critique de chercheuses et chercheurs abordant et évaluant la même tâche à l’aide d’un ensemble de données commun.
Pour résoudre ce problème, CORSMAL construira, grâce à l’inclusion de priorités physiques et de connaissances du domaine, des modèles d’apprentissage qui fonctionnent avec moins de données. En outre, CORSMAL mettra les données d’entraînement et les modèles à la disposition des autres chercheuses et chercheurs et, pour faciliter le partage des données et l’implication de la communauté des scientifiques, organisera deux défis lors de conférences internationales. Ces défis et l’évaluation associée illustreront l’interaction humain-robot typique qui a lieu lorsque le robot est chargé de manipuler des objets arbitraires manipulés quotidiennement par les humains.
Les objectifs
Les questions scientifiques spécifiques que CORSMAL abordera sont :
– Peut-on imiter la capacité humaine d’apprendre à partir de quelques exemples et d’adapter rapidement la manipulation en fusionnant de multiples indices ?
– Pouvons-nous reproduire la capacité humaine à prédire les affordances et les forces applicables appropriées pour le transfert d’objets inconnus à partir d’indices partiels ?
– Pouvons-nous apprendre efficacement les compromis entre les modèles spécifiques au manipulateur et les modèles généralisés par le partage des données pour une reconnaissance et une manipulation précise et robuste des objets ?
Pour répondre à ces questions, CORSMAL étudiera, concevra et validera de nouveaux modèles et technologies d’apprentissage pour combler l’écart entre la perception et la manipulation d’objets inconnus par le biais de la détection multimodale, de l’apprentissage automatique et de l’adaptation de modèles. Le projet vise à créer un système artificiel capable d’apprendre des primitives de mouvement adaptées à l’interaction physique humain-robot. Le système doit améliorer sa compréhension de l’environnement en utilisant les modèles appris et les observations d’un humain pour façonner les affordances du robot dans la manipulation d’objets.
Dans ce projet, l’équipe de l’ISIR se concentrera sur le problème de la préhension. En effet, un robot n’est toujours pas capable de saisir un objet aux propriétés inconnues, en mouvement et partiellement caché, comme il l’est lorsqu’il est tenu dans une main humaine.
Les résultats
Les humains peuvent sentir, peser et saisir divers objets, et en déduire simultanément leurs propriétés matérielles tout en appliquant la bonne quantité de force. Nous voulons reproduire cela avec notre système robotique. Pour ce faire, nous avons besoin d’obtenir des informations sur l’interaction entre notre robot et l’objet à saisir.
Notre approche combinera les deux méthodes existantes pour résoudre le problème de la préhension : la méthode analytique et la méthode basée sur les données (illustrée dans la figure ci-dessous).
La main du robot sera préformée en fonction de la forme primitive de l’objet, en s’inspirant des approches basées sur les données qui étudient la façon dont les humains effectuent des saisies, ce qui permet de réduire l’espace de recherche pour les saisies appropriées. Nous initierons ensuite la fermeture de la main jusqu’à ce qu’un maximum de contacts soit établi avec l’objet. Sur la base des emplacements des points de contact et des positions des articulations, nous obtiendrons les emplacements de contact dans l’espace 3D, ainsi que la somme des forces appliquées à l’objet. Nous rechercherons les forces appliquées pour obtenir une fermeture de force par une combinaison de points de contact. Lorsque la fermeture de force n’est pas atteinte, une approche analytique aidera à trouver le point de contact où placer/replacer un doigt.
Notre approche sera testée et validée avec la main Wonik Allegro Hand with 16 DOF équipée de 368 capteurs tactiles de Xela electronics répartis sur les phalanges de la main, sa paume et le bout de ses doigts.
Partenaires et collaborations
Ce travail est soutenu par le projet européen CORSMAL dans le cadre de programme CHIST-ERA, sujet d’appel : Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR) et a reçu des financements du Engineering and Physical Sciences Research Council (EPSRC-UK), de l’Agence Nationale de la Recherche (ANR), et du Fonds National Suisse de la Recherche Scientifique.
Les partenaires du projet sont :
– Queen Mary University of London – Royaume-Uni, (coordinateur du projet),
– ISIR de Sorbonne Université – France,
– École Polytechnique Fédérale de Lausanne (EPFL) – Suisse.
En savoir plus sur CORSMAL : corsmal.eecs.qmul.ac.uk
