Project INDEX: Robot In-hand Dexterous manipulation by extracting data from human manipulation of objects to improve robotic autonomy and dexterity
The InDex project aims to understand how humans perform in-hand object manipulation and to replicate the observed skilled movements with dexterous artificial hands, merging the concepts of reinforcement and transfer learning to generalise in-hand skills for multiple objects and tasks. In addition, an abstraction and representation of previous knowledge will be fundamental for the reproducibility of learned skills to different hardware. Learning will use data across multiple modalities that will be collected, annotated and assembled into a large dataset. The data and our methods will be shared with the wider research community to allow testing against benchmarks and reproduction of results.
Context
Humans excel when dealing with everyday objects and manipulation tasks, learning new skills, and adapting to different or complex environments. This is a basic skill for our survival as well as a key feature in our world of artefacts and human-made devices. Our expert ability to use our hands results from a lifetime of learning by both observing other skilled humans and ourselves as we discover how to handle objects first-hand. Unfortunately, today’s robotic hands are still unable to achieve such a high level of dexterity in comparison to humans nor are systems entirely able to understand their own potential.
Objectives
In order for robots to truly operate in a human world and fulfil the expectations as intelligent assistants, they must be able to manipulate a wide variety of unknown objects by mastering their capabilities of strength, finesse and subtlety. To achieve such dexterity with robotic hands, cognitive capacity is needed to deal with uncertainties in the real world and to generalise previously learned skills to new objects and tasks. Furthermore, we assert that the complexity of programming must be greatly reduced, and robot autonomy must become much more natural.
The core objectives are:
– to build a multi-modal artificial perception architecture that extracts data of object manipulation by humans;
– the creation of a multimodal dataset of in-hand manipulation tasks such as regrasping, reorienting and finely repositioning;
– the development of an advanced object modelling and recognition system, including the characterisation of object affordances and grasping properties, in order to encapsulate both explicit information and possible implicit object usages;
– to autonomously learn and precisely imitate human strategies in handling tasks;
– and to build a bridge between observation and execution, allowing deployment that is independent of the robot architecture.
The goals for the ISIR team are to design:
– a real-time planner for robotic grasp and in-hand manipulation,
– optimal feedback control to determine the intermediate states that yield the best possible performance for the transition from an initial state to the next desired state,
– multi-modal low-level controllers that make the artificial hand handle the targeted object taking into consideration that robot system needs various and different sources of information during the sequence action which yields to a complex command structure,
– grasp adjustments, holding an object within a hand requires that the fingers maintain the object firmly without any slippage and resist to bound external disturbances. In other words, the grasp must be stable.
Results
Robotic in-hand manipulation is based on a combination of human motion primitives. Motion primitives have been extracted and tested to be efficient in re-creating paths. The real time path planner design is on the way that combine motion primitives under robotic in-hand manipulation constraints to generate the paths.
Partnerships and collaborations
This work is supported by the European project InDex under the CHIST-ERA framework, call Topic: Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR) and received funding from the Italian Ministry of Education and Research (MIUR), Austrian Science Fund (FWF) under grant agreement No. I3969-N30, Engineering and Physical Sciences Research Council (EPSRC-UK) with reference EP/S032355/1 and Agence Nationale de la Recherche (ANR) under grant agreement No. ANR-18-CHR3-0004.
Project partners are:
– Aston University – United Kingdom (coordinator),
– Technical University Wien – Austria,
– University of Tartu – Estonia,
– Sorbonne Université – France,
– University of Genoa – Italy
Projet INDEX: Robot In-hand Dexterous manipulation by extracting data from human manipulation of objects to improve robotic autonomy and dexterity
Le projet InDex vise à comprendre comment les humains manipulent des objets avec leurs mains et reproduire les mouvements observés avec des mains artificielles dextres, en fusionnant les concepts d’apprentissage par renforcement et par transfert pour généraliser les capacités de manipulation pour de multiples objets et tâches. De plus, une abstraction et une représentation des connaissances antérieures seront fondamentales pour la reproductibilité des compétences acquises sur différents matériels. L’apprentissage utilisera des informations provenant de plusieurs modalités qui seront collectées, annotées et assemblées dans un grand ensemble de données. Les données et nos méthodes seront partagées avec la communauté de recherche au sens large afin de permettre des tests par rapport à des points de référence et la reproduction des résultats.
Le contexte
L’être humain excelle lorsqu’il s’agit de manipuler des objets du quotidien, d’apprendre de nouvelles compétences et de s’adapter à des environnements différents ou complexes. Il s’agit de compétences fondamentales pour notre survie et d’une caractéristique essentielle de notre monde d’artefacts et de dispositifs fabriqués par l’homme. Notre capacité à utiliser nos mains est le résultat d’une vie d’apprentissage, à la fois en observant d’autres humains compétents et en découvrant par nous-mêmes comment manipuler des objets. Malheureusement, les mains robotisées d’aujourd’hui sont encore incapables d’atteindre un tel niveau de dextérité par rapport aux humains et les systèmes ne sont pas non plus entièrement capables de comprendre leur propre potentiel.
Les objectifs
Pour que les robots puissent véritablement fonctionner dans un monde humain et répondre aux attentes en tant qu’assistants intelligents, ils doivent être capables de manipuler une grande variété d’objets inconnus en maîtrisant leurs capacités de force, de souplesse et de subtilité. Pour atteindre une telle dextérité avec des mains robotiques, une aptitude cognitive est nécessaire pour faire face aux incertitudes du monde réel et pour généraliser les compétences acquises précédemment à de nouveaux objets et tâches. En outre, nous affirmons que la complexité de la programmation doit être fortement réduite et que l’autonomie des robots doit devenir beaucoup plus naturelle.
Les objectifs principaux sont :
– la construction d’une architecture de perception artificielle multimodale qui extrait des données de manipulation d’objets par des humains,
– la création d’un ensemble de données multimodales de tâches de manipulation avec la main telles que la préhension, la réorientation et le repositionnement fin,
– le développement d’un système avancé de modélisation et de reconnaissance d’objets, comprenant la caractérisation des affordances et des propriétés de préhension des objets, afin de capturer à la fois les informations explicites et les utilisations implicites possibles des objets,
– l’apprentissage autonome et l’imitation précise des stratégies humaines dans les tâches de manipulation,
– et la construction d’un lien entre l’observation et l’exécution, permettant un déploiement indépendant de l’architecture du robot.
Les objectifs de l’équipe de l’ISIR sont de concevoir :
– un planificateur en temps réel pour la saisie et la manipulation robotique,
– une commande de rétroaction optimale pour déterminer les états intermédiaires qui donnent les meilleures performances possibles pour la transition d’un état initial à l’état désiré suivant,
– des contrôleurs multimodaux de bas niveau qui permettent à la main artificielle de manipuler l’objet ciblé en tenant compte du fait que le système robotique a besoin de sources d’information diverses et variées pendant la séquence d’action, ce qui donne lieu à une structure de commande complexe,
– le réglage de la saisie, la tenue d’un objet dans une main exige que les doigts maintiennent fermement l’objet sans aucun glissement et résistent aux perturbations externes liées ; en d’autres termes, la prise doit être stable.
Les résultats
La manipulation robotique de la main est basée sur une combinaison de mouvements primitifs humains. Les mouvements primitifs ont été extraits et testés pour être efficaces dans la reconstitution des trajectoires. Le planificateur de trajectoire en temps réel est en cours de conception et combine les mouvements primitifs sous les contraintes de la manipulation robotique à la main pour générer les trajectoires.
Partenariats et collaborations
Ce travail est soutenu par le projet européen InDex dans le cadre du programme CHIST-ERA, sujet d’appel “Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR)”. Le projet a reçu un financement du Ministère italien de l’éducation et de la recherche (MIUR), du Fonds scientifique autrichien (FWF) sous la convention de subvention n° I3969-N30, de l’Engineering and Physical Sciences Research Council (EPSRC-UK) sous la référence EP/S032355/1 et de l’Agence Nationale de la Recherche (ANR) sous la convention de subvention n° ANR-18-CHR3-0004.
Les partenaires du projets sont :
– Université Aston – Royaume-Uni (coordinateur),
– Université Technique de Vienne – Autriche,
– Université de Tartu – Estonie,
– Sorbonne Université – France,
– Université of Gênes – Italie.
