Projet INDEX: Robot In-hand Dexterous manipulation by extracting data from human manipulation of objects to improve robotic autonomy and dexterity
Le projet InDex vise à comprendre comment les humains manipulent des objets avec leurs mains et reproduire les mouvements observés avec des mains artificielles dextres, en fusionnant les concepts d’apprentissage par renforcement et par transfert pour généraliser les capacités de manipulation pour de multiples objets et tâches. De plus, une abstraction et une représentation des connaissances antérieures seront fondamentales pour la reproductibilité des compétences acquises sur différents matériels. L’apprentissage utilisera des informations provenant de plusieurs modalités qui seront collectées, annotées et assemblées dans un grand ensemble de données. Les données et nos méthodes seront partagées avec la communauté de recherche au sens large afin de permettre des tests par rapport à des points de référence et la reproduction des résultats.
Le contexte
L’être humain excelle lorsqu’il s’agit de manipuler des objets du quotidien, d’apprendre de nouvelles compétences et de s’adapter à des environnements différents ou complexes. Il s’agit de compétences fondamentales pour notre survie et d’une caractéristique essentielle de notre monde d’artefacts et de dispositifs fabriqués par l’homme. Notre capacité à utiliser nos mains est le résultat d’une vie d’apprentissage, à la fois en observant d’autres humains compétents et en découvrant par nous-mêmes comment manipuler des objets. Malheureusement, les mains robotisées d’aujourd’hui sont encore incapables d’atteindre un tel niveau de dextérité par rapport aux humains et les systèmes ne sont pas non plus entièrement capables de comprendre leur propre potentiel.
Les objectifs
Pour que les robots puissent véritablement fonctionner dans un monde humain et répondre aux attentes en tant qu’assistants intelligents, ils doivent être capables de manipuler une grande variété d’objets inconnus en maîtrisant leurs capacités de force, de souplesse et de subtilité. Pour atteindre une telle dextérité avec des mains robotiques, une aptitude cognitive est nécessaire pour faire face aux incertitudes du monde réel et pour généraliser les compétences acquises précédemment à de nouveaux objets et tâches. En outre, nous affirmons que la complexité de la programmation doit être fortement réduite et que l’autonomie des robots doit devenir beaucoup plus naturelle.
Les objectifs principaux sont :
- la construction d’une architecture de perception artificielle multimodale qui extrait des données de manipulation d’objets par des humains,
- la création d’un ensemble de données multimodales de tâches de manipulation avec la main telles que la préhension, la réorientation et le repositionnement fin,
- le développement d’un système avancé de modélisation et de reconnaissance d’objets, comprenant la caractérisation des affordances et des propriétés de préhension des objets, afin de capturer à la fois les informations explicites et les utilisations implicites possibles des objets,
- l’apprentissage autonome et l’imitation précise des stratégies humaines dans les tâches de manipulation,
- et la construction d’un lien entre l’observation et l’exécution, permettant un déploiement indépendant de l’architecture du robot.
Les objectifs de l’équipe de l’ISIR sont de concevoir :
- un planificateur en temps réel pour la saisie et la manipulation robotique,
- une commande de rétroaction optimale pour déterminer les états intermédiaires qui donnent les meilleures performances possibles pour la transition d’un état initial à l’état désiré suivant,
- des contrôleurs multimodaux de bas niveau qui permettent à la main artificielle de manipuler l’objet ciblé en tenant compte du fait que le système robotique a besoin de sources d’information diverses et variées pendant la séquence d’action, ce qui donne lieu à une structure de commande complexe,
- le réglage de la saisie, la tenue d’un objet dans une main exige que les doigts maintiennent fermement l’objet sans aucun glissement et résistent aux perturbations externes liées ; en d’autres termes, la prise doit être stable.
Les résultats
La manipulation robotique de la main est basée sur une combinaison de mouvements primitifs humains. Les mouvements primitifs ont été extraits et testés pour être efficaces dans la reconstitution des trajectoires. Le planificateur de trajectoire en temps réel est en cours de conception et combine les mouvements primitifs sous les contraintes de la manipulation robotique à la main pour générer les trajectoires.
Partenariats et collaborations
Ce travail est soutenu par le projet européen InDex dans le cadre du programme CHIST-ERA, sujet d’appel « Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR) ». Le projet a reçu un financement du Ministère italien de l’éducation et de la recherche (MIUR), du Fonds scientifique autrichien (FWF) sous la convention de subvention n° I3969-N30, de l’Engineering and Physical Sciences Research Council (EPSRC-UK) sous la référence EP/S032355/1 et de l’Agence Nationale de la Recherche (ANR) sous la convention de subvention n° ANR-18-CHR3-0004.
Les partenaires du projets sont :
- Université Aston – Royaume-Uni (coordinateur),
- Université Technique de Vienne – Autriche,
- Université de Tartu – Estonie,
- Sorbonne Université – France,
- Université of Gênes – Italie.
