Projet CORSMAL: Collaborative Object Recognition, Shared Manipulation And Learning
Dans les robots collaboratifs et d’assistance, la transmission d’objets est une capacité fondamentale et essentielle. Bien que cette capacité puisse sembler simple, puisque les humains effectuent le transfert d’objets sans problème, il est très difficile de le reproduire chez les robots. Le problème du transfert d’objets a été étudié dans le passé et reste un domaine de recherche actif. Il englobe de nombreux sous-problèmes tels que l’étude de l’intention humaine, l’extraction des caractéristiques de l’objet, l’accessibilité, la synthèse de la manipulation et bien d’autres encore.
CORSMAL propose de développer et de valider un nouveau cadre pour la reconnaissance et la manipulation d’objets en collaboration avec des humains, capable d’imiter la capacité humaine d’apprentissage et d’adaptation à travers un ensemble de manipulateurs, de tâches, de configurations de détection et d’environnements différents. Le projet explore la fusion de plusieurs modalités de détection (le toucher, le son et la vision à la première ou à la troisième personne) pour estimer les propriétés physiques des objets de manière précise et robuste dans des environnements bruyants et potentiellement ambigus. L’objectif principal est de définir des architectures d’apprentissage pour les données sensorielles multimodales et pour les données agrégées provenant de différents environnements. L’objectif est d’améliorer continuellement l’adaptabilité et la robustesse des modèles appris, et de généraliser les capacités à travers les tâches et les sites. La robustesse du cadre proposé sera évaluée à l’aide de prototypes mis en œuvre dans différents environnements. Il est important de noter qu’au cours du projet, nous organiserons deux défis communautaires pour favoriser le partage des données et soutenir la reproductibilité des expériences dans des sites supplémentaires.
Le contexte
La coopération avec les humains est un défi important pour la robotique, car les robots seront amenés à travailler conjointement avec les humains. CORSMAL considère un scénario de coopération typique dans lequel un humain et un robot se transmettent un objet inconnu et partiellement occulté, comme par exemple un verre ou une tasse partiellement remplie de liquide, ce qui rend extrêmement difficile la détermination des affordances et des points de prise appropriés. La caractérisation des objets partiellement observables est en effet l’un des problèmes les plus critiques pour instancier des actions robotiques appropriées.
Bien que la mécatronique des manipulateurs robotiques ait atteint un niveau de sophistication considérable, la manipulation d’objets aux propriétés physiques inconnues dans des scènes du monde réel reste extrêmement difficile. Cela est principalement dû à l’absence de modèles appropriés et d’une quantité suffisante de données pour l’apprentissage de ces modèles. Les progrès sont également entravés par l’absence d’une masse critique de chercheuses et chercheurs abordant et évaluant la même tâche à l’aide d’un ensemble de données commun.
Pour résoudre ce problème, CORSMAL construira, grâce à l’inclusion de priorités physiques et de connaissances du domaine, des modèles d’apprentissage qui fonctionnent avec moins de données. En outre, CORSMAL mettra les données d’entraînement et les modèles à la disposition des autres chercheuses et chercheurs et, pour faciliter le partage des données et l’implication de la communauté des scientifiques, organisera deux défis lors de conférences internationales. Ces défis et l’évaluation associée illustreront l’interaction humain-robot typique qui a lieu lorsque le robot est chargé de manipuler des objets arbitraires manipulés quotidiennement par les humains.
Les objectifs
Les questions scientifiques spécifiques que CORSMAL abordera sont :
- Peut-on imiter la capacité humaine d’apprendre à partir de quelques exemples et d’adapter rapidement la manipulation en fusionnant de multiples indices ?
- Pouvons-nous reproduire la capacité humaine à prédire les affordances et les forces applicables appropriées pour le transfert d’objets inconnus à partir d’indices partiels ?
- Pouvons-nous apprendre efficacement les compromis entre les modèles spécifiques au manipulateur et les modèles généralisés par le partage des données pour une reconnaissance et une manipulation précise et robuste des objets ?
Pour répondre à ces questions, CORSMAL étudiera, concevra et validera de nouveaux modèles et technologies d’apprentissage pour combler l’écart entre la perception et la manipulation d’objets inconnus par le biais de la détection multimodale, de l’apprentissage automatique et de l’adaptation de modèles. Le projet vise à créer un système artificiel capable d’apprendre des primitives de mouvement adaptées à l’interaction physique humain-robot. Le système doit améliorer sa compréhension de l’environnement en utilisant les modèles appris et les observations d’un humain pour façonner les affordances du robot dans la manipulation d’objets.
Dans ce projet, l’équipe de l’ISIR se concentrera sur le problème de la préhension. En effet, un robot n’est toujours pas capable de saisir un objet aux propriétés inconnues, en mouvement et partiellement caché, comme il l’est lorsqu’il est tenu dans une main humaine.
Les résultats
Les humains peuvent sentir, peser et saisir divers objets, et en déduire simultanément leurs propriétés matérielles tout en appliquant la bonne quantité de force. Nous voulons reproduire cela avec notre système robotique. Pour ce faire, nous avons besoin d’obtenir des informations sur l’interaction entre notre robot et l’objet à saisir.
Notre approche combinera les deux méthodes existantes pour résoudre le problème de la préhension : la méthode analytique et la méthode basée sur les données (illustrée dans la figure ci-dessous).
La main du robot sera préformée en fonction de la forme primitive de l’objet, en s’inspirant des approches basées sur les données qui étudient la façon dont les humains effectuent des saisies, ce qui permet de réduire l’espace de recherche pour les saisies appropriées. Nous initierons ensuite la fermeture de la main jusqu’à ce qu’un maximum de contacts soit établi avec l’objet. Sur la base des emplacements des points de contact et des positions des articulations, nous obtiendrons les emplacements de contact dans l’espace 3D, ainsi que la somme des forces appliquées à l’objet. Nous rechercherons les forces appliquées pour obtenir une fermeture de force par une combinaison de points de contact. Lorsque la fermeture de force n’est pas atteinte, une approche analytique aidera à trouver le point de contact où placer/replacer un doigt.
Notre approche sera testée et validée avec la main Wonik Allegro Hand with 16 DOF équipée de 368 capteurs tactiles de Xela electronics répartis sur les phalanges de la main, sa paume et le bout de ses doigts.
Partenaires et collaborations
Ce travail est soutenu par le projet européen CORSMAL dans le cadre de programme CHIST-ERA, sujet d’appel : Object recognition and manipulation by robots: Data sharing and experiment reproducibility (ORMR) et a reçu des financements du Engineering and Physical Sciences Research Council (EPSRC-UK), de l’Agence Nationale de la Recherche (ANR), et du Fonds National Suisse de la Recherche Scientifique.
Les partenaires du projet sont :
– Queen Mary University of London – Royaume-Uni, (coordinateur du projet),
– ISIR de Sorbonne Université – France,
– École Polytechnique Fédérale de Lausanne (EPFL) – Suisse.
En savoir plus sur CORSMAL : corsmal.eecs.qmul.ac.uk
