Le projet CoVR vise à améliorer le retour haptique, c’est à dire le sens du toucher, en réalité virtuelle. CoVR est une arène de réalité virtuelle augmentée d’un système robotisé pour rendre des objets virtuels tangibles. Cette plateforme est au carrefour de l’interaction humain-machine (IHM), de la réalité virtuelle, de la robotique et de l’haptique et illustre donc une grande variété des compétences de l’ISIR.
Le contexte
De nombreux systèmes pour stimuler le toucher sont développés à travers le monde. L’originalité du projet CoVR tient dans son interface robotisée, qui anticipe les mouvements de l’utilisateur-utilisatrice, et qui déplace des « props », des objets réels (une balle, une porte, un mur, etc.) et bon marché du quotidien pour qu’ils soient en contact avec l’utilisateur-utilisatrice.
Concrètement, une colonne attachée à un robot cartésien se déplace au milieu d’une arène et interagit avec l’utilisateur-utilisatrice. Quand l’utilisateur-utilisatrice va approcher sa main du mur virtuel, la colonne robotisée va se déplacer et arriver exactement au bon endroit, au bon moment. Ainsi, lorsque la main virtuelle touche le mur virtuel, la main réelle va toucher la colonne exactement au même moment, et donc avoir l’impression de toucher un vrai mur solide.
Les objectifs
Les objectifs du projet CoVR sont les suivants :
- Se positionner comme un démonstrateur d’expérience VR pour exposer le savoir faire du laboratoire aux partenaires universitaires et industriels ;
- Une plateforme éducative pour que de futur ingénieur-e en réalité virtuelle puisse avoir une expérience sur une plateforme mettant en œuvre des techniques et outils de pointe ;
- Un espace de vulgarisation pour transmettre au public les avancés dans le domaine de la robotique et des interactions Humain-Machine et qui sait éveiller une passion pour les plus jeunes.
Les résultats
La plateforme CoVR a fait l’objet d’une publication à la conférence ACM UIST : https://hal.science/hal-02931830.
C’est également une plateforme fonctionnelle avec plusieurs démonstrateurs qui ont déjà été montrés à la fête des Sciences. Des travaux continuent pour améliorer l’immersion et proposer de nouvelles démonstrations encore plus bluffantes.
Partenariats et collaborations
L’ISIR collabore actuellement avec ISART Digital, une école du jeu vidéo et d’animation 3D et d’effets spéciaux qui incorpore dans leur programme l’aspect scientifique. Des étudiants et étudiantes ont pu contribuer au projet en apportant un savoir-faire propre, ce qui a permis l’élaboration de scènes mettant en avant les points fort de la plateforme.
Ce projet vise le développement d’un manipulateur souple pour la cueillette. La cueillette de fruit ou de légume nécessite une préhension compliante et dextre pour garantir l’intégrité de l’objet ainsi qu’une structure porteuse souple pour pouvoir naviguer entre les branches sans les abimer. L’objectif est de développer un robot trompe continu sans articulation et actionné par des moteurs déportés et des câbles, à l’image des tendons dans une main humaine. Le projet se décline en 3 principales problématiques bien connues dans le domaine de la robotique, à savoir la conception, la modélisation et la commande. Ces 3 aspects sont en réalité très imbriqués pour ce genre de systèmes complexes. Une bonne conception avec une bonne intégration des actionneurs et des capteurs facilite énormément la commande par le biais d’une modélisation adéquate qui répond à la fois à un certain réalisme et une efficacité de calcul.
Le contexte
Dans un contexte de lutte contre le réchauffement climatique et de convergence technologique inédite (numérique, intelligence artificielle, …), l’agriculture doit se réinventer pour produire mieux, dans le respect de l’environnement et de la santé humaine. La robotique agricole est l’un des leviers de cette transformation. Elle constitue une solution prometteuse pour répondre aux enjeux environnementaux et sanitaires, qui sont posés actuellement en France et ailleurs dans tous les pays développés. L’urgence climatique imposera une réduction de plus en plus forte de l’utilisation des intrants (produits phytosanitaires, eau, etc.) et des énergies fossiles. Par ailleurs, la filière agricole souffre d’un manque d’attractivité et d’une image négative chez beaucoup de jeunes (ruralité, tâches répétitives, épuisement, difficultés économiques, isolement, etc.). La numérisation et la robotisation permettront la valorisation de ce métier et déchargera l’agriculteur des tâches répétitives et fatigantes telles que le désherbage, le portage, la cueillette et l’entretien régulier des cultures.
Les objectifs
L’objectif scientifique majeur est de pouvoir répondre aux trois problématiques que sont la conception, la modélisation et la commande, dans une approche simultanée et intégrée, parfois dite de co-design (hardware et software).
Le robot visé s’apparente à une trompe, d’environ un mètre, capable d’adopter plusieurs configurations stables de manière continue. Le laboratoire dispose de deux prototypes de manipulateurs souples continus pour mettre en œuvre différentes solutions. Le premier est constitué d’une colonne vertébrale en fils métalliques tressés et de disques en matériau à faible friction pour le passage des câbles. On utilise un actionnement par câbles en nylon et des servo-moteurs contrôlés en force pour garantir la tension dans le câble dans un intervalle donné. Le second est en TPU imprimé et utilise une structure de câbles antagonistes (un moteur actionne deux câbles antagonistes). Cette solution permet de garantir naturellement une tension minimale dans les câbles à chaque instant.
Deux principales voies sont étudiées concernant la commande de ces manipulateurs. Le manipulateur en fils métalliques tressés implémente actuellement un contrôle en boucle ouverte basé sur les données. L’exploration de son environnement a été réalisée pour apprendre, via un réseau de neurones, le modèle géométrique inverse (longueur de câbles à tirer en fonction de la position 3D de l’effecteur). Le manipulateur en TPU implémente quant à lui un contrôle basé sur la perception. L’idée est de reconstruire sa forme dans l’espace à l’aide de caméras stéréo pour pouvoir contrôler l’effecteur.
Les résultats
Les récents résultats ont démontré que l’utilisation d’un contrôle basé sur les données était tout à fait applicable dans le cas des manipulateurs souples actionnés par câbles. Que ce soit pour des tâches statiques (tâche de Reaching) ou dynamiques (suivi de trajectoires), la précision obtenue est suffisante. De plus, l’étude de la robustesse et de la répétabilité du système a démontré sa capacité à réaliser n’importe quelle tâche dans son environnement de travail de manière répétitive avec une variabilité millimétrique.
Partenariats et collaborations
Les membres du réseau Roboterrium – Equipex Tirrex sont partenaires du projet.
Projet « Le langage et sa sémantique »
Le contexte
Ce groupe de travail s’intéresse aux différentes formes de langage (texte écrit et langage oral, parole et signaux sociaux, geste, visage, etc.) ainsi qu’à la notion de sémantique qui en découle. A l’intersection entre le traitement automatique du langage, la perception, les sciences cognitives et la robotique, le langage soulève de nombreux enjeux dérivant de l’analyse à la génération, que ce soit dans un contexte individuel ou interactif.
Voici une liste non exhaustive d’exemples d’applications tirées de nos domaines de recherche :
- Prise en compte des hésitations, du rire et autres signaux sociaux
- Lien parole et comportements non verbaux ;
- Dialogues contextualisés (historique, tâche, interaction) / Systèmes de questions-réponses ;
- Synthèse textuelle d’information et d’interaction ;
- Recommandation et recherche d’information ;
- Analyse et représentation de la sémantique ;
- Variation de style ou de contenu.
Les objectifs
L’objectif de ce groupe est de rassembler des chercheuses et chercheurs ayant des expertises différentes autour du langage. A ce jour, les activités mises en place sont essentiellement des groupes de discussion ou présentation scientifiques dans l’objectif de faire émerger des centres d’intérêts communs.
Sur le long terme, un des enjeux sera de mettre en place des co-supervisions de stagiaires et/ou doctorantes et doctorants autour de cette thématique ou des mini-projets scientifiques.
Partenariats et collaboration
Le projet « Le langage et sa sémantique » est un projet fédérateur, interne à l’ISIR, qui n’implique pas de collaboration extérieure au laboratoire.
Contact du projet : projet-federateur-langage(at)listes.isir.upmc.fr
La robotique représente un défi pour les méthodes d’apprentissage car elle combine les difficultés suivantes : espaces d’état et d’action de grande dimension et continus, récompenses rares, monde dynamique, ouvert et partiellement observable avec des perceptions et des actions bruitées. Leur mise en œuvre est donc délicate et nécessite une analyse poussée des tâches à accomplir, ce qui réduit leur potentiel d’application. Dans le projet Européen DREAM, nous avons défini les bases d’une approche développementale permettant de combiner différentes méthodes pour réduire ces contraintes et donc augmenter les capacités d’adaptation des robots par le biais de l’apprentissage.
Le contexte
La conception de robots nécessite d’anticiper toutes les conditions auxquelles ils peuvent être confrontés et de prévoir les comportements appropriés. Une situation imprévue peut donc provoquer un dysfonctionnement susceptible de se reproduire si les mêmes conditions surviennent de nouveau. Ce manque d’adaptation est un frein à de nombreuses applications de la robotique, en particulier lorsqu’elles ciblent un environnement non contrôlé comme notre environnement quotidien (pour des robots compagnons, par exemple) ou plus généralement pour des robots collaboratifs, c’est-à-dire agissant au contact d’humains. Les méthodes d’apprentissage artificiel pourraient aider à rendre les robots plus adaptatifs, si toutefois elles parviennent à surmonter les multiples difficultés liées au contexte de la robotique. Ce sont ces difficultés spécifiques que ce projet se propose d’aborder.
Les objectifs
L’objectif du projet est d’aider à concevoir des robots en interaction avec un environnement non contrôlé, sur des tâches pour lesquelles le comportement désiré est partiellement connu ou même totalement inconnu.
Dans ce contexte, l’apprentissage permet de laisser le robot explorer son environnement en autonomie, afin d’en extraire des représentations sensorielles, sensori-motrices ou purement motrices pertinentes. Par exemple, apprendre à reconnaître des objets, identifier sont ceux qui sont manipulables, apprendre à les saisir, les pousser, les jeter, etc. Explorer le vaste espace sensori-moteur de manière pertinente est central, d’autant plus que nombre d’interactions sont rares (la probabilité d’attraper un objet avec un mouvement purement aléatoire est quasiment nulle).
Nous nous intéressons donc à la construction de ces représentations et nous appuyons sur une approche modulaire et itérative visant à explorer les capacités du robot et à en déduire des représentations qui faciliteront la résolution des tâches qui se présentent, que ce soit avec des méthodes de planification ou d’apprentissage.
Les résultats
La création de représentations d’états et d’actions susceptibles de servir ultérieurement nécessite dans un premier temps de générer des comportements pertinents par rapport aux capacités du robot. Un comportement est pertinent s’il met en avant la capacité du robot à obtenir un effet particulier en interagissant avec son environnement. Sachant que beaucoup de mouvements du robot ne créent aucun effet, découvrir les effets que le robot est susceptible de générer est difficile. A cela s’ajoute la difficulté d’explorer pour apprendre des comportements sans disposer de représentations appropriées.
Nous nous appuyons donc sur des algorithmes d’exploration basés notamment sur de la recherche de nouveauté et des algorithmes de Qualité-Diversité pour générer des comportements d’exploration en grande quantité et en déduire des espace d’état et d’action appropriés pour des apprentissages ultérieurs.
Partenariats et collaborations
Le projet Européen DREAM, coordonné par Sorbonne Université (FET H2020 2015-2018), a lancé cette thématique de recherche au laboratoire (http://dream.isir.upmc.fr/).
Son consortium était composé de :
- l’ENSTA-ParisTech, en France,
- Sorbonne Université, en France,
- l’Université de la Corogne, en Espagne,
- l’Université d’Édimbourg au Royaume-Uni,
- la Vrije Universiteit Amsterdam au Pays-Bas.
Il s’agissait d’un projet académique, sans partenaire industriel.
Elle se poursuit dans le cadre de plusieurs projets visant à appliquer ces travaux à un contexte industriel. La capacité d’adaptation de l’apprentissage est destinée à aider les ingénieurs dans la phase de conception et de mise à jour du comportement d’un robot. Le projet Européen SoftManBot (http://softmanbot.eu) vise des applications à la manipulation d’objets déformables. Il dispose d’un consortium de 11 partenaires, notamment SIGMA, à Clermont-Ferrand, l’IIT à Gênes et des entreprises comme Decathlon et Michelin. Le projet VeriDREAM (https://veridream.eu/), en collaboration avec le DLR, l’ENSTA-Paristech, Magazino GmbH, Synesis et GoodAI, vise à faciliter le transfert de ces méthodes dans un contexte industriel plus large, incluant en particulier des petites et moyennes entreprises avec un focus sur les secteurs de la logistique et du jeu vidéo.
