Home » Projet

AMAC

taxonomy

Projet « Le langage et sa sémantique » 

Le contexte

Ce groupe de travail s’intéresse aux différentes formes de langage (texte écrit et langage oral, parole et signaux sociaux, geste, visage, etc.) ainsi qu’à la notion de sémantique qui en découle. A l’intersection entre le traitement automatique du langage, la perception, les sciences cognitives et la robotique, le langage soulève de nombreux enjeux dérivant de l’analyse à la génération, que ce soit dans un contexte individuel ou interactif.

Voici une liste non exhaustive d’exemples d’applications tirées de nos domaines de recherche : 

Les objectifs

L’objectif de ce groupe est de rassembler des chercheuses et chercheurs ayant des expertises différentes autour du langage. A ce jour, les activités mises en place sont essentiellement des groupes de discussion ou présentation scientifiques dans l’objectif de faire émerger des centres d’intérêts communs.

Sur le long terme, un des enjeux sera de mettre en place des co-supervisions de stagiaires et/ou doctorantes et doctorants autour de cette thématique ou des mini-projets scientifiques.

Partenariats et collaboration

Le projet « Le langage et sa sémantique » est un projet fédérateur, interne à l’ISIR, qui n’implique pas de collaboration extérieure au laboratoire.

Contact du projet : projet-federateur-langage(at)listes.isir.upmc.fr

Projet Learn2Grasp : Learning Human-like Interactive Grasping based on Visual and Haptic Feedback

Le projet Learn2Grasp a pour but de développer des stratégies interactives de saisie d’objets dans des environnements encombrés en utilisant un bras robotique et une main dextre très sensible. Les stratégies de saisie seront apprises à l’aide de méthodes d’apprentissage par renforcement profond dans une simulation et sur robot réel, en utilisant des informations provenant de caméras RGB-D et des capteurs tactiles. La saisie est une tâche difficile pour l’apprentissage car il s’agit d’un problème à récompenses rares. Pour résoudre ce problème, deux approches seront combinées : une initialisation à partir de démonstrations par un humain avec une interface de téléopération immersive et une exploration des comportements améliorée par des algorithmes de qualité-diversité.

Le contexte

Les approches existantes de la manipulation fondées sur la théorie du contrôle sont efficaces mais requièrent habituellement un modèle précis des objets à saisir et de leur environnement. Inversement, les méthodes reposant sur l’apprentissage peuvent être entraînées de bout en bout sans un modèle élaboré de l’environnement, mais elles sont souvent inefficaces sur les problèmes d’exploration difficile, et demandent des gros volumes de données d’entraînement. Une troisième possibilité est d’apprendre à partir de démonstrations humaines, mais la généralisation au-delà des conditions des démonstrations est difficile.

Le partenariat franco-allemand Learn2Grasp, fait intervenir deux partenaires complémentaires pour résoudre ce problème. L’Université de Bonn a une expérience reconnue en perception visuelle, modélisation de scène et apprentissage par démonstration, et Sorbonne Université a une expertise en apprentissage d’actions et stratégies d’exploration efficace dans des contextes de récompense rare. Les deux partenaires utiliseront des plateforme robotiques modernes intégrant des mains dotées de capacités tactiles avancées.

Les objectifs

Les objectifs scientifiques du projet sont les suivants :

Ces tâches sont structurées en 4 unités de travail :

Les résultats

Le projet aura pour issue la réalisation d’un système intégré faisant appel aux technologies de perception visuelle et tactile développées pour construire des représentations de la scène, et utilisant de ces représentations pour apprendre efficacement, avec un volume de données non-simulées réduit, des politiques en boucle ouverte et en boucle fermée diverses permettant une saisie robuste en environnement encombré. Ce système devra être évalué sur environnement simulé et réel.

Un autre objectif du projet Learn2Grasp est de renforcer les liens et la collaboration scientifique entre l’équipe AIS de Bonn et l’ISIR à Sorbonne Université, de façon à développer un pôle d’expertise compétent sur tous les aspects de l’apprentissage pour la manipulation d’objets, allant de la perception et la création de représentations jusqu’à la génération d’actions.

Partenariats et collaborations

Le projet Learn2Grasp (réf. ANR-21-FAI1-0004) est une collaboration de recherche entre :

Cette collaboration est menée dans le cadre de l’appel à projets bilatéral franco-allemand en intelligence artificielle (MESRI-BMBF) 2021. Sa réalisation s’échelonne sur 4 ans, de 2021 à 2025.

Il est coordonné à Sorbonne Université par Alex Coninx, maître de conférences dans l’équipe AMAC de l’ISIR, et à l’université de Bonn par Prof. Dr. Sven Behnke, responsable de l’équipe AIS (Autonomous Intelligent Systems).

Projet ELSA – Apprentissage effectif des affordances sociales pour l’interaction humain-robot

« Étudier l’apprentissage d’affordances sociales chez les robots ». Les affordances sont des opportunités d’actions perçues par un agent pour interagir avec son environnement. Elles intéressent les roboticiens pour décrire les interactions potentielles du robot avec des objets au-delà des simples propriétés physiques. 

Dans le projet ELSA, nous étendons la notion aux affordances sociales, qui n’ont pour l’instant été que peu étudiées en robotique. Ici, nous faisons les hypothèses suivantes : 

Le contexte

Le concept d’affordances est la capacité d’un objet ou d’un environnement à évoquer son utilisation ou sa fonction. Il attire progressivement l’attention des scientifiques en robotique et en Intelligence Artificielle (IA) comme un moyen de fournir aux agents artificiels plus d’autonomie, en leur permettant d’apprendre par eux-mêmes quelles commandes envoyées à leurs moteurs produisent des effets sur l’environnement. 

Néanmoins, les avantages sociaux demeurent largement inexplorés en robotique et en IA. Si les affordances physiques représentent une étape vers des agents autonomes qui comprennent mieux leur environnement physique, les affordances sociales sont nécessaires pour évoluer vers des environnements multi-agents plus réalistes. Nous savons que les humains acquièrent des affordances sociales pour apprendre comment bien interagir avec les autres. Permettre aux robots de faire ce même type d’apprentissage leur permettrait de mieux interagir avec les humains.

Les objectifs

L’objectif central du projet est d’étudier les conditions qui permettent à un robot d’apprendre de manière efficace des affordances sociales, de façon à faciliter la communication et la coopération avec les humains. Nous allons en particulier étudier les problèmes liés aux affordances sociales en robotique, organisés en 4 lots de travail : 

Légende : Scénario sur table – les participants humains peuvent coopérer avec le robot pour atteindre un objectif particulier (par exemple, construire une tour avec des cubes). Le robot doit apprendre à dissocier la compétence des humains, dans des tâches spécifiques, des propriétés d’objets spécifiques (par exemple, l’humain ne peut pas placer une balle au sommet de la tour de cubes non pas parce qu’il est incompétent, mais plutôt parce que les balles tombent des tours). Copyright : Aurélie Clodic, LAAS-CNRS.

Les résultats

Le cadre applicatif principal de ce travail est celui de l’interaction humain-robot, et plus précisément de la coopération humain-robot. Mieux comprendre comment les robots peuvent apprendre à reconnaître et à exprimer des affordances sociales aiderait à contribuer à la conception de robots plus coopératifs avec l’humain. Cela permettrait alors de seconder l’humain dans une variété de tâches, comme la manipulation d’objets ou encore la navigation. Le projet contribuera également à d’autres retombées, notamment en termes de connaissances fondamentales sur la manière dont l’humain apprend, perçoit et exprime des affordances sociales. Mettre au point des algorithmes permettant à un robot d’apprendre des affordances sociales est une manière de proposer des modèles de la façon dont les humains font cet apprentissage. 

D’une façon générale, le projet répond à un manque critique de connaissances de base sur la façon dont les affordances sociales sont apprises et utilisées dans le contexte de l’interaction humain-robot. L’atout majeur du projet est qu’il s’attaque à un sous-domaine relativement inexploré (les affordances sociales en robotique) qui s’appuie sur des domaines bien étudiés (les affordances non-sociales en robotique, mais aussi en psychologie).

Partenariats et collaborations

Le projet est coordonné par Mehdi Khamassi, Directeur de Recherche à l’ISIR. Le consortium du projet est composé de la manière suivante :

Projet SOFTMANBOT : Technologie robotique avancée pour la manipulation de matériaux mous dans les secteurs de la fabrication

SOFTMANBOT est un projet axé sur l’utilisateur industriel final, qui fournira un système robotique innovant et global pour la manipulation de matériaux souples et déformables, dans le cadre de processus de production à forte intensité de main-d’œuvre.

Le système robotique sera composé de trois éléments principaux :

Le contexte

Les robots sont employés depuis longtemps dans des applications de l’industrie automobile, depuis leur introduction dans ce secteur au milieu du siècle dernier. Depuis, les solutions robotiques ont été adoptées par de nombreux secteurs et pour des applications diverses comme dans les domaines de l’aéronautique, l’électronique, l’électroménager, l’industrie alimentaire, l’emballage, les machines textiles, etc. Toutefois, l’adoption de solutions robotiques dans les processus industriels reste faible dans un nombre important de secteurs qui pourraient être la cible idéale de ce type de solutions en raison de la nature de leur travail (tâches répétitives, dangereuses, etc.). Ce fait limite le niveau d’automatisation dans ces industries et restreint le potentiel de croissance de ces entreprises, en particulier dans des secteurs déterminés tels que les industries du textile, de la chaussure ou du jouet, qui doivent réduire leurs coûts de production et augmenter leur productivité en raison de la concurrence acharnée à laquelle ils sont confrontés avec des produits provenant d’autres marchés internationaux tels que l’Asie (Chine, Bangladesh, Inde, etc.). 

Les objectifs

L’objectif général du projet est de développer et de démontrer une approche innovante et universelle de la manipulation robotique de matériaux flexibles et déformables, basée sur l’intégration de technologies de fabrication avancées pour l’automatisation de tâches basées sur le contact, soutenue par un système de perception robotique intelligent, une plateforme de planification et de contrôle multi-capteurs et le déploiement de préhenseurs intelligents et à dextérité universelle capables de manipuler des composants souples avec des niveaux élevés de robustesse et de flexibilité.

Afin de réaliser l’objectif du projet, le projet SOFTMANBOT se déroulera sur 42 mois avec un plan de travail divisé en 9 Work Packages.

Les résultats

Les résultats attendus sont les suivants : 

Partenariats et collaborations

Ce projet a été financé par le programme de recherche et d’innovation Horizon 2020 de l’Union européenne « Transforming European Industry », sous la convention de subvention nº 869855.

Le consortium est composé de la manière suivante :

En savoir plus sur SOFTMANBOT: http://softmanbot.eu/

La robotique représente un défi pour les méthodes d’apprentissage car elle combine les difficultés suivantes : espaces d’état et d’action de grande dimension et continus, récompenses rares, monde dynamique, ouvert et partiellement observable avec des perceptions et des actions bruitées. Leur mise en œuvre est donc délicate et nécessite une analyse poussée des tâches à accomplir, ce qui réduit leur potentiel d’application. Dans le projet Européen DREAM, nous avons défini les bases d’une approche développementale permettant de combiner différentes méthodes pour réduire ces contraintes et donc augmenter les capacités d’adaptation des robots par le biais de l’apprentissage. 

Le contexte

La conception de robots nécessite d’anticiper toutes les conditions auxquelles ils peuvent être confrontés et de prévoir les comportements appropriés. Une situation imprévue peut donc provoquer un dysfonctionnement susceptible de se reproduire si les mêmes conditions surviennent de nouveau. Ce manque d’adaptation est un frein à de nombreuses applications de la robotique, en particulier lorsqu’elles ciblent un environnement non contrôlé comme notre environnement quotidien (pour des robots compagnons, par exemple) ou plus généralement pour des robots collaboratifs, c’est-à-dire agissant au contact d’humains. Les méthodes d’apprentissage artificiel pourraient aider à rendre les robots plus adaptatifs, si toutefois elles parviennent à surmonter les multiples difficultés liées au contexte de la robotique. Ce sont ces difficultés spécifiques que ce projet se propose d’aborder.

Les objectifs

L’objectif du projet est d’aider à concevoir des robots en interaction avec un environnement non contrôlé, sur des tâches pour lesquelles le comportement désiré est partiellement connu ou même totalement inconnu.

Dans ce contexte, l’apprentissage permet de laisser le robot explorer son environnement en autonomie, afin d’en extraire des représentations sensorielles, sensori-motrices ou purement motrices pertinentes. Par exemple, apprendre à reconnaître des objets, identifier sont ceux qui sont manipulables, apprendre à les saisir, les pousser, les jeter, etc. Explorer le vaste espace sensori-moteur de manière pertinente est central, d’autant plus que nombre d’interactions sont rares (la probabilité d’attraper un objet avec un mouvement purement aléatoire est quasiment nulle).

Nous nous intéressons donc à la construction de ces représentations et nous appuyons sur une approche modulaire et itérative visant à explorer les capacités du robot et à en déduire des représentations qui faciliteront la résolution des tâches qui se présentent, que ce soit avec des méthodes de planification ou d’apprentissage. 

Les résultats

La création de représentations d’états et d’actions susceptibles de servir ultérieurement nécessite dans un premier temps de générer des comportements pertinents par rapport aux capacités du robot. Un comportement est pertinent s’il met en avant la capacité du robot à obtenir un effet particulier en interagissant avec son environnement. Sachant que beaucoup de mouvements du robot ne créent aucun effet, découvrir les effets que le robot est susceptible de générer est difficile. A cela s’ajoute la difficulté d’explorer pour apprendre des comportements sans disposer de représentations appropriées.

Nous nous appuyons donc sur des algorithmes d’exploration basés notamment sur de la recherche de nouveauté et des algorithmes de Qualité-Diversité pour générer des comportements d’exploration en grande quantité et en déduire des espace d’état et d’action appropriés pour des apprentissages ultérieurs. 

Figure 1: Le robot Baxter a appris un répertoire d’actions de manipulation du Joystick qu’il utilise pour apprendre à piloter un petit robot à roues.

Partenariats et collaborations

Le projet Européen DREAM, coordonné par Sorbonne Université (FET H2020 2015-2018), a lancé cette thématique de recherche au laboratoire (http://dream.isir.upmc.fr/).

Son consortium était composé de :

Il s’agissait d’un projet académique, sans partenaire industriel. 

Elle se poursuit dans le cadre de plusieurs projets visant à appliquer ces travaux à un contexte industriel. La capacité d’adaptation de l’apprentissage est destinée à aider les ingénieurs dans la phase de conception et de mise à jour du comportement d’un robot. Le projet Européen SoftManBot (http://softmanbot.eu) vise des applications à la manipulation d’objets déformables. Il dispose d’un consortium de 11 partenaires, notamment SIGMA, à Clermont-Ferrand, l’IIT à Gênes et des entreprises comme Decathlon et Michelin. Le projet VeriDREAM (https://veridream.eu/), en collaboration avec le DLR, l’ENSTA-Paristech, Magazino GmbH, Synesis et GoodAI, vise à faciliter le transfert de ces méthodes dans un contexte industriel plus large, incluant en particulier des petites et moyennes entreprises avec un focus sur les secteurs de la logistique et du jeu vidéo.

Les vertébrés sont capables d’apprendre à modifier leur comportement sur la base de récompenses et de punitions. Cet apprentissage, dit « par renforcement », est également l’objet de nombreuses recherches en Intelligence Artificielle pour augmenter l’autonomie décisionnelle des robots.

Comment apprendre par récompenses et punitions, le plus vite possible pour un coût de calcul minimal ? C’est à cette question que nous nous attelons en combinant des algorithmes d’apprentissage par renforcement aux caractéristiques complémentaires.

Ce projet interdisciplinaire vise à améliorer les performances des robots, mais également à mieux expliquer l’apprentissage chez les vertébrés.

Le contexte

L’apprentissage par renforcement distingue deux grandes familles d’algorithmes :

Les vertébrés, eux, sont capables d’exhiber des comportement dirigés vers un but résultant de déductions sur la structure de l’environnement. En cas d’apprentissage prolongé, ils développent des habitudes qui sont difficiles à remettre en cause. Il est couramment accepté, depuis le milieu des années 2000 (Daw et al., 2005), que les algorithmes MB sont un bon modèle des comportements dirigés vers un but, et les algorithmes MF un bon modèle de la formation d’habitudes.

Les objectifs

Nous cherchons à définir des méthodes de coordination de ces deux types d’algorithmes permettant de les combiner au mieux, afin d’apprendre rapidement et de s’adapter aux changement, tout en minimisant les calculs lorsque c’est possible. Nous testons nos réalisations dans des tâches de navigation robotique et de coopération homme-machine.

Nous cherchons plutôt à expliquer les interactions observées entre comportement flexibles et habituels, qui ne semblent pas nécessairement optimales. Cela implique que les méthodes de coordination développées pour la robotique et pour les neurosciences ne sont pas nécessairement identiques.

Les résultats

Nous avons initialement proposé une méthode de coordination des algorithmes MB-MF permettant d’expliquer des effets de compétition et de coopération entre systèmes d’apprentissage chez le rat (Dollé et al., 2010, 2018).

Elle a ensuite été adaptée pour son utilisation en navigation robotique (Caluwaerts et al., 2012), et dotée à l’occasion d’un système de détection de contexte permettant d’apprendre et de ré-apprendre rapidement en cas de changement de la tâche. Le développement d’un nouveau critère de coordination prenant en compte explicitement le temps de calcul a permis de proposer un nouveau système robotique ayant des performances maximales, identiques à celles d’un algorithme MB, pour un coût de calcul divisé par trois (Dromnelle et al., 2020a, 2020b).

En parallèle, des modèles ont été développés pour expliquer les décisions et les temps de réponse chez l’humain (Viejo et al., 2015) et le macaque (Viejo et al., 2018).

L’ensemble des réalisations de ce projet de fond ont été résumées dans l’article (en anglais) « Adaptive coordination of multiple learning strategies in brains and robots » (Khamassi, 2020).

Partenariats et collaborations

Ces travaux ont été menés dans le cadre de divers projets, financés entre autres par l’ANR (LU2, STGT, RoboErgoSum), la Ville de Paris (Emergence(s) HABOT), l’Observatoire B2V des mémoire, le CNRS, etc.

Ils s’appuient sur des collaborations entre :