Home » Projet

Apprentissage ouvert en robotique

La robotique représente un défi pour les méthodes d’apprentissage car elle combine les difficultés suivantes : espaces d’état et d’action de grande dimension et continus, récompenses rares, monde dynamique, ouvert et partiellement observable avec des perceptions et des actions bruitées. Leur mise en œuvre est donc délicate et nécessite une analyse poussée des tâches à accomplir, ce qui réduit leur potentiel d’application. Dans le projet Européen DREAM, nous avons défini les bases d’une approche développementale permettant de combiner différentes méthodes pour réduire ces contraintes et donc augmenter les capacités d’adaptation des robots par le biais de l’apprentissage. 

Contexte

La conception de robots nécessite d’anticiper toutes les conditions auxquelles ils peuvent être confrontés et de prévoir les comportements appropriés. Une situation imprévue peut donc provoquer un dysfonctionnement susceptible de se reproduire si les mêmes conditions surviennent de nouveau. Ce manque d’adaptation est un frein à de nombreuses applications de la robotique, en particulier lorsqu’elles ciblent un environnement non contrôlé comme notre environnement quotidien (pour des robots compagnons, par exemple) ou plus généralement pour des robots collaboratifs, c’est-à-dire agissant au contact d’humains. Les méthodes d’apprentissage artificiel pourraient aider à rendre les robots plus adaptatifs, si toutefois elles parviennent à surmonter les multiples difficultés liées au contexte de la robotique. Ce sont ces difficultés spécifiques que ce projet se propose d’aborder.

Objectifs

L’objectif du projet est d’aider à concevoir des robots en interaction avec un environnement non contrôlé, sur des tâches pour lesquelles le comportement désiré est partiellement connu ou même totalement inconnu.

Dans ce contexte, l’apprentissage permet de laisser le robot explorer son environnement en autonomie, afin d’en extraire des représentations sensorielles, sensori-motrices ou purement motrices pertinentes. Par exemple, apprendre à reconnaître des objets, identifier sont ceux qui sont manipulables, apprendre à les saisir, les pousser, les jeter, etc. Explorer le vaste espace sensori-moteur de manière pertinente est central, d’autant plus que nombre d’interactions sont rares (la probabilité d’attraper un objet avec un mouvement purement aléatoire est quasiment nulle).

Nous nous intéressons donc à la construction de ces représentations et nous appuyons sur une approche modulaire et itérative visant à explorer les capacités du robot et à en déduire des représentations qui faciliteront la résolution des tâches qui se présentent, que ce soit avec des méthodes de planification ou d’apprentissage. 

Résultats

La création de représentations d’états et d’actions susceptibles de servir ultérieurement nécessite dans un premier temps de générer des comportements pertinents par rapport aux capacités du robot. Un comportement est pertinent s’il met en avant la capacité du robot à obtenir un effet particulier en interagissant avec son environnement. Sachant que beaucoup de mouvements du robot ne créent aucun effet, découvrir les effets que le robot est susceptible de générer est difficile. A cela s’ajoute la difficulté d’explorer pour apprendre des comportements sans disposer de représentations appropriées.

Nous nous appuyons donc sur des algorithmes d’exploration basés notamment sur de la recherche de nouveauté et des algorithmes de Qualité-Diversité pour générer des comportements d’exploration en grande quantité et en déduire des espace d’état et d’action appropriés pour des apprentissages ultérieurs. 

Figure 1: Le robot Baxter a appris un répertoire d’actions de manipulation du Joystick qu’il utilise pour apprendre à piloter un petit robot à roues.

Partenariats et collaborations

Le projet Européen DREAM, coordonné par Sorbonne Université (FET H2020 2015-2018), a lancé cette thématique de recherche au laboratoire (http://dream.isir.upmc.fr/).

Son consortium était composé de :

Il s’agissait d’un projet académique, sans partenaire industriel. 

Elle se poursuit dans le cadre de plusieurs projets visant à appliquer ces travaux à un contexte industriel. La capacité d’adaptation de l’apprentissage est destinée à aider les ingénieurs dans la phase de conception et de mise à jour du comportement d’un robot. Le projet Européen SoftManBot (http://softmanbot.eu) vise des applications à la manipulation d’objets déformables. Il dispose d’un consortium de 11 partenaires, notamment SIGMA, à Clermont-Ferrand, l’IIT à Gênes et des entreprises comme Decathlon et Michelin. Le projet VeriDREAM (https://veridream.eu/), en collaboration avec le DLR, l’ENSTA-Paristech, Magazino GmbH, Synesis et GoodAI, vise à faciliter le transfert de ces méthodes dans un contexte industriel plus large, incluant en particulier des petites et moyennes entreprises avec un focus sur les secteurs de la logistique et du jeu vidéo.

Le projet vise à développer des outils et des méthodes de formation aux compétences sociales (SST : Social Skill Training) pour une grande variété de population. Les compétences sociales font référence à la gestion des comportements verbaux et non verbaux lors d’une interaction avec une ou plusieurs personnes. Les personnes qui ont des difficultés à interagir avec les autres souffrent d’utiliser de manière appropriée leurs comportements sociaux et de les interpréter chez les autres. Les thérapeutes utilisent les SST pour former les personnes à pratiquer l’interaction sociale et à surmonter leur peur sociale. Elle repose sur le jeu de rôle comme moyen de mettre les participants dans une situation sociale contrôlée.

Contexte

La SST conventionnelle est une méthode établie qui a été développée à l’origine pour réduire l’anxiété et l’inconfort, et pour apprendre les compétences appropriées requises lors des interactions sociales. Elle améliore efficacement les compétences sociales des personnes atteintes de TSA (Trouble du spectre de l’autisme).

Le modèle de formation de base des SST suit cinq étapes : instruction, modelage, jeu de rôle, retour d’information et devoirs. En outre, nous allons modéliser la thérapie cognitivo-comportementale (TCC), telle que le « recadrage cognitif », qui est une technique utile pour comprendre les sentiments et les humeurs malheureux, et pour remettre en question les « croyances automatiques » parfois erronées qui peuvent se cacher derrière eux. Elle exige de former les utilisateurs à gérer leurs propres comportements multimodaux ainsi qu’à prêter attention et à s’adapter au comportement de leurs interlocuteurs dans une situation de stress social (par exemple parler en public).

Objectifs

Le projet TAPAS développera des outils et des méthodes permettant aux SST de fournir une formation personnalisée aux compétences sociales et d’aider à surmonter le stress social dans ces situations quotidiennes impliquant une présentation à l’école et au travail.

Notre objectif est de développer une plate-forme permettant aux participants de jouer des rôles dans les interactions sociales. La population ciblée est constituée d’individus neurotypiques, mais aussi d’individus présentant différentes échelles de pathologies sociales, notamment la timidité, l’alexithymie et les troubles du spectre autistique (TSA). La conception de la plateforme s’inspirera de deux méthodes courantes de formation aux compétences sociales : la SST conventionnelle et la thérapie cognitivo-comportementale.

Résultats

Nous concevrons trois scénarios pertinents qui formeront différents ensembles de compétences sociales :

Partenariats et collaborations

Le concept clé de ce projet est « l’Intelligence Artificielle adaptative de l’utilisateur dans le contexte de l’interaction homme-machine ». Des recherches seront menées sur l’adaptabilité de l’utilisateur de l’intelligence artificielle incarnée en tant qu’agent conversationnel. Lorsque les gens parlent à d’autres personnes, ils modifient leurs comportements de communication verbale et non verbale en fonction de ceux du partenaire. L’adaptabilité de l’utilisateur est donc une question essentielle pour améliorer l’interaction entre l’homme et l’agent.

Contexte

Le style de communication est également différent selon la culture, et il est utile d’adapter les comportements des agents à la culture cible. Nous nous attaquerons à ce problème en utilisant une approche d’apprentissage automatique. Cependant, un des goulots d’étranglement de cette approche est que l’annotation des comportements multimodaux des utilisateurs pour créer des données de formation prend du temps.

Nous proposerons des annotations semi-automatisées et fournirons un retour d’information visuel pour inspecter et corriger les étiquettes générées par la machine en incorporant des techniques d’IA explicables (XAI). Ainsi, le concept d’IA adaptative est utilisé pour aider les utilisateurs à créer des corpus multimodaux ainsi qu’à améliorer l’interaction homme-agent. En outre, le concept d’adaptabilité de l’utilisateur est également axé sur les études psychologiques de ce projet, dans lequel la motivation de l’utilisateur sera étudiée dans un cas d’utilisation pertinent (coaching motivationnel personnalisé pour l’activité physique).

Par conséquent, ce projet envisage une nouvelle méthodologie de recherche pour les agents conversationnels basés sur l’apprentissage machine en se concentrant sur le concept d’adaptabilité de l’utilisateur.

Objectifs

Le projet PANORAMA vise à atteindre les 5 objectifs de recherche suivants :

Résultats

L’interface d’IA adaptative a un impact sur l’économie et la société future.

Premièrement, la technologie adaptative de l’utilisateur améliore la qualité de l’interaction homme-machine, ce qui contribue à améliorer les performances et la productivité des utilisateurs dans les industries.

Deuxièmement, l’IA adaptative motivera efficacement les utilisateurs à adopter un mode de vie sain à long terme, ce qui pourrait changer la vie des gens dans la société future.

Partenariats et collaborations

Coopération de système multiples d’apprentissage par renforcement

Les vertébrés sont capables d’apprendre à modifier leur comportement sur la base de récompenses et de punitions. Cet apprentissage, dit « par renforcement », est également l’objet de nombreuses recherches en Intelligence Artificielle pour augmenter l’autonomie décisionnelle des robots.

Comment apprendre par récompenses et punitions, le plus vite possible pour un coût de calcul minimal ? C’est à cette question que nous nous attelons en combinant des algorithmes d’apprentissage par renforcement aux caractéristiques complémentaires.

Ce projet interdisciplinaire vise à améliorer les performances des robots, mais également à mieux expliquer l’apprentissage chez les vertébrés.

Contexte

L’apprentissage par renforcement distingue deux grandes familles d’algorithmes :

Les vertébrés, eux, sont capables d’exhiber des comportement dirigés vers un but résultant de déductions sur la structure de l’environnement. En cas d’apprentissage prolongé, ils développent des habitudes qui sont difficiles à remettre en cause. Il est couramment accepté, depuis le milieu des années 2000 (Daw et al., 2005), que les algorithmes MB sont un bon modèle des comportements dirigés vers un but, et les algorithmes MF un bon modèle de la formation d’habitudes.

Objectifs

Nous cherchons à définir des méthodes de coordination de ces deux types d’algorithmes permettant de les combiner au mieux, afin d’apprendre rapidement et de s’adapter aux changement, tout en minimisant les calculs lorsque c’est possible. Nous testons nos réalisations dans des tâches de navigation robotique et de coopération homme-machine.

Nnous cherchons plutôt à expliquer les interactions observées entre comportement flexibles et habituels, qui ne semblent pas nécessairement optimales. Cela implique que les méthodes de coordination développées pour la robotique et pour les neurosciences ne sont pas nécessairement identiques.

Résultats

Nous avons initialement proposé une méthode de coordination des algorithmes MB-MF permettant d’expliquer des effets de compétition et de coopération entre systèmes d’apprentissage chez le rat (Dollé et al., 2010, 2018).

Elle a ensuite été adaptée pour son utilisation en navigation robotique (Caluwaerts et al., 2012), et dotée à l’occasion d’un système de détection de contexte permettant d’apprendre et de ré-apprendre rapidement en cas de changement de la tâche. Le développement d’un nouveau critère de coordination prenant en compte explicitement le temps de calcul a permis de proposer un nouveau système robotique ayant des performances maximales, identiques à celles d’un algorithme MB, pour un coût de calcul divisé par trois (Dromnelle et al., 2020a, 2020b).

En parallèle, des modèles ont été développés pour expliquer les décisions et les temps de réponse chez l’humain (Viejo et al., 2015) et le macaque (Viejo et al., 2018).

L’ensemble des réalisations de ce projet de fond ont été résumées dans l’article (en anglais) « Adaptive coordination of multiple learning strategies in brains and robots » (Khamassi, 2020).

Partenariats et collaborations

Ces travaux ont été menés dans le cadre de divers projets, financés entre autres par l’ANR (LU2, STGT, RoboErgoSum), la Ville de Paris (Emergence(s) HABOT), l’Observatoire B2V des mémoire, le CNRS, etc.

Ils s’appuient sur des collaborations entre :

Communication Kinesthesique Humain-Machine (Lexikhum)

Le but de ce projet est de construire un lexique d’unités de sens kinesthésiques qui permettraient d’aborder l’interaction physique homme-robot comme une phrase combinant ces unités de sens. L’émergence de ces unités de sens est étudié dans des interactions humain-humain et le projet est d’en extraire les parties programmables en faisant des modèles computationnels pour construire des partenaires virtuels, capable de produire une interaction aussi naturelle qu’avec un humain. Ses unités de sens visent à être développées et étudiées par une équipe pluridisciplinaire composée de chercheures et chercheurs qui placent le caractère cognitif de cette interaction au cœur de leur recherches. La quantification de la qualité des interactions humain-humain et humain-partenaire virtuel est un apport espéré de ce projet, car il donnera une base d’unités avec une connaissance précise de son caractère vraisemblable et de sa compréhensibilité lorsque cela vient d’un humain et lorsque cela vient d’un partenaire virtuel.

Contexte

L’automatisation au cœur de notre quotidien – Les mutations technologiques à l’œuvre dans les systèmes complexes (comme en aéronautique) ont profondément modifié l’interaction entre l’humain et la machine. Au fil de cette évolution, les opératrices et opérateurs se sont retrouvés face à des systèmes de plus en plus complexes et de plus en plus automatisés. Si le public a bien souvent été fasciné par l’ingéniosité de tels systèmes, de nombreuses tragédies plus ou moins récentes montrent à quel point l’interaction entre l’humain et les automatismes reste un problème sensible. Ainsi, de nombreux travaux soulignent les conséquences négatives en matière de sécurité et de performance d’une automatisation des systèmes : difficultés pour détecter les erreurs ou pannes du système (Kessel & Wickens, 1982), pour comprendre son état courant (Sarter, Woods, & Billings, 1997) et pour déterminer les actions appropriées pour la suite de la tâche (Endsley, 1999). Ces difficultés d’interaction entre l’humain et l’automatisme constituent un enjeu de recherche majeur. Ce projet a pour ambition de participer à la compréhension et la compensation de ces difficultés d’interaction entre l’humain et les automatismes.

La difficile mais nécessaire intelligibilité des systèmes – L’opacité des agents artificiels est considérée comme une cause majeure de ces difficultés (Christoffersen & Woods, 2002 ; Dekker & Woods, 2002). En effet, le manque d’informations renvoyées par le système sur son propre fonctionnement et, en amont, par le manque de dialogue possible portant sur le statut de l’information transmise, sont des éléments centraux dans les difficultés rencontrées par les opératrices et opérateurs. Les systèmes complexes actuels ont tendance à développer des cascades de réactions automatiques qui diminuent, voire éliminent la capacité des opérateurs à prédire leur fonctionnement et provoquent des événements démesurés et imprévisibles (Taleb, 2012). Ce manque d’information renvoie à ce que l’on a classiquement appelé « l’opacité du système ». L’opacité des systèmes artificiels a tendance à rendre difficile la compréhension des intentions de ces agents artificiels. Cet état de fait est de nature à engendrer des difficultés d’anticipation/compréhension des actions de mon partenaire artificiel, générant par là même des difficultés en termes de coordination, d’acceptabilité et de sentiment de contrôle. En ce sens, l’intelligibilité des systèmes artificiels (par exemple, le fait de produire un comportement clair, prévisible et compréhensible) constitue un défi majeur par la communauté en ingénierie des systèmes.

Nous pensons qu’il est possible d’utiliser le sens haptique (combinaison du sens du toucher et de la kinesthésie) afin de rendre les systèmes artificiels plus intelligibles, plus prédictibles. Cependant, si nous considérons l’existence d’une communication, alors nous devons pouvoir envoyer et recevoir des messages clairs et complets sans perturber la tâche, ou en tout cas de manière comparable à un partenaire humain. Pour cela, nous souhaitons tout d’abord identifier les informations nécessaires à la coopération. Ensuite, nous souhaitons produire des messages kinesthésiques permettant de transmettre ces informations. Nous ferons notamment évoluer nos modèles pour obtenir un comportement dont le message est le plus clair possible pour l’utilisatrice et l’utilisateur. Le taux de compréhension de ce message chez les personnes testées sera notre mesure principale. Nous espérons ainsi construire un lexique, une base de messages, dont l’utilisation effective autant que la validité sera mesurée statistiquement, le projet étant à terme de combiner ces messages pour construire une communication complexe et augmenter ainsi les capacités de communication des machines lors des interactions humain-robot. Nous appellerons ces messages des unités de sens kinesthésiques. Ces unités pourront s’agencer en messages complexes appelés discours kinesthésiques, autrement dit des enchaînements d’unités de sens kinesthésiques qui mettent au clair l’intention, le statut de l’information. Nous évaluerons finalement l’impact de ces messages sur l’utilisabilité et l’acceptabilité de fonctions d’assistance au pilotage, ainsi que leur impact sur le sentiment de contrôle de l’opératrice et l’opérateur humain.

Objectifs

L’objectif de ce projet est de rendre intelligible les machines à travers l’interaction kinesthésique. Pour atteindre cet objectif quatre sous-objectifs ont été identifiés :

Résultats

Le laboratoire a développé un robot permettant d’étudier les interactions à un degré de liberté : SEMAPHORO-1D (Système d’Evaluation de la Manipulation Physique Homme-Robot).

Ce système a permis de mettre en valeur une unité de sens kinesthésique pour la négociation binaire (Gauche-Droite). Cette unité de sens est paramétrable et permet de montrer un comportement plus ou moins dominant (Roche et Saint-Bauzel ICRA19, THRI accepted).  Cette interface a permis aussi d’étudier la notion d’agentivité dans la décision collaborative et a montré à l’heure actuelle que les partenaires virtuelles ne permettent pas de produire un sentiment de contrôle de l’interaction. Ce sentiment de contrôle a été mesuré avec des mesures de l’ « intentional binding » (Grynszpan et al.,  Concog 19). Enfin cette interface à permis de montrer que l’interaction kinesthésique est un moyen implicite et rapide pour transmettre la confiance (Piezzulo, Roche et Saint-Bauzel, Nature ScR 20).

Partenariats et collaborations

Le projet scientifique collaboratif ANR réuni les chercheurs et chercheurs suivant :

Ce projet est aussi source d’une collaboration internationale avec :

Micro-chirurgie Robotisée du Cholestéatome

Les interventions chirugicales dans l’oreille moyenne (comme par exemple l’ablation d’un cholestéatome) sont fréquentes et très risquées. Aux difficultés manipulatoires s’ajoutent les problèmes liés à la vision indirecte par microscope. Dans le projet ANR muRocs, nous étudions la faisabilité d’une robotisation du geste de cholestéatomie. Celle-ci passe par la mise en œuvre d’un instrument fin type endoscope polyarticulé porté par un bras porteur. La tâche incombant à l’Isir dans ce projet est de développer les moyens d’un interfaçage intuitif et performant entre l’opérateur et le système robotisé. En particulier, différents modes de pilotage sont comparés et l’utilisation de l’imagerie multimodale est explorée.

Contexte

Le cholestéatome est une maladie grave de l’oreille moyenne dont l’incidence est de 1/10000 par an et qui consiste en une croissance cancéreuse des tissus pouvant aller jusqu’à atteindre le cerveau. Le traitement le plus efficace de la maladie à l’heure actuelle est l’opération chirurgicale. Celle-ci consiste à réséquer le cholestéatome (en grattant d’abord puis par ablation laser des résidus) en passant soit par le canal tympanique, soit par un passage fraisé dans la mastoïde. Cette opération est exemplaire des difficultés de la micro-chirurgie : accès étroit, outils peu maniables, tissus fragiles (nerf optique, chaîne tympano-ossiculaire), vision indirecte réduite. En conséquence, le taux d’échec est élevé (25%) et le besoin est grand d’amélioration de la procédure notamment en termes d’instrumentation. Le projet muRocs (consortium ANR PRC 2018, CHU Besançon porteur) vise à robotiser le geste de résection du cholestéatome pour le rendre moins invasif, moins risqué et plus performant. Dans ce projet, l’Isir s’intéresse à l’ergonomie du nouveau système robotisé, en particulier en termes de commandabilité et d’immersion de l’opérateur dans la scène chirurgicale.

Objectifs

Résultats

Partenariats et collaborations

muROCs (Micro-Robot for Cholesteatoma Surgery) est un projet ANR PRC 2018

Le consortium ANR muROCs est porté par le CHU de Besançon (Laurent Tavernier et Olivier Gaiffe).

Il comprend également :

Dans ce projet, les partenaires cliniques apportent leur expérience en chirurgie mini-invasive de l’oreille. En particulier, le Dr Nguyen est pionnier en matière de chirurgie robotisée de l’oreille moyenne car il fut un des premiers utilisateurs du robOtol, robot conçu à l’ISIR et commercialisé par la société Collin Médical. Le laboratoire Femto-ST est quant à lui en charge de développer un instrument dextre miniature capable d’atteindre tous les points du site opératoire. Cet instrument est basé sur la technologie hybride câbles – tubes concentriques.

Cathéters pour la NRI actionnés par Alliages à Mémoire de Forme

Pour répondre aux besoins de contrôlabilité en matière d’instruments de neuroradiologie interventionnelle, nous avons développé une méthode brevetée de fabrication de cathéters actifs intégrant des fils en Alliage à Mémoire de Forme (NiTi). Une étape de modélisation poussée a permis d’optimiser les dimensions de ces cathéters actifs qui ont été ensuite testés et validés sur modèles silicone et sur modèle animal. Les plus petits prototypes réalisés présentent des diamètres de l’ordre du millimètre et des angles de courbure supérieurs à 90°. Aujourd’hui, cette technologie a été transférée via la start-up Basecamp Vascular qui industrialise le procédé mis au point.

Cathéters pour la NRI actionnés par Alliages à Mémoire de Forme

Contexte

Le cathétérisme actif solution aux difficultés de la navigation endovasculaire

Actuellement, les cathéters utilisés en cardiologie ou en radiologie interventionnelle (par exemple pour l’embolisation des anévrismes cérébraux) sont des outils complètement passifs, introduits manuellement. De plus, le retour visuel offert aux radiologues durant l’intervention se réduit à des images radio de faible résolution et le plus souvent en 2D. Dans ce contexte, les cathéters sont difficilement contrôlables et leur progression est lente voire impossible jusqu’à la cible anatomique. En neuroradiologie par exemple (navigation jusqu’au cerveau), on estime à 20% le taux d’échec de la navigation du fait d’une anatomie trop tortueuse au niveau des troncs supra-aortique (carotide).

L’Isir collabore avec le service de neuroradiologie interventionnelle (NRI) de la Fondation Ophtalmologique de Rothschild (FOR) depuis de nombreuses années sur le thème du cathétérisme actif pour la NRI. Le but du projet CATANE est de mettre au point et valider des cathéters motorisés, commandables dans leur partie distale pour améliorer les conditions de navigation artérielle : négociation des embranchements, pointage de la cible. L’approche retenue est celle des actionneurs miniatures à base d’Alliages à Mémoire de Forme (AMF) intégrés directement à l’extrémité des cathéters.

Le cathétérisme actif solution aux difficultés de la navigation endovasculaire

Objectifs

Résultats

Partenariats et collaborations

La société Basecamp Vascular industrialise les cathéters actifs de l’Isir.

Le projet CATANE a tout d’abord été soutenu par le labex CAMI (Computer Assisted Medical Interventions) qui a financé le recrutement d’un ingénieur en 2013 puis par la SATT Lutech sous forme d’une aide à la maturation entre 2014 et 1015. Aujourd’hui, les technologies développées et en particulier celle décrite dans le brevet WO2011116961A1, ont été transférées à la start-up Basecamp Vascular créée en 2016. Son président est le Dr Raphaël Blanc, neuroradiologue interventionnel à la Fondation ophtalmologique Rothshild à Paris. Le Dr Blanc est associé au projet CATANE depuis son origine.

Contexte

Une plateforme dédiée à la réalité virtuelle multimodale qui permet à l’utilisateur de se déplacer dans un environnement virtuel large, sans porter d’équipements autre que celui d’un casque de Réalité Virtuelle. En plus des stimulations visuelles et auditives habituelles, un système robotique mobile fournit des stimulations tactiles et haptiques en emmenant des objets et surfaces divers au contact de l’utilisateur.

Équipement et Structure

Le système consiste en un robot cartésien 2D monte en hauteur sur une structure en treillis de 4x4x2.5 m3 (lxLxh). Le chariot est commande en position et en vitesse par des moteurs 24V et un microcontrôleur Roboclaw (fig. 1).

Figure 1: Vue d’ensemble de la structure de RV multimodale (à gauche) à l’ISIR – (à droite) en CAO

Il est conçu de façon modulaire afin de porter des accessoires variés, comme des parois mobiles avec des textures différentes, un plateau et des étagères des objets des petites tailles etc. Des composants plus complexes, comme par exemple un ventilateur, des spots, une interface haptique classique ou un bras robot peuvent être facilement intégrés.

La structure en treillis porte en plus 2 systèmes de capture de mouvement : Optitrack et Lighthouses, qui permettent de relever de façon triviale le mouvement de l’utilisateur et des objets dans l’arène.

Une sur-couche logicielle conçue sur Unity permet de coupler une scène virtuelle aux capteurs et aux commandes du robot cartésien.

Contexte

Durant une interaction, nous adaptons nos comportements à plusieurs niveaux : nous nous alignons sur plusieurs niveaux linguistiques (vocabulaire, syntaxe, niveau de formalité), mais aussi au niveau de nos comportements (nous imitons le sourire de l’autre, la posture, notre expressivité gestuelle…), de nos stratégies conversationnelles (pour être perçu plus chaleureux ou compétent)… Cette adaptation multi-niveaux peut avoir beaucoup de fonctions : renforcer l’engagement dans l’interaction, souligner notre relation à l’autre, montrer notre empathie etc.

Les robots et les agents virtuels sont de plus en plus présents dans notre environnement quotidien et il est aujourd’hui indispensable d’améliorer la qualité des interactions afin que ceux-ci soient mieux acceptés et plus performants. Cette interaction ne peut se faire sans une adaptation temps-réel et continue du comportement de l’agent face au comportement de l’utilisateur. Si des modèles de dialogue existent déjà avec des performances satisfaisantes, des progrès restent à faire en ce qui concerne les comportements non verbaux.

La modélisation temporelle conjointe des comportements non verbaux pour améliorer l’interaction entre humain et agent virtuel

L’objectif principal de ce projet est de développer un modèle d’adaptation au niveau des signaux non-verbaux pour favoriser une boucle interactive entre humain et agent. La création de ce modèle nécessite préalablement l’analyse des comportements et la maîtrise de la modélisation des interactions humain/machine. Lors de ce projet, nous prévoyons d’utiliser les réseaux de neurones récurrents pour la modélisation de la bouche interactive entre interactants et d’étudier l’impact de cette boucle sur la qualité de l’interaction et la perception que se construit l’humain de l’agent virtuel.

Contexte

La chirurgie ambulatoire permet au patient de regagner son domicile le jour même de son intervention. Cette chirurgie apporte de nombreux bénéfices aux patients comme aux professionnels de santé, en termes de qualité des soins et d’organisation. La chirurgie dite « mini-invasive » est l’une des techniques permettant aux patients d’avoir un temps d’hospitalisation réduit voire d’être pris en charge en ambulatoire.

Le chirurgien pratique de petites incisions (quelques millimètres) qui permettent l’introduction d’une caméra et des instruments opératoires. La manipulation des instruments de chirurgie mini-invasive est compliquée et éprouvante pour le chirurgien : la dextérité est réduite, le champ de vision est limité, la perception des efforts entre les organes et les instruments est considérablement dégradée.

Tous ces facteurs conduisent à ce que la chirurgie mini-invasive est sous utilisée dans la pratique clinique.

Des interfaces modulaires pour faciliter la chirurgie mini-invasive

Cockpit Chirurgical, Projet Fédérateur, ISIR

L’objectif principal de ce projet est de démocratiser la chirurgie mini-invasive en proposant aux chirurgiens différents modules technologiques combinables entre eux. Il s’agit d’assister le chirurgien en facilitant les gestes et la perception des organes pour qu’il opère de façon mini-invasive aussi facilement qu’en chirurgie ouverte.

Cockpit Chirurgical, ISIR

Ces modules sont conçus pour s’intégrer pleinement dans le parcours de soin et la pratique courante. Pour cela nous adressons tout particulièrement la question des interfaces et des interactions Chirurgien-Machine.

Les principaux thèmes de recherche portent sur :