Home » Projet

Communication Kinesthesique

Communication Kinesthesique Humain-Machine (Lexikhum)

Le but de ce projet est de construire un lexique d’unités de sens kinesthésiques qui permettraient d’aborder l’interaction physique homme-robot comme une phrase combinant ces unités de sens. L’émergence de ces unités de sens est étudié dans des interactions humain-humain et le projet est d’en extraire les parties programmables en faisant des modèles computationnels pour construire des partenaires virtuels, capable de produire une interaction aussi naturelle qu’avec un humain. Ses unités de sens visent à être développés et étudiés par une équipe pluridisciplinaire composée de chercheurs qui placent le caractère cognitif de cette interaction au cœur de leur recherches. La quantification de la qualité des interactions humain-humain et humain-partenaire virtuel est un apport espéré de ce projet, car il donnera une base d’unités avec une connaissance précise de son caractère vraisemblable et de sa compréhensibilité lorsque cela vient d’un humain et lorsque cela vient d’un partenaire virtuel.

Contexte

L’automatisation au cœur de notre quotidien – Les mutations technologiques à l’œuvre dans les systèmes complexes (comme en aéronautique) ont profondément modifié l’interaction entre l’humain et la machine. Au fil de cette évolution, les opérateurs se sont retrouvés face à des systèmes de plus en plus complexes et de plus en plus automatisés. Si le public a bien souvent été fasciné par l’ingéniosité de tels systèmes, de nombreuses tragédies plus ou moins récentes montrent à quel point l’interaction entre l’humain et les automatismes reste un problème sensible. Ainsi, de nombreux travaux soulignent les conséquences négatives en matière de sécurité et de performance d’une automatisation des systèmes : difficultés pour détecter les erreurs ou pannes du système (Kessel & Wickens, 1982), pour comprendre son état courant (Sarter, Woods, & Billings, 1997) et pour déterminer les actions appropriées pour la suite de la tâche (Endsley, 1999). Ces difficultés d’interaction entre l’humain et l’automatisme constituent un enjeu de recherche majeur. Ce projet a pour ambition de participer à la compréhension et la compensation de ces difficultés d’interaction entre l’humain et les automatismes.

La difficile mais nécessaire intelligibilité des systèmes – L’opacité des agents artificiels est considérée comme une cause majeure de ces difficultés (Christoffersen & Woods, 2002 ; Dekker & Woods, 2002). En effet, le manque d’informations renvoyées par le système sur son propre fonctionnement et, en amont, par le manque de dialogue possible portant sur le statut de l’information transmise, sont des éléments centraux dans les difficultés rencontrées par les opérateurs. Les systèmes complexes actuels ont tendance à développer des cascades de réactions automatiques qui diminuent, voire éliminent la capacité des opérateurs à prédire leur fonctionnement et provoquent des événements démesurés et imprévisibles (Taleb, 2012). Ce manque d’information renvoie à ce que l’on a classiquement appelé « l’opacité du système ». L’opacité des systèmes artificiels a tendance à rendre difficile la compréhension des intentions de ces agents artificiels. Cet état de fait est de nature à engendrer des difficultés d’anticipation/compréhension des actions de mon partenaire artificiel, générant par là même des difficultés en termes de coordination, d’acceptabilité et de sentiment de contrôle. En ce sens, l’intelligibilité des systèmes artificiels (par exemple, le fait de produire un comportement clair, prévisible et compréhensible) constitue un défi majeur par la communauté en ingénierie des systèmes.

Nous pensons qu’il est possible d’utiliser le sens haptique (combinaison du sens du toucher et de la kinesthésie) afin de rendre les systèmes artificiels plus intelligibles, plus prédictibles. Cependant, si nous considérons l’existence d’une communication, alors nous devons pouvoir envoyer et recevoir des messages clairs et complets sans perturber la tâche, ou en tout cas de manière comparable à un partenaire humain. Pour cela, nous souhaitons tout d’abord identifier les informations nécessaires à la coopération. Ensuite, nous souhaitons produire des messages kinesthésiques permettant de transmettre ces informations. Nous ferons notamment évoluer nos modèles pour obtenir un comportement dont le message est le plus clair possible pour l’utilisateur. Le taux de compréhension de ce message chez les personnes testées sera notre mesure principale. Nous espérons ainsi construire un lexique, une base de messages, dont l’utilisation effective autant que la validité sera mesurée statistiquement, le projet étant à terme de combiner ces messages pour construire une communication complexe et augmenter ainsi les capacités de communication des machines lors des interactions humain-robot. Nous appellerons ces messages des unités de sens kinesthésiques. Ces unités pourront s’agencer en messages complexes appelés discours kinesthésiques, autrement dit des enchaînements d’unités de sens kinesthésiques qui mettent au clair l’intention, le statut de l’information. Nous évaluerons finalement l’impact de ces messages sur l’utilisabilité et l’acceptabilité de fonctions d’assistance au pilotage, ainsi que leur impact sur le sentiment de contrôle de l’opérateur humain.

Objectifs

L’objectif de ce projet est de rendre intelligible les machines à travers l’interaction kinesthésique. Pour atteindre cet objectif quatre sous-objectifs ont été identifiés :

Résultats

Le laboratoire a développé un robot permettant d’étudier les interactions à un degré de liberté. SEMAPHORO-1D (Système d’Evaluation de la Manipulation Physique Homme-Robot). Ce système a permis de mettre en valeur une unité de sens kinesthésique pour la négociation binaire (Gauche-Droite). Cette unité de sens est paramétrable et permet de montrer un comportement plus ou moins dominant (Roche et Saint-Bauzel ICRA19, THRI accepted).  Cette interface a permis aussi d’étudier la notion d’agentivité dans la décision collaborative et a montré à l’heure actuelle que les partenaires virtuelles ne permettent pas de produire un sentiment de contrôle de l’interaction. Ce sentiment de contrôle a été mesuré avec des mesures de l’ « intentional binding » (Grynszpan et al.,  Concog 19). Enfin cette interface à permis de montrer que l’interaction kinesthésique est un moyen implicite et rapide pour transmettre la confiance (Piezzulo, Roche et Saint-Bauzel, Nature ScR 20).

Partenariats et collaborations

Le projet scientifique collaboratif ANR réuni les chercheurs suivant :

Ce projet est aussi source d’une collaboration internationale avec :

Micro-chirurgie Robotisée du Cholestéatome

Les interventions chirugicales dans l’oreille moyenne (comme par exemple l’ablation d’un cholestéatome) sont fréquentes et très risquées. Aux difficultés manipulatoires s’ajoutent les problèmes liés à la vision indirecte par microscope. Dans le projet ANR muRocs, nous étudions la faisabilité d’une robotisation du geste de cholestéatomie. Celle-ci passe par la mise en œuvre d’un instrument fin type endoscope polyarticulé porté par un bras porteur. La tâche incombant à l’Isir dans ce projet est de développer les moyens d’un interfaçage intuitif et performant entre l’opérateur et le système robotisé. En particulier, différents modes de pilotage sont comparés et l’utilisation de l’imagerie multimodale est explorée.

Contexte

Le cholestéatome est une maladie grave de l’oreille moyenne dont l’incidence est de 1/10000 par an et qui consiste en une croissance cancéreuse des tissus pouvant aller jusqu’à atteindre le cerveau. Le traitement le plus efficace de la maladie à l’heure actuelle est l’opération chirurgicale. Celle-ci consiste à réséquer le cholestéatome (en grattant d’abord puis par ablation laser des résidus) en passant soit par le canal tympanique, soit par un passage fraisé dans la mastoïde. Cette opération est exemplaire des difficultés de la micro-chirurgie : accès étroit, outils peu maniables, tissus fragiles (nerf optique, chaîne tympano-ossiculaire), vision indirecte réduite. En conséquence, le taux d’échec est élevé (25%) et le besoin est grand d’amélioration de la procédure notamment en termes d’instrumentation. Le projet muRocs (consortium ANR PRC 2018, CHU Besançon porteur) vise à robotiser le geste de résection du cholestéatome pour le rendre moins invasif, moins risqué et plus performant. Dans ce projet, l’Isir s’intéresse à l’ergonomie du nouveau système robotisé, en particulier en termes de commandabilité et d’immersion de l’opérateur dans la scène chirurgicale.

Objectifs

Résultats

Partenariats et collaborations

muROCs (Micro-Robot for Cholesteatoma Surgery) est un projet ANR PRC 2018

Le consortium ANR muROCs est porté par le CHU de Besançon (Laurent Tavernier, Olivier Gaiffe).

Il comprend également :

Dans ce projet, les partenaires cliniques apportent leur expérience en chirurgie mini-invasive de l’oreille. En particulier, le Dr Nguyen est pionnier en matière de chirurgie robotisée de l’oreille moyenne car il fut un des premiers utilisateurs du robOtol, robot conçu à l’ISIR et commercialisé par la société Collin Médical. Le laboratoire Femto-ST est quant à lui en charge de développer un instrument dextre miniature capable d’atteindre tous les points du site opératoire. Cet instrument est basé sur la technologie hybride câbles – tubes concentriques.

Cathéters pour la NRI actionnés par Alliages à Mémoire de Forme

Pour répondre aux besoins de contrôlabilité en matière d’instruments de neuroradiologie interventionnelle, nous avons développé une méthode brevetée de fabrication de cathéters actifs intégrant des fils en Alliage à Mémoire de Forme (NiTi). Une étape de modélisation poussée a permis d’optimiser les dimensions de ces cathéters actifs qui ont été ensuite testés et validés sur modèles silicone et sur modèle animal. Les plus petits prototypes réalisés présentent des diamètres de l’ordre du millimètre et des angles de courbure supérieurs à 90°. Aujourd’hui, cette technologie a été transférée via la start-up Basecamp Vascular qui industrialise le procédé mis au point.

Cathéters pour la NRI actionnés par Alliages à Mémoire de Forme

Contexte

Le cathétérisme actif solution aux difficultés de la navigation endovasculaire

Actuellement, les cathéters utilisés en cardiologie ou en radiologie interventionnelle (par exemple pour l’embolisation des anévrismes cérébraux) sont des outils complètement passifs, introduits manuellement. De plus, le retour visuel offert aux radiologues durant l’intervention se réduit à des images radio de faible résolution et le plus souvent en 2D. Dans ce contexte, les cathéters sont difficilement contrôlables et leur progression est lente voire impossible jusqu’à la cible anatomique. En neuroradiologie par exemple (navigation jusqu’au cerveau), on estime à 20% le taux d’échec de la navigation du fait d’une anatomie trop tortueuse au niveau des troncs supra-aortique (carotide).

L’Isir collabore avec le service de neuroradiologie interventionnelle (NRI) de la Fondation Ophtalmologique de Rothschild (FOR) depuis de nombreuses années sur le thème du cathétérisme actif pour la NRI. Le but du projet CATANE est de mettre au point et valider des cathéters motorisés, commandables dans leur partie distale pour améliorer les conditions de navigation artérielle : négociation des embranchements, pointage de la cible. L’approche retenue est celle des actionneurs miniatures à base d’Alliages à Mémoire de Forme (AMF) intégrés directement à l’extrémité des cathéters.

Le cathétérisme actif solution aux difficultés de la navigation endovasculaire

Objectifs

Résultats

Partenariats et collaborations

La société Basecamp Vascular industrialise les cathéters actifs de l’Isir.

Le projet CATANE a tout d’abord été soutenu par le labex CAMI (Computer Assisted Medical Interventions) qui a financé le recrutement d’un ingénieur en 2013 puis par la SATT Lutech sous forme d’une aide à la maturation entre 2014 et 1015. Aujourd’hui, les technologies développées et en particulier celle décrite dans le brevet WO2011116961A1, ont été transférées à la start-up Basecamp Vascular créée en 2016. Son président est le Dr Raphaël Blanc, neuroradiologue interventionnel à la Fondation ophtalmologique Rothshild à Paris. Le Dr Blanc est associé au projet CATANE depuis son origine.

Contexte

La chirurgie ambulatoire permet au patient de regagner son domicile le jour même de son intervention. Cette chirurgie apporte de nombreux bénéfices aux patients comme aux professionnels de santé, en termes de qualité des soins et d’organisation. La chirurgie dite « mini-invasive » est l’une des techniques permettant aux patients d’avoir un temps d’hospitalisation réduit voire d’être pris en charge en ambulatoire.

Le chirurgien pratique de petites incisions (quelques millimètres) qui permettent l’introduction d’une caméra et des instruments opératoires. La manipulation des instruments de chirurgie mini-invasive est compliquée et éprouvante pour le chirurgien : la dextérité est réduite, le champ de vision est limité, la perception des efforts entre les organes et les instruments est considérablement dégradée.

Tous ces facteurs conduisent à ce que la chirurgie mini-invasive est sous utilisée dans la pratique clinique.

Des interfaces modulaires pour faciliter la chirurgie mini-invasive

Cockpit Chirurgical, Projet Fédérateur, ISIR

L’objectif principal de ce projet est de démocratiser la chirurgie mini-invasive en proposant aux chirurgiens différents modules technologiques combinables entre eux. Il s’agit d’assister le chirurgien en facilitant les gestes et la perception des organes pour qu’il opère de façon mini-invasive aussi facilement qu’en chirurgie ouverte.

Cockpit Chirurgical, ISIR

Ces modules sont conçus pour s’intégrer pleinement dans le parcours de soin et la pratique courante. Pour cela nous adressons tout particulièrement la question des interfaces et des interactions Chirurgien-Machine.

Les principaux thèmes de recherche portent sur :