Projet muRocs

Micro-chirurgie Robotisée du Cholestéatome

Les interventions chirugicales dans l’oreille moyenne (comme par exemple l’ablation d’un cholestéatome) sont fréquentes et très risquées. Aux difficultés manipulatoires s’ajoutent les problèmes liés à la vision indirecte par microscope. Dans le projet ANR muRocs, nous étudions la faisabilité d’une robotisation du geste de cholestéatomie. Celle-ci passe par la mise en œuvre d’un instrument fin type endoscope polyarticulé porté par un bras porteur. La tâche incombant à l’Isir dans ce projet est de développer les moyens d’un interfaçage intuitif et performant entre l’opérateur et le système robotisé. En particulier, différents modes de pilotage sont comparés et l’utilisation de l’imagerie multimodale est explorée.

Contexte

Le cholestéatome est une maladie grave de l’oreille moyenne dont l’incidence est de 1/10000 par an et qui consiste en une croissance cancéreuse des tissus pouvant aller jusqu’à atteindre le cerveau. Le traitement le plus efficace de la maladie à l’heure actuelle est l’opération chirurgicale. Celle-ci consiste à réséquer le cholestéatome (en grattant d’abord puis par ablation laser des résidus) en passant soit par le canal tympanique, soit par un passage fraisé dans la mastoïde. Cette opération est exemplaire des difficultés de la micro-chirurgie : accès étroit, outils peu maniables, tissus fragiles (nerf optique, chaîne tympano-ossiculaire), vision indirecte réduite. En conséquence, le taux d’échec est élevé (25%) et le besoin est grand d’amélioration de la procédure notamment en termes d’instrumentation. Le projet muRocs (consortium ANR PRC 2018, CHU Besançon porteur) vise à robotiser le geste de résection du cholestéatome pour le rendre moins invasif, moins risqué et plus performant. Dans ce projet, l’Isir s’intéresse à l’ergonomie du nouveau système robotisé, en particulier en termes de commandabilité et d’immersion de l’opérateur dans la scène chirurgicale.

Objectifs

• Nous souhaitons développer un système dextre capable d’accéder, par voie mini-invasive, à la cavité de l’oreille moyenne et d’atteindre tous les points de cette cavité avec une orientation choisie. Pour ce faire, nous nous orientons vers un ensemble macro-micro composé d’un bras manipulateur prolongé par un instrument fin polyarticulé type micro-endoscope.

• L’exploitation de la structure macro-micro redondante ci-dessus nécessite de mettre au point une interface de pilotage adaptée. Les solutions que nous envisageons de tester sont de deux types : les approches téléopérées et les approches co-manipulées.

• Dans le cadre de la cholestéatomie, il est primordial de parvenir à une résection totale du cholestéatome sous peine de prendre le risque d’une ré-opération du patient à court terme. Pour se faire, outre disposer d’un système robotique suffisamment dextre, il est nécessaire de disposer de moyens fins de visualisation et de repérage du tissu à reséquer. Les modalités endoscopique et OCT sont envisagées.

Résultats

• Nous avons mis en œuvre un système macro-micro sériel composé du robot Franka à 7 ddl et d’un micro-endoscope de 3mm de diamètre et possédant 2 ddl. Le micro-endoscope a été motorisé et intégré à l’extrémité du bras porteur de façon à constituer une chaîne cinématique redondante à 9ddl entièrement commandable.

• Une étude est en cours pour évaluer différentes solutions de pilotage. Entre autres solutions, la téléopération directe de l’extrémité du dispositif via un joystick à 6 ddl nécessite d’être complétée par une gestion automatique des redondances cinématiques (mouvements internes). La comanipulation du dispositif via une poignée et un capteur d’effort sur le terminal du bras porteur doit quant à elle être complétée par un micro-joystick embarqué pour le pilotage des ddl intracorporels.

• Un premier retour visuel augmenté a été mis au point. Il fusionne les informations issues de la vision endoscopique et de la pose instantanée du robot. Il prend la forme d’une scène numérique 3D temps-réel du site d’opération. L’intégration de la modalité OCT via une sonde embarquée en bout d’instrument est à l’étude.

Partenariats et collaborations

muROCs (Micro-Robot for Cholesteatoma Surgery) est un projet ANR PRC 2018

Le consortium ANR muROCs est porté par le CHU de Besançon (Laurent Tavernier, Olivier Gaiffe).

Il comprend également :

• l’Institut Femto-ST (Nicolas Andreff, Kanty Rabenorosoa),
• l’Institut de l’audition (Yann Nguyen);
• l’ISIR.

Dans ce projet, les partenaires cliniques apportent leur expérience en chirurgie mini-invasive de l’oreille. En particulier, le Dr Nguyen est pionnier en matière de chirurgie robotisée de l’oreille moyenne car il fut un des premiers utilisateurs du robOtol, robot conçu à l’ISIR et commercialisé par la société Collin Médical. Le laboratoire Femto-ST est quant à lui en charge de développer un instrument dextre miniature capable d’atteindre tous les points du site opératoire. Cet instrument est basé sur la technologie hybride câbles – tubes concentriques.

Contexte

Une plateforme dédiée à la réalité virtuelle multimodale qui permet à l’utilisateur de se déplacer dans un environnement virtuel large, sans porter d’équipements autre que celui d’un casque de Réalité Virtuelle. En plus des stimulations visuelles et auditives habituelles, un système robotique mobile fournit des stimulations tactiles et haptiques en emmenant des objets et surfaces divers au contact de l’utilisateur.

Équipement et Structure

Le système consiste en un robot cartésien 2D monte en hauteur sur une structure en treillis de 4x4x2.5 m³ (lxLxh). Le chariot est commande en position et en vitesse par des moteurs 24V et un microcontrôleur Roboclaw (fig. 1).

Il est conçu de façon modulaire afin de porter des accessoires variés, comme des parois mobiles avec des textures différentes, un plateau et des étagères des objets des petites tailles etc. Des composants plus complexes, comme par exemple un ventilateur, des spots, une interface haptique classique ou un bras robot peuvent être facilement intégrés.

La structure en treillis porte en plus 2 systèmes de capture de mouvement : Optitrack et Lighthouses, qui permettent de relever de façon triviale le mouvement de l’utilisateur et des objets dans l’arène.

Une sur-couche logicielle conçue sur Unity permet de coupler une scène virtuelle aux capteurs et aux commandes du robot cartésien.

Durant une interaction, nous adaptons nos comportements à plusieurs niveaux : nous nous alignons sur plusieurs niveaux linguistiques (vocabulaire, syntaxe, niveau de formalité), mais aussi au niveau de nos comportements (nous imitons le sourire de l’autre, la posture, notre expressivité gestuelle…), de nos stratégies conversationnelles (pour être perçu plus chaleureux ou compétent)… Cette adaptation multi-niveaux peut avoir beaucoup de fonctions : renforcer l’engagement dans l’interaction, souligner notre relation à l’autre, montrer notre empathie etc.

Les robots et les agents virtuels sont de plus en plus présents dans notre environnement quotidien et il est aujourd’hui indispensable d’améliorer la qualité des interactions afin que ceux-ci soient mieux acceptés et plus performants. Cette interaction ne peut se faire sans une adaptation temps-réel et continue du comportement de l’agent face au comportement de l’utilisateur. Si des modèles de dialogue existent déjà avec des performances satisfaisantes, des progrès restent à faire en ce qui concerne les comportements non verbaux.

La modélisation temporelle conjointe des comportements non verbaux pour améliorer l’interaction entre humain et agent virtuel

L’objectif principal de ce projet est de développer un modèle d’adaptation au niveau des signaux non-verbaux pour favoriser une boucle interactive entre humain et agent. La création de ce modèle nécessite préalablement l’analyse des comportements et la maîtrise de la modélisation des interactions humain/machine. Lors de ce projet, nous prévoyons d’utiliser les réseaux de neurones récurrents pour la modélisation de la bouche interactive entre interactants et d’étudier l’impact de cette boucle sur la qualité de l’interaction et la perception que se construit l’humain de l’agent virtuel.