RPI-Bio

Projet NeuroHCI – Prise de décisions multi-échelle avec les systèmes interactifs 

Ce projet pluridisciplinaire s’appuie sur les Neurosciences Computationnelles pour développer des modèles IHM du comportement utilisateur-utilisatrice. Il s’agit d’étudier dans quelle mesure on peut transposer les théories, modèles et méthodes des Neurosciences Computationnelles à l’IHM.

Le projet NeuroHCI vise à améliorer la prise de décision humaine dans les mondes physique et numérique dans des contextes interactifs. Les situations dans lesquelles un humain prend une décision avec un système interactif sont variées : 

Est-ce que j’utilise mon expérience ou Google Maps pour choisir mon itinéraire ? Est-ce que je réponds à cet e-mail sur mon smartphone ou sur mon PC ? Est-ce que j’utilise des menus ou des raccourcis pour sélectionner cette commande fréquente ? Est-ce que j’utilise le robot chirurgical Da Vinci pour opérer mon patient ou les instruments laparoscopiques traditionnels ? Comment puis-je atteindre cet objet avec ma prothèse robotique ?

La décision peut porter sur un choix complexe dans le monde réel assisté par un ordinateur (par exemple, un traitement médical) ou sur le choix d’une méthode pour réaliser une tâche numérique (par exemple, modifier une photo avec l’outil préféré).

Le contexte

Les neurosciences étudient les phénomènes impliquant à la fois la prise de décision et l’apprentissage chez les humains, mais ont reçu peu d’attention en IHM. 

Le projet NeuroHCI est un projet en interaction humain-machine (IHM) qui vise à concevoir des systèmes interactifs développant l’expertise de l’utilisateur-utilisatrice en établissant un partenariat humain-machine. L’interaction avec ces systèmes peut être vue comme un problème de prise de décision à plusieurs échelles :

• Une tâche, par exemple choisir le bon traitement médical sur la base de recommandations basées sur l’IA ;
• Une méthode, par exemple choisir parmi différents dispositifs ou modalités pour réaliser une tâche ;
• Un objet, par exemple avec quel objet physique ou virtuel les utilisateurs-utilisatrices vont interagir ;
• Un mouvement, par exemple quelle trajectoire pour atteindre l’objet cible.

Les objectifs

L’objectif scientifique est de comprendre comment les utilisateurs-utilisatrices prennent des décisions avec des systèmes interactifs et comment ces décisions évoluent dans le temps. En effet, les utilisateurs-utilisatrices développent progressivement une expertise au cours de l’utilisation répétée des systèmes interactifs. Cette expertise influence la façon dont ils/elles prennent leurs décisions. Cela nécessite l’étude simultanée des phénomènes d’apprentissage et de prise de décision qui sous-tendent l’utilisation des systèmes interactifs.

L’objectif applicatif est de concevoir et de mettre en œuvre de meilleurs systèmes interactifs et adaptatifs. L’être humain s’adapte et développe son expertise en utilisant un système interactif. L’objectif ici est que le système, de son côté, évolue également pour s’adapter à ses utilisateurs-utilisatrices, c’est-à-dire qu’il s’habitue à leur comportement et en particulier à leur expertise. Il s’agit donc d’établir un partenariat humain-machine dans lequel les deux acteurs (humain et machine) s’adaptent l’un à l’autre.

Les résultats

Pour atteindre ces objectifs, nous démontrons les avantages de notre approche à travers 3 applications, pour lesquelles des plateformes existent déjà et sont maintenues par les partenaires, mais où des défis scientifiques demeurent pour leur adoption dans le monde réel. Ces trois applications sont :

• les interfaces graphiques intelligentes comme les systèmes de recommandation basés sur l’IA ;
• les systèmes de simulation immersifs offrant un riche retour haptique ;
• et les interfaces cobotiques médicales qui visent à restaurer ou à améliorer la capacité des humains à interagir avec des objets dans le monde réel.

Notre hypothèse de recherche est qu’il est nécessaire de développer des modèles computationnels robustes d’apprentissage et de prise de décision en IHM. Les modèles computationnels permettent d’expliquer et de prédire le comportement humain en synthétisant des phénomènes complexes de manière testable et réfutable. En IHM, ils servent à évaluer la qualité d’une interface sans avoir à mener des études d’utilisateurs-utilisatrices longues et coûteuses. Lorsque ces modèles sont robustes, ils peuvent être intégrés dans des systèmes interactifs pour optimiser l’interaction et adapter l’interface en fonction de l’expertise et/ou des actions des utilisateurs-utilisatrices.

Partenariats et collaborations

Porté par Gilles Bailly, directeur de recherche CNRS à l’ISIR, le projet ANR NeuroHCI est un projet inter-équipes interne à l’ISIR, qui implique plusieurs membres du laboratoire. 

Projet MARGSurg – Markerless Augmented Reality for the Future Orthopedic Surgery

Dans le cadre du projet MARSurg, nous ciblons les segments du remplacement des articulations. La solution visée a pour ambition d’être générique et facilement adaptable à d’autres disciplines de la chirurgie orthopédique et au-delà. Axé sur l’efficacité, le démonstrateur MARSurg concernera le placement optimal des prothèses dans la chirurgie du genou, dans le but d’effectuer régulièrement des transpositions et des tests de vérification sur d’autres chirurgies orthopédiques (comme l’épaule ou la hanche).

Le contexte

Avec le vieillissement de la population, le nombre d’interventions chirurgicales pour le remplacement des articulations défaillantes (hanche, genou, épaule, etc.) est en forte croissance. Cela représente plus d’un tiers du marché des dispositifs médicaux implantables.

En chirurgie orthopédique, le positionnement 3D des articulations défaillantes et des prothèses artificielles de remplacement est un critère important de la réussite de la chirurgie. Ces informations géométriques et cinématiques sont généralement obtenues à l’aide d’un ensemble d’instruments métalliques spécifiques très souvent invasifs. L’estimation de position spatiale des prothèses a fait des progrès significatifs avec le développement de l’imagerie médicale et des méthodes de navigation assistées par ordinateur et de la robotique. Cependant, même si ces méthodes apportent une réelle valeur ajoutée clinique pour le patient (meilleur fonctionnement des prothèses, meilleure acceptabilité par les patients, durée de vie améliorée, etc.), elles présentent plusieurs limites : complexité d’utilisation, coût important, et elles ne répondent pas entièrement aux exigences en termes de précision. 

C’est dans ce contexte que s’inscrit le projet ANR PRCE MARSurg – Markerless Augmented Reality for the Future Orthopedic Surgery, qui vise à développer une solution innovante de navigation chirurgicale à fort potentiel scientifique, technologique et clinique. Cette plateforme sera fondée sur l’utilisation de la Réalité Augmentée (RA) et des méthodes de vision par ordinateur et d’Intelligence Artificielle (machine learning), pour estimer les paramètres géométriques et cinématiques des articulations et les restituer, en temps réel, au chirurgien pendant l’intervention chirurgicale. 

Les objectifs

Dans ce contexte, plusieurs objectifs à la fois technologiques, scientifiques et cliniques sont visés dans le cadre de MARSurg. Parmi ces objectifs, on peut citer : 

• Mettre en place un nouveau protocole chirurgical pour le remplacement total des articulations du genou en garantissant une moindre invasivité tout en améliorant les fonctionnalités de la prothèse de remplacement (stabilité, durée de vie, etc.) ;
• Développer un nouveau système préindustriel comprenant une plateforme logicielle de réalité augmentée qui fournira de manière intuitive toutes les informations dont le chirurgien a besoin durant l’intervention chirurgicale ; 
• Améliorer les méthodes de l’état de l’art sur le calcul de pose 3D sans marqueurs artificiels en utilisant des méthodes géométriques et d’intelligence artificielle ; 
• Faire progresser les méthodes de l’état de l’art sur la segmentation et le recalage d’images 3D issues de caméras dites RGB-D (une caméra qui fournit simultanément une image couleur et une carte de profondeur caractérisant la distance des objets vus dans l’image), notamment dans le contexte d’applications cliniques ;
• Accélérer le transfert industriel des méthodes développées pour faire de Pixee Medical un leader mondial en chirurgie orthopédique. 

Les résultats

Le projet MARSurg vise à développer une plateforme logicielle générique pour la chirurgie orthopédique (au-delà de la chirurgie du genou) en ciblant le remplacement des articulations défaillantes par des prothèses articulaires artificielles. Pour ce faire, plusieurs disciplines scientifiques seront abordées, comme la perception visuelle, en utilisant des caméras de profondeur, la vision par ordinateur, l’intelligence artificielle, le génie logiciel et la réalité augmentée. Un démonstrateur final de la plateforme de réalité augmentée qui sera développée sera testée et évaluée dans des conditions proches de celles d’un bloc opératoire, en présence de chirurgiens spécialistes. 

Partenariats et collaborations

Le projet d’une durée de 4 ans est coordonné par Brahim Tamadazte, Chargé de Recherche CNRS et membre de l’ISIR, Sorbonne Université. Le consortium du projet est également composé de :

• l’Inria Rennes Bretagne-Atlantique, représenté par Eric Marchand, Professeur des Universités à Rennes 1,
• et de Pixee Medical, une entreprise française spécialisée dans le développement de solutions innovantes pour la chirurgie du genou, représentée par Anthony Agustinos, responsable R&D.   

Le contexte

Les microrobots mobiles est un domaine de recherche hautement prometteur. Le fil conducteur est de créer des micro-structrures non-attachés capables de naviguer et d’effectuer des tâches spécifiques de manière non invasive dans des sites difficiles d’accès, comme les organes in-vivo, ou à l’intérieur de dispositifs microfluidiques confinés, in-vitro, par exemple pour manipuler des cellules vivantes. Outre les applications axées sur la biologie, il existe également des cas d’usages plus classiques tels que l’assemblage et la caractérisation de petits échantillons et de micromachines. 

Les techniques de fabrication à l’échelle microscopique sont relativement récentes, et l’actionnement et l’instrumentation sans fil des microrobots constituent un véritable défi. La technologie actuelle n’est pas encore suffisamment avancée pour fabriquer des systèmes autonomes de moins d’un millimètre dotés de toutes ces caractéristiques. Il existe cependant des phénomènes physiques qui peuvent être exploités pour propulser et contrôler à distance de tels dispositifs. 

Les objectifs

Nous étudions et développons :

• des techniques d’actionnement et de détection pour les microrobots non attachés,
• différentes stratégies pour leur contrôle et leur navigation, qu’ils soient autonomes ou téléopérés.

Nous nous concentrons principalement sur deux technologies d’actionnement : magnétique et optique. Nous travaillons également sur la détection basée sur la vision, le contrôle et la téléopération haptique de tels systèmes.

(1) Technologie d’actionnement magnétique

La possibilité de contrôler des capsules magnétiques fabriquées à une micro-échelle ouvrirait un large éventail d’applications. Les cavités du corps peuvent être atteintes : des fluides stagnants peuvent être trouvés dans la moelle épinière, le cerveau, le crâne ou les yeux et des flux à faible vitesse existent dans les voies urinaires ou les capillaires par exemple. Pour développer de telles applications futures, une nouvelle génération de microrobots capables de nager efficacement dans un fluide visqueux à très faible nombre de Reynolds est développée.

En savoir plus : Multiflag, conception et contrôle de micro-nageurs à flagelles multiples entraînés par des aimants mobiles.

(2) Technique d’actionnement optique

Nous utilisons le pouvoir de la lumière pour manipuler des cellules et des molécules, et laissons l’utilisateur contrôler et ressentir l’interaction du bout des doigts.

En savoir plus : Robots optiques interactifs : un nouvel instrument pour la biologie

Partenariats et collaborations

• APHP/Hôpital Tenon, Service de biologie de la reproduction-CECOS,
• Institut Pasteur, Diagnostic Test Innovation and Development Core Facility,
• Laboratoire d’Imagerie Biomédicale (LIB), Sorbonne Université,
• Laboratoire Jean Perrin (LJP), Sorbonne Université,
• Robeauté.

Projet muRocs : Micro-chirurgie Robotisée du Cholestéatome

Les interventions chirugicales dans l’oreille moyenne (comme par exemple l’ablation d’un cholestéatome) sont fréquentes et très risquées. Aux difficultés manipulatoires s’ajoutent les problèmes liés à la vision indirecte par microscope. Dans le projet ANR muRocs, nous étudions la faisabilité d’une robotisation du geste de cholestéatomie. Celle-ci passe par la mise en œuvre d’un instrument fin type endoscope polyarticulé porté par un bras porteur. La tâche incombant à l’ISIR dans ce projet est de développer les moyens d’un interfaçage intuitif et performant entre l’opérateur et le système robotisé. En particulier, différents modes de pilotage sont comparés et l’utilisation de l’imagerie multimodale est explorée.

Le contexte

Le cholestéatome est une maladie grave de l’oreille moyenne dont l’incidence est de 1/10000 par an et qui consiste en une croissance cancéreuse des tissus pouvant aller jusqu’à atteindre le cerveau. Le traitement le plus efficace de la maladie à l’heure actuelle est l’opération chirurgicale. Celle-ci consiste à réséquer le cholestéatome (en grattant d’abord puis par ablation laser des résidus) en passant soit par le canal tympanique, soit par un passage fraisé dans la mastoïde. Cette opération est exemplaire des difficultés de la micro-chirurgie : accès étroit, outils peu maniables, tissus fragiles (nerf optique, chaîne tympano-ossiculaire), vision indirecte réduite. En conséquence, le taux d’échec est élevé (25%) et le besoin est grand d’amélioration de la procédure notamment en termes d’instrumentation. Le projet muRocs (consortium ANR PRC 2018, CHU Besançon porteur) vise à robotiser le geste de résection du cholestéatome pour le rendre moins invasif, moins risqué et plus performant. Dans ce projet, l’ISIR s’intéresse à l’ergonomie du nouveau système robotisé, en particulier en termes de commandabilité et d’immersion de l’opérateur dans la scène chirurgicale.

Les objectifs

• Nous souhaitons développer un système dextre capable d’accéder, par voie mini-invasive, à la cavité de l’oreille moyenne et d’atteindre tous les points de cette cavité avec une orientation choisie. Pour ce faire, nous nous orientons vers un ensemble macro-micro composé d’un bras manipulateur prolongé par un instrument fin polyarticulé type micro-endoscope.

• L’exploitation de la structure macro-micro redondante ci-dessus nécessite de mettre au point une interface de pilotage adaptée. Les solutions que nous envisageons de tester sont de deux types : les approches téléopérées et les approches co-manipulées.

• Dans le cadre de la cholestéatomie, il est primordial de parvenir à une résection totale du cholestéatome sous peine de prendre le risque d’une ré-opération du patient à court terme. Pour se faire, outre disposer d’un système robotique suffisamment dextre, il est nécessaire de disposer de moyens fins de visualisation et de repérage du tissu à reséquer. Les modalités endoscopique et OCT sont envisagées.

Les résultats

• Nous avons mis en œuvre un système macro-micro sériel composé du robot Franka à 7 ddl et d’un micro-endoscope de 3mm de diamètre et possédant 2 ddl. Le micro-endoscope a été motorisé et intégré à l’extrémité du bras porteur de façon à constituer une chaîne cinématique redondante à 9ddl entièrement commandable.

• Une étude est en cours pour évaluer différentes solutions de pilotage. Entre autres solutions, la téléopération directe de l’extrémité du dispositif via un joystick à 6 ddl nécessite d’être complétée par une gestion automatique des redondances cinématiques (mouvements internes). La comanipulation du dispositif via une poignée et un capteur d’effort sur le terminal du bras porteur doit quant à elle être complétée par un micro-joystick embarqué pour le pilotage des ddl intracorporels.

• Un premier retour visuel augmenté a été mis au point. Il fusionne les informations issues de la vision endoscopique et de la pose instantanée du robot. Il prend la forme d’une scène numérique 3D temps-réel du site d’opération. L’intégration de la modalité OCT via une sonde embarquée en bout d’instrument est à l’étude.

Partenariats et collaborations

muROCs (Micro-Robot for Cholesteatoma Surgery) est un projet ANR PRC 2018

Le consortium ANR muROCs est porté par le CHU de Besançon (Laurent Tavernier et Olivier Gaiffe).

Il comprend également :

• l’Institut Femto-ST (Nicolas Andreff et Kanty Rabenorosoa),
• l’Institut de l’audition (Yann Nguyen),
• l’ISIR.

Dans ce projet, les partenaires cliniques apportent leur expérience en chirurgie mini-invasive de l’oreille. En particulier, le Dr Nguyen est pionnier en matière de chirurgie robotisée de l’oreille moyenne car il fut un des premiers utilisateurs du robOtol, robot conçu à l’ISIR et commercialisé par la société Collin Médical. Le laboratoire Femto-ST est quant à lui en charge de développer un instrument dextre miniature capable d’atteindre tous les points du site opératoire. Cet instrument est basé sur la technologie hybride câbles – tubes concentriques.

Cathéters pour la NRI actionnés par Alliages à Mémoire de Forme

Pour répondre aux besoins de contrôlabilité en matière d’instruments de neuroradiologie interventionnelle, nous avons développé une méthode brevetée de fabrication de cathéters actifs intégrant des fils en Alliage à Mémoire de Forme (NiTi). Une étape de modélisation poussée a permis d’optimiser les dimensions de ces cathéters actifs qui ont été ensuite testés et validés sur modèles silicone et sur modèle animal. Les plus petits prototypes réalisés présentent des diamètres de l’ordre du millimètre et des angles de courbure supérieurs à 90°. Aujourd’hui, cette technologie a été transférée via la start-up Basecamp Vascular qui industrialise le procédé mis au point.

Le contexte

Le cathétérisme actif solution aux difficultés de la navigation endovasculaire

Actuellement, les cathéters utilisés en cardiologie ou en radiologie interventionnelle (par exemple pour l’embolisation des anévrismes cérébraux) sont des outils complètement passifs, introduits manuellement. De plus, le retour visuel offert aux radiologues durant l’intervention se réduit à des images radio de faible résolution et le plus souvent en 2D. Dans ce contexte, les cathéters sont difficilement contrôlables et leur progression est lente voire impossible jusqu’à la cible anatomique. En neuroradiologie par exemple (navigation jusqu’au cerveau), on estime à 20% le taux d’échec de la navigation du fait d’une anatomie trop tortueuse au niveau des troncs supra-aortique (carotide).

L’ISIR collabore avec le service de neuroradiologie interventionnelle (NRI) de la Fondation Ophtalmologique de Rothschild (FOR) depuis de nombreuses années sur le thème du cathétérisme actif pour la NRI. Le but du projet CATANE est de mettre au point et valider des cathéters motorisés, commandables dans leur partie distale pour améliorer les conditions de navigation artérielle : négociation des embranchements, pointage de la cible. L’approche retenue est celle des actionneurs miniatures à base d’Alliages à Mémoire de Forme (AMF) intégrés directement à l’extrémité des cathéters.

Les objectifs

• Nous visons la mise au point de techniques de réalisation robuste de cathéters ou guides actifs actionnés par fils en AMF intégrés en tête d’instrument. La principale difficulté rencontrée sur ce terrain est celle de la miniaturisation du dispositif d’accrochage des actionneurs à la périphérie de supports dont le diamètre avoisine le millimètre.

• Nous souhaitons également développer des modèles mathématiques du comportement des structures type cathéter ou guide actif. Le but ici est de parvenir à prédire le mouvement que produit une telle structure en réponse à une activation électrique donnée de manière à maîtriser la chaîne de conversion énergétique du signal de commande jusqu’au déplacement.

• Nous cherchons également à utiliser les modèles de comportement établis à des fins de conception optimale. L’actionnement par AMF a pour avantage une grande variabilité de solution en termes de nombre et de localisation des actionneurs. Nous souhaitons donc mettre au point des outils d’optimisation dimensionnelle et topologique des cathéters ou guides actifs pour répondre le plus efficacement possible à un besoin médical donné.

• Enfin, cette recherche adresse également la question de l’Interfaçe Homme-Machine (IHM) de ces dispositifs. Nous voulons proposer les meilleures interfaces de commande possibles dans un contexte d’instruments à multiple degré de mobilité (notamment actifs) et dans un contexte de visualisation de la scène opératoire rendue complexe par la vision radiographique intermittente. Cet aspect s’intègre parfaitement à la problématique générale du cockpit chirurgical développée dans l’équipe.

Les résultats

• Une méthode d’assemblage des cathéters/guides actifs à base de fils en AMF a été mise au point et brevetée. Sur la base de ce procédé différents prototypes ont été réalisé lesquels ont montré de bonnes performances, en particulier en termes de temps de réponse (~1s) et de durée de vie (>100 cycles d’activation). La méthode de réalisation a été brevetée à l’international (WO2011116961A1) et une licence exclusive d’exploitation a été accordée à la société Basecamp Vascular.

• Un modèle analytique de la fonction de transfert de nos cathéters/guides actifs a été développé et validé expérimentalement. Ce modèle a servi de base pour le dimensionnement de dispositifs variés correspondant à des spécialités médicales et des tâches de navigation différentes et présentant chacune des exigences particulières : neuroradiologie interventionnelle, chirurgie vasculaire, intervention des voie billio-pancréatiques.

• Ces dispositifs ont été validés expérimentalement sur fantôme anatomique (par exemple cathéter miniature de diamètre 1,2mm à deux actionneurs AMF pour la navigation dans le réseau artériel crânien) ou sur modèle animal (par exemple un guide actif de diamètre 2,1mm à deux courbures en série pour la navigation dans l’aorte abdominale et ses ramifications.

Partenariats et collaborations

La société Basecamp Vascular industrialise les cathéters actifs de l’Isir.

Le projet CATANE a tout d’abord été soutenu par le labex CAMI (Computer Assisted Medical Interventions) qui a financé le recrutement d’un ingénieur en 2013 puis par la SATT Lutech sous forme d’une aide à la maturation entre 2014 et 1015. Aujourd’hui, les technologies développées et en particulier celle décrite dans le brevet WO2011116961A1, ont été transférées à la start-up Basecamp Vascular créée en 2016. Son président est le Dr Raphaël Blanc, neuroradiologue interventionnel à la Fondation ophtalmologique Rothshild à Paris. Le Dr Blanc est associé au projet CATANE depuis son origine.

Dans ce projet, nous proposons de travailler à faciliter les gestes en chirurgie mini-invasive en abordant plus particulièrement les questions des interfaces et des interactions homme-machine.

Des interfaces modulaires pour faciliter la chirurgie mini-invasive

Ces modules sont conçus pour s’intégrer pleinement dans le parcours de soin et la pratique courante. Pour cela nous adressons tout particulièrement la question des interfaces et des interactions Chirurgien-Machine.

Les principaux thèmes de recherche portent sur :

• La commande de robots porte-instruments comanipulé pour l’assistance aux gestes (guides virtuels),
• La réalité augmentée (affichage et manipulation des objets virtuels dans une scène réelle, interfaces tangibles),
• Les interactions chirurgien-machine (changement de mode de commande, analyse de traces d’apprentissage),
• Les interactions au bloc opératoire (observations, entretiens, protocoles).

Le contexte

La chirurgie ambulatoire permet au patient de regagner son domicile le jour même de son intervention. Cette chirurgie apporte de nombreux bénéfices aux patients comme aux professionnels de santé, en termes de qualité des soins et d’organisation. La chirurgie dite « mini-invasive » est l’une des techniques permettant aux patients d’avoir un temps d’hospitalisation réduit voire d’être pris en charge en ambulatoire.

Le chirurgien pratique de petites incisions (quelques millimètres) qui permettent l’introduction d’une caméra et des instruments opératoires. La manipulation des instruments de chirurgie mini-invasive est compliquée et éprouvante pour le chirurgien : la dextérité est réduite, le champ de vision est limité, la perception des efforts entre les organes et les instruments est considérablement dégradée. Tous ces facteurs conduisent à ce que la chirurgie mini-invasive est sous utilisée dans la pratique clinique.

Les objectifs

L’objectif principal de ce projet est de démocratiser la chirurgie mini-invasive en proposant aux chirurgiens différents modules technologiques combinables entre eux. Il s’agit d’assister le chirurgien en facilitant les gestes et la perception des organes pour qu’il opère de façon mini-invasive aussi facilement qu’en chirurgie ouverte.