Home » Projet

RPI-Bio

taxonomy

Projet RODEO – Apprentissage profond robuste pour la robotique chirurgicale

Le projet RODEO vise à transformer la robotique chirurgicale en intégrant les dernières avancées en intelligence artificielle (IA). Le cadre d’application est la chirurgie guidée par robot pour la colonne vertébrale, basée sur une plateforme chirurgicale disponible à l’ISIR.

Dans ce contexte, un bras robotique à 7 degrés de liberté (DoFs) est équipé de divers capteurs (position, vitesse, force, conductivité électrique, vibrations) et utilisé pendant des interventions chirurgicales, comme l’insertion de vis pédiculaires dans la colonne vertébrale. Cette plateforme robotique actuelle utilise un ensemble de lois de commande déjà implémentées (e.g., contrôle de position, de vitesse, de force) pour exécuter des tâches ou sous-tâches chirurgicales, comme le perçage d’une trajectoire préliminaire pour le placement des vis pédiculaires. Avant l’opération, un scanner 3D du patient est réalisé, permettant au chirurgien de définir la procédure médicale à suivre pendant la chirurgie.

Bien que des contrôleurs entièrement automatiques puissent être utilisés pour certaines sous-tâches sûres, les chirurgiens préfèrent un paradigme de co-manipulation pour les opérations sensibles, où les robots chirurgicaux assistent les procédures médicales. Dans ce cas, l’assistant robotique doit réagir fidèlement aux instructions du chirurgien tout en garantissant la sécurité du patient et du personnel médical, et s’adapter à l’environnement.

Le contexte

Bien que le système actuel de co-manipulation soit utile et réponde à certains besoins des chirurgiens, il peut être considérablement amélioré pour enrichir l’expérience chirurgicale. La plateforme chirurgicale de l’ISIR manque de modules de perception et d’enregistrement, et la procédure actuelle suppose que le patient ne bouge pas une fois positionné pour la chirurgie et que la colonne vertébrale est rigide. Cela peut rendre le transfert d’informations préopératoires complexe, imprécis et dangereux pour le patient. De plus, les contrôleurs actuels ne représentent pas certains phénomènes physiques complexes lors de la co-manipulation, comme les frottements du robot, les vibrations ou la compensation gravitationnelle, tous cruciaux pour des interventions chirurgicales précises.

Les objectifs

Le projet RODEO vise à développer la prochaine génération d’IA génératives profondes pour surmonter les principaux défis mentionnés. L’objectif est de concevoir des systèmes d’IA avec une robustesse améliorée en termes de flexibilité et de fiabilité, tout en restant durables, ainsi que des modèles hybrides capables d’intégrer des connaissances physiques du monde.

L’hypothèse centrale de la recherche est que ces améliorations peuvent conduire à une avancée majeure dans la robotique chirurgicale. Des systèmes d’IA plus fiables peuvent améliorer leur acceptation par les experts médicaux et les patients, notamment en leur permettant d’évaluer leur propre confiance ou d’expliquer leurs décisions de manière compréhensible. Les modèles hybrides et durables pourraient considérablement améliorer le niveau d’automatisation dans la co-manipulation robot/chirurgien, réduisant ainsi la charge cognitive des chirurgiens et leur permettant de se concentrer entièrement sur les interventions médicales, ce qui améliorerait les procédures chirurgicales et les soins aux patients.

Les résultats

Dans notre cadre de test pour la chirurgie de la colonne vertébrale, nous attendons des améliorations majeures dans trois domaines principaux :


Projet NeuroHCI – Prise de décisions multi-échelle avec les systèmes interactifs 

Ce projet pluridisciplinaire s’appuie sur les Neurosciences Computationnelles pour développer des modèles IHM du comportement utilisateur-utilisatrice. Il s’agit d’étudier dans quelle mesure on peut transposer les théories, modèles et méthodes des Neurosciences Computationnelles à l’IHM.

Le projet NeuroHCI vise à améliorer la prise de décision humaine dans les mondes physique et numérique dans des contextes interactifs. Les situations dans lesquelles un humain prend une décision avec un système interactif sont variées : 

Est-ce que j’utilise mon expérience ou Google Maps pour choisir mon itinéraire ? Est-ce que je réponds à cet e-mail sur mon smartphone ou sur mon PC ? Est-ce que j’utilise des menus ou des raccourcis pour sélectionner cette commande fréquente ? Est-ce que j’utilise le robot chirurgical Da Vinci pour opérer mon patient ou les instruments laparoscopiques traditionnels ? Comment puis-je atteindre cet objet avec ma prothèse robotique ?

La décision peut porter sur un choix complexe dans le monde réel assisté par un ordinateur (par exemple, un traitement médical) ou sur le choix d’une méthode pour réaliser une tâche numérique (par exemple, modifier une photo avec l’outil préféré).

Le contexte

Les neurosciences étudient les phénomènes impliquant à la fois la prise de décision et l’apprentissage chez les humains, mais ont reçu peu d’attention en IHM. 

Le projet NeuroHCI est un projet en interaction humain-machine (IHM) qui vise à concevoir des systèmes interactifs développant l’expertise de l’utilisateur-utilisatrice en établissant un partenariat humain-machine. L’interaction avec ces systèmes peut être vue comme un problème de prise de décision à plusieurs échelles :

Les objectifs

L’objectif scientifique est de comprendre comment les utilisateurs-utilisatrices prennent des décisions avec des systèmes interactifs et comment ces décisions évoluent dans le temps. En effet, les utilisateurs-utilisatrices développent progressivement une expertise au cours de l’utilisation répétée des systèmes interactifs. Cette expertise influence la façon dont ils/elles prennent leurs décisions. Cela nécessite l’étude simultanée des phénomènes d’apprentissage et de prise de décision qui sous-tendent l’utilisation des systèmes interactifs.

L’objectif applicatif est de concevoir et de mettre en œuvre de meilleurs systèmes interactifs et adaptatifs. L’être humain s’adapte et développe son expertise en utilisant un système interactif. L’objectif ici est que le système, de son côté, évolue également pour s’adapter à ses utilisateurs-utilisatrices, c’est-à-dire qu’il s’habitue à leur comportement et en particulier à leur expertise. Il s’agit donc d’établir un partenariat humain-machine dans lequel les deux acteurs (humain et machine) s’adaptent l’un à l’autre.

Les résultats

Pour atteindre ces objectifs, nous démontrons les avantages de notre approche à travers 3 applications, pour lesquelles des plateformes existent déjà et sont maintenues par les partenaires, mais où des défis scientifiques demeurent pour leur adoption dans le monde réel. Ces trois applications sont :

Notre hypothèse de recherche est qu’il est nécessaire de développer des modèles computationnels robustes d’apprentissage et de prise de décision en IHM. Les modèles computationnels permettent d’expliquer et de prédire le comportement humain en synthétisant des phénomènes complexes de manière testable et réfutable. En IHM, ils servent à évaluer la qualité d’une interface sans avoir à mener des études d’utilisateurs-utilisatrices longues et coûteuses. Lorsque ces modèles sont robustes, ils peuvent être intégrés dans des systèmes interactifs pour optimiser l’interaction et adapter l’interface en fonction de l’expertise et/ou des actions des utilisateurs-utilisatrices.

Partenariats et collaborations

Porté par Gilles Bailly, directeur de recherche CNRS à l’ISIR, le projet ANR NeuroHCI est un projet inter-équipes interne à l’ISIR, qui implique plusieurs membres du laboratoire. 

Projet MARGSurg – Markerless Augmented Reality for the Future Orthopedic Surgery

Dans le cadre du projet MARSurg, nous ciblons les segments du remplacement des articulations. La solution visée a pour ambition d’être générique et facilement adaptable à d’autres disciplines de la chirurgie orthopédique et au-delà. Axé sur l’efficacité, le démonstrateur MARSurg concernera le placement optimal des prothèses dans la chirurgie du genou, dans le but d’effectuer régulièrement des transpositions et des tests de vérification sur d’autres chirurgies orthopédiques (comme l’épaule ou la hanche).

Le projet Marsurg vise à mettre en place une solution de navigation chirurgicale innovante à fort potentiel scientifique, technologique et clinique. Copyright : Brahim Tamadazte, ISIR.

Le contexte

Avec le vieillissement de la population, le nombre d’interventions chirurgicales pour le remplacement des articulations défaillantes (hanche, genou, épaule, etc.) est en forte croissance. Cela représente plus d’un tiers du marché des dispositifs médicaux implantables.

En chirurgie orthopédique, le positionnement 3D des articulations défaillantes et des prothèses artificielles de remplacement est un critère important de la réussite de la chirurgie. Ces informations géométriques et cinématiques sont généralement obtenues à l’aide d’un ensemble d’instruments métalliques spécifiques très souvent invasifs. L’estimation de position spatiale des prothèses a fait des progrès significatifs avec le développement de l’imagerie médicale et des méthodes de navigation assistées par ordinateur et de la robotique. Cependant, même si ces méthodes apportent une réelle valeur ajoutée clinique pour le patient (meilleur fonctionnement des prothèses, meilleure acceptabilité par les patients, durée de vie améliorée, etc.), elles présentent plusieurs limites : complexité d’utilisation, coût important, et elles ne répondent pas entièrement aux exigences en termes de précision. 

C’est dans ce contexte que s’inscrit le projet ANR PRCE MARSurg – Markerless Augmented Reality for the Future Orthopedic Surgery, qui vise à développer une solution innovante de navigation chirurgicale à fort potentiel scientifique, technologique et clinique. Cette plateforme sera fondée sur l’utilisation de la Réalité Augmentée (RA) et des méthodes de vision par ordinateur et d’Intelligence Artificielle (machine learning), pour estimer les paramètres géométriques et cinématiques des articulations et les restituer, en temps réel, au chirurgien pendant l’intervention chirurgicale. 

Les objectifs

Dans ce contexte, plusieurs objectifs à la fois technologiques, scientifiques et cliniques sont visés dans le cadre de MARSurg. Parmi ces objectifs, on peut citer : 

Les résultats

Le projet MARSurg vise à développer une plateforme logicielle générique pour la chirurgie orthopédique (au-delà de la chirurgie du genou) en ciblant le remplacement des articulations défaillantes par des prothèses articulaires artificielles. Pour ce faire, plusieurs disciplines scientifiques seront abordées, comme la perception visuelle, en utilisant des caméras de profondeur, la vision par ordinateur, l’intelligence artificielle, le génie logiciel et la réalité augmentée. Un démonstrateur final de la plateforme de réalité augmentée qui sera développée sera testée et évaluée dans des conditions proches de celles d’un bloc opératoire, en présence de chirurgiens spécialistes. 

Partenariats et collaborations

Le projet d’une durée de 4 ans est coordonné par Brahim Tamadazte, Chargé de Recherche CNRS et membre de l’ISIRSorbonne Université. Le consortium du projet est également composé de :

Le contexte

Les microrobots mobiles est un domaine de recherche hautement prometteur. Le fil conducteur est de créer des micro-structrures non-attachés capables de naviguer et d’effectuer des tâches spécifiques de manière non invasive dans des sites difficiles d’accès, comme les organes in-vivo, ou à l’intérieur de dispositifs microfluidiques confinés, in-vitro, par exemple pour manipuler des cellules vivantes. Outre les applications axées sur la biologie, il existe également des cas d’usages plus classiques tels que l’assemblage et la caractérisation de petits échantillons et de micromachines. 

Les techniques de fabrication à l’échelle microscopique sont relativement récentes, et l’actionnement et l’instrumentation sans fil des microrobots constituent un véritable défi. La technologie actuelle n’est pas encore suffisamment avancée pour fabriquer des systèmes autonomes de moins d’un millimètre dotés de toutes ces caractéristiques. Il existe cependant des phénomènes physiques qui peuvent être exploités pour propulser et contrôler à distance de tels dispositifs. 

Les objectifs

Nous étudions et développons :

Nous nous concentrons principalement sur deux technologies d’actionnement : magnétique et optique. Nous travaillons également sur la détection basée sur la vision, le contrôle et la téléopération haptique de tels systèmes.

(1) Technologie d’actionnement magnétique

La possibilité de contrôler des capsules magnétiques fabriquées à une micro-échelle ouvrirait un large éventail d’applications. Les cavités du corps peuvent être atteintes : des fluides stagnants peuvent être trouvés dans la moelle épinière, le cerveau, le crâne ou les yeux et des flux à faible vitesse existent dans les voies urinaires ou les capillaires par exemple. Pour développer de telles applications futures, une nouvelle génération de microrobots capables de nager efficacement dans un fluide visqueux à très faible nombre de Reynolds est développée.

6DoF Magnetic control of Helical microswimmers

En savoir plus : Multiflag, conception et contrôle de micro-nageurs à flagelles multiples entraînés par des aimants mobiles.

(2) Technique d’actionnement optique

Nous utilisons le pouvoir de la lumière pour manipuler des cellules et des molécules, et laissons l’utilisateur contrôler et ressentir l’interaction du bout des doigts.

Optobots : Laser-actuated 6DoF microrobots. 

En savoir plus : Robots optiques interactifs : un nouvel instrument pour la biologie

Partenariats et collaborations

Projet muRocs : Micro-chirurgie Robotisée du Cholestéatome

Les interventions chirugicales dans l’oreille moyenne (comme par exemple l’ablation d’un cholestéatome) sont fréquentes et très risquées. Aux difficultés manipulatoires s’ajoutent les problèmes liés à la vision indirecte par microscope. Dans le projet ANR muRocs, nous étudions la faisabilité d’une robotisation du geste de cholestéatomie. Celle-ci passe par la mise en œuvre d’un instrument fin type endoscope polyarticulé porté par un bras porteur. La tâche incombant à l’ISIR dans ce projet est de développer les moyens d’un interfaçage intuitif et performant entre l’opérateur et le système robotisé. En particulier, différents modes de pilotage sont comparés et l’utilisation de l’imagerie multimodale est explorée.

Le contexte

Le cholestéatome est une maladie grave de l’oreille moyenne dont l’incidence est de 1/10000 par an et qui consiste en une croissance cancéreuse des tissus pouvant aller jusqu’à atteindre le cerveau. Le traitement le plus efficace de la maladie à l’heure actuelle est l’opération chirurgicale. Celle-ci consiste à réséquer le cholestéatome (en grattant d’abord puis par ablation laser des résidus) en passant soit par le canal tympanique, soit par un passage fraisé dans la mastoïde. Cette opération est exemplaire des difficultés de la micro-chirurgie : accès étroit, outils peu maniables, tissus fragiles (nerf optique, chaîne tympano-ossiculaire), vision indirecte réduite. En conséquence, le taux d’échec est élevé (25%) et le besoin est grand d’amélioration de la procédure notamment en termes d’instrumentation. Le projet muRocs (consortium ANR PRC 2018, CHU Besançon porteur) vise à robotiser le geste de résection du cholestéatome pour le rendre moins invasif, moins risqué et plus performant. Dans ce projet, l’ISIR s’intéresse à l’ergonomie du nouveau système robotisé, en particulier en termes de commandabilité et d’immersion de l’opérateur dans la scène chirurgicale.

Les objectifs

Les résultats

Partenariats et collaborations

muROCs (Micro-Robot for Cholesteatoma Surgery) est un projet ANR PRC 2018

Le consortium ANR muROCs est porté par le CHU de Besançon (Laurent Tavernier et Olivier Gaiffe).

Il comprend également :

Dans ce projet, les partenaires cliniques apportent leur expérience en chirurgie mini-invasive de l’oreille. En particulier, le Dr Nguyen est pionnier en matière de chirurgie robotisée de l’oreille moyenne car il fut un des premiers utilisateurs du robOtol, robot conçu à l’ISIR et commercialisé par la société Collin Médical. Le laboratoire Femto-ST est quant à lui en charge de développer un instrument dextre miniature capable d’atteindre tous les points du site opératoire. Cet instrument est basé sur la technologie hybride câbles – tubes concentriques.

Cathéters pour la NRI actionnés par Alliages à Mémoire de Forme

Pour répondre aux besoins de contrôlabilité en matière d’instruments de neuroradiologie interventionnelle, nous avons développé une méthode brevetée de fabrication de cathéters actifs intégrant des fils en Alliage à Mémoire de Forme (NiTi). Une étape de modélisation poussée a permis d’optimiser les dimensions de ces cathéters actifs qui ont été ensuite testés et validés sur modèles silicone et sur modèle animal. Les plus petits prototypes réalisés présentent des diamètres de l’ordre du millimètre et des angles de courbure supérieurs à 90°. Aujourd’hui, cette technologie a été transférée via la start-up Basecamp Vascular qui industrialise le procédé mis au point.

Cathéters pour la NRI actionnés par Alliages à Mémoire de Forme

Le contexte

Le cathétérisme actif solution aux difficultés de la navigation endovasculaire

Actuellement, les cathéters utilisés en cardiologie ou en radiologie interventionnelle (par exemple pour l’embolisation des anévrismes cérébraux) sont des outils complètement passifs, introduits manuellement. De plus, le retour visuel offert aux radiologues durant l’intervention se réduit à des images radio de faible résolution et le plus souvent en 2D. Dans ce contexte, les cathéters sont difficilement contrôlables et leur progression est lente voire impossible jusqu’à la cible anatomique. En neuroradiologie par exemple (navigation jusqu’au cerveau), on estime à 20% le taux d’échec de la navigation du fait d’une anatomie trop tortueuse au niveau des troncs supra-aortique (carotide).

L’ISIR collabore avec le service de neuroradiologie interventionnelle (NRI) de la Fondation Ophtalmologique de Rothschild (FOR) depuis de nombreuses années sur le thème du cathétérisme actif pour la NRI. Le but du projet CATANE est de mettre au point et valider des cathéters motorisés, commandables dans leur partie distale pour améliorer les conditions de navigation artérielle : négociation des embranchements, pointage de la cible. L’approche retenue est celle des actionneurs miniatures à base d’Alliages à Mémoire de Forme (AMF) intégrés directement à l’extrémité des cathéters.

Les objectifs

Les résultats

Partenariats et collaborations

La société Basecamp Vascular industrialise les cathéters actifs de l’Isir.

Le projet CATANE a tout d’abord été soutenu par le labex CAMI (Computer Assisted Medical Interventions) qui a financé le recrutement d’un ingénieur en 2013 puis par la SATT Lutech sous forme d’une aide à la maturation entre 2014 et 1015. Aujourd’hui, les technologies développées et en particulier celle décrite dans le brevet WO2011116961A1, ont été transférées à la start-up Basecamp Vascular créée en 2016. Son président est le Dr Raphaël Blanc, neuroradiologue interventionnel à la Fondation ophtalmologique Rothshild à Paris. Le Dr Blanc est associé au projet CATANE depuis son origine.

Dans ce projet, nous proposons de travailler à faciliter les gestes en chirurgie mini-invasive en abordant plus particulièrement les questions des interfaces et des interactions homme-machine.

Des interfaces modulaires pour faciliter la chirurgie mini-invasive

Ces modules sont conçus pour s’intégrer pleinement dans le parcours de soin et la pratique courante. Pour cela nous adressons tout particulièrement la question des interfaces et des interactions Chirurgien-Machine.

Les principaux thèmes de recherche portent sur :

Le contexte

La chirurgie ambulatoire permet au patient de regagner son domicile le jour même de son intervention. Cette chirurgie apporte de nombreux bénéfices aux patients comme aux professionnels de santé, en termes de qualité des soins et d’organisation. La chirurgie dite « mini-invasive » est l’une des techniques permettant aux patients d’avoir un temps d’hospitalisation réduit voire d’être pris en charge en ambulatoire.

Le chirurgien pratique de petites incisions (quelques millimètres) qui permettent l’introduction d’une caméra et des instruments opératoires. La manipulation des instruments de chirurgie mini-invasive est compliquée et éprouvante pour le chirurgien : la dextérité est réduite, le champ de vision est limité, la perception des efforts entre les organes et les instruments est considérablement dégradée. Tous ces facteurs conduisent à ce que la chirurgie mini-invasive est sous utilisée dans la pratique clinique.

Les objectifs

L’objectif principal de ce projet est de démocratiser la chirurgie mini-invasive en proposant aux chirurgiens différents modules technologiques combinables entre eux. Il s’agit d’assister le chirurgien en facilitant les gestes et la perception des organes pour qu’il opère de façon mini-invasive aussi facilement qu’en chirurgie ouverte.