Home » Projet

Plateforme de réalité virtuelle multimodale

Contexte

Une plateforme dédiée à la réalité virtuelle multimodale qui permet à l’utilisateur de se déplacer dans un environnement virtuel large, sans porter d’équipements autre que celui d’un casque de Réalité Virtuelle. En plus des stimulations visuelles et auditives habituelles, un système robotique mobile fournit des stimulations tactiles et haptiques en emmenant des objets et surfaces divers au contact de l’utilisateur.

Équipement et Structure

Le système consiste en un robot cartésien 2D monte en hauteur sur une structure en treillis de 4x4x2.5 m3 (lxLxh). Le chariot est commande en position et en vitesse par des moteurs 24V et un microcontrôleur Roboclaw (fig. 1).

Figure 1: Vue d’ensemble de la structure de RV multimodale (à gauche) à l’ISIR – (à droite) en CAO

Il est conçu de façon modulaire afin de porter des accessoires variés, comme des parois mobiles avec des textures différentes, un plateau et des étagères des objets des petites tailles etc. Des composants plus complexes, comme par exemple un ventilateur, des spots, une interface haptique classique ou un bras robot peuvent être facilement intégrés.

La structure en treillis porte en plus 2 systèmes de capture de mouvement : Optitrack et Lighthouses, qui permettent de relever de façon triviale le mouvement de l’utilisateur et des objets dans l’arène.

Une sur-couche logicielle conçue sur Unity permet de coupler une scène virtuelle aux capteurs et aux commandes du robot cartésien.

Contexte

La chirurgie ambulatoire permet au patient de regagner son domicile le jour même de son intervention. Cette chirurgie apporte de nombreux bénéfices aux patients comme aux professionnels de santé, en termes de qualité des soins et d’organisation. La chirurgie dite « mini-invasive » est l’une des techniques permettant aux patients d’avoir un temps d’hospitalisation réduit voire d’être pris en charge en ambulatoire.

Le chirurgien pratique de petites incisions (quelques millimètres) qui permettent l’introduction d’une caméra et des instruments opératoires. La manipulation des instruments de chirurgie mini-invasive est compliquée et éprouvante pour le chirurgien : la dextérité est réduite, le champ de vision est limité, la perception des efforts entre les organes et les instruments est considérablement dégradée.

Tous ces facteurs conduisent à ce que la chirurgie mini-invasive est sous utilisée dans la pratique clinique.

Des interfaces modulaires pour faciliter la chirurgie mini-invasive

Cockpit Chirurgical, Projet Fédérateur, ISIR

L’objectif principal de ce projet est de démocratiser la chirurgie mini-invasive en proposant aux chirurgiens différents modules technologiques combinables entre eux. Il s’agit d’assister le chirurgien en facilitant les gestes et la perception des organes pour qu’il opère de façon mini-invasive aussi facilement qu’en chirurgie ouverte.

Cockpit Chirurgical, ISIR

Ces modules sont conçus pour s’intégrer pleinement dans le parcours de soin et la pratique courante. Pour cela nous adressons tout particulièrement la question des interfaces et des interactions Chirurgien-Machine.

Les principaux thèmes de recherche portent sur :