Source de l’article : CNRS Sciences Informatiques
Comprendre les demandes d’un chirurgien et localiser les vertèbres d’un patient, ce n’est pas aux étudiants, mais aux robots, que Nicolas Thome veut l’apprendre. Ce professeur à Sorbonne Université, membre de l’Institut des systèmes intelligents et de robotique (ISIR – CNRS/Sorbonne Université) applique en effet son expertise en intelligence artificielle (IA) à une plateforme de chirurgie robotisée. Un projet qui va se dérouler dans le cadre d’une chaire à l’Institut universitaire de France (IUF).
Si les robots ont depuis longtemps fait leur entrée dans les salles d’opération, l’intelligence artificielle n’en franchit que rarement le seuil, à cause, notamment, d’incertitudes trop importantes sur ses prédictions. Nicolas Thome, professeur à Sorbonne Université, membre de l’Institut des systèmes intelligents et de robotique (ISIR, CNRS/Sorbonne Université), adapte donc des méthodes d’apprentissage automatique et profond aux robots chirurgicaux.
Ce spécialiste de la vision par ordinateur et de l’IA a en effet orienté il y a une dizaine d’années ses recherches vers le traitement de données et d’images médicales. Ses travaux ont par exemple porté sur l’identification automatique de structures biologiques, comme le foie ou le pancréas pour l’abdomen, ou le recalage de données issues de différentes techniques d’imagerie.
Nicolas Thome vient d’être nommé à l’Institut universitaire de France (IUF), sur une chaire fondamentale senior. Ayant rejoint deux ans auparavant l’ISIR, un laboratoire qui comporte une plateforme dédiée à la chirurgie du rachis – c’est-à-dire de la colonne vertébrale – il pourra désormais appliquer pleinement son expertise en apprentissage statistique à la robotique.
Cette plateforme est gérée par l’équipe RPI-Bio et utilisée par Raphaël Vialle, chef de service de chirurgie orthopédique et réparatrice de l’enfant à l’hôpital Trousseau – AP-HP. Ils y testent notamment un robot d’assistance à la chirurgie, auquel Nicolas Thome veut intégrer des outils méthodologiques issus de l’intelligence artificielle. « Mon projet est organisé en trois axes : la planification guidée par le langage, le contrôle hybride alliant commande robotique et apprentissage et, enfin, la quantification de l’incertitude« , décrit l’enseignant-chercheur.
« J’ai hâte d’appliquer mes connaissances à une plateforme robotique fonctionnelle aussi unique et précieuse. »
La planification guidée par le langage doit permettre au chirurgien de donner des instructions au robot, en direct et par la voix. Le tout doit être suffisamment simple et fluide pour laisser le praticien se concentrer sur son opération. En exploitant les derniers modèles de langue, les mots du médecin devront être automatiquement transcrits et traduits en commandes, par exemple pour que le robot se déplace vers une vertèbre particulière.
Le projet va s’accompagner d’un travail sur la perception visuelle du robot, qui est pour l’instant aveugle. Nicolas Thome va développer des modèles pour que le dispositif médical puisse, à l’aide de caméras, reconnaître et localiser les structures biologiques du patient. « C’est à ce niveau que la perception intervient, car le robot devra les repérer en amont à partir d’imageries médicales préopératoires, précise Nicolas Thome. Or il faudra qu’il puisse s’adapter au fait que le patient ne se tiendra jamais exactement dans la même position que lors de l’imagerie, et que divers phénomènes, comme la respiration, déplacent les organes. L’apprentissage statistique et la vision par ordinateur permettront d’automatiser ce processus de recalage. »
« Ces travaux aideront les chirurgiens à davantage accepter d’utiliser la robotique et l’IA. »
La partie sur l’hybridation vise à intégrer de l’apprentissage dans la commande du robot, afin qu’il réagisse mieux à des phénomènes qui ne peuvent pas être simplement modélisés. C’est par exemple le cas si une commande du chirurgien fait frotter la machine contre une vertèbre ou si elle entraîne une inertie assez forte pour perturber son mouvement.
« Les modèles d’IA ont souvent du mal à exprimer à quel point leurs prédictions sont fiables ou non, insiste Nicolas Thome. Or le chirurgien a absolument besoin de le savoir. C’est pourquoi la troisième partie sera consacrée à la quantification de l’incertitude« . Le manque de visibilité, dû par exemple à des occultations lors d’une opération, peut notamment nuire à l’identification des structures biologiques par une IA. Celle-ci doit donc être capable de prévenir les utilisateurs de cette situation d’échec inattendue, afin de déterminer à quel point ces conditions affectent les performances du système, et d’en informer le chirurgien. Le projet, d’une durée de cinq ans, apportera ainsi de nouvelles briques méthodologiques pour une intégration plus fiable et efficace de la robotique et de l’IA au service de la chirurgie.
Contact scientifique : Nicolas Thome, professeur des Universités
Publié le 02/10/2024.