Home » Nous rejoindre » Opportunités

Opportunités

Offres de stage

Sujet : La réalité augmentée pour un cockpit chirurgical

Résumé : La chirurgie mini-invasive est connue pour ses avantages pour le patient. Ces avantages résultent principalement des petites incisions qu’elle nécessite par rapport à la chirurgie ouverte. Ces incisions permettent l’insertion d’un endoscope et d’instruments dans le corps du patient par le biais de trocarts. Malgré ses avantages, la chirurgie mini-invasive présente plusieurs défis pour le chirurgien. La tendance est à la hausse avec la généralisation de l’accès mini-invasif à presque toutes les spécialités (cathétérisme pour le vasculaire, endoscopie flexible pour la gastro-entérologie, fibroscopie en urologie etc…).

Objectif du stage : Avec ce projet, nous nous proposons d’étudier la contribution de la réalité augmentée dans la salle d’opération. Sa spécificité est de tirer parti de la complémentarité possible entre des bras robotiques comanipulateurs tenus par le chirurgien et un dispositif de réalité augmentée porté par ce dernier (Hololens/Varjo XR1).

L’objectif principal de ce stage sera d’intégrer les informations des outils présents dans le projet de cockpit chirurgical (bras manipulateurs, caméras endoscopiques, interfaces tactiles…) à un environnement Unity 3D. L’environnement devra être manipulable via les différents outils d’interaction fournis par l’écran et les dispositifs montés sur la tête du cockpit. Il sera ainsi possible de manipuler la position de plusieurs « écrans » par le regard, la voix ou les mouvements de la pointe des instruments laparoscopiques tenus par les bras du comanipulateur.

Les objectifs sont les suivants :

– Création d’une scène 3d dans Unity permettant l’affichage et la manipulation d’objets 3d,

– Vidéo externe (endoscope) diffusée en continu dans la scène 3d (WebRTC),

– Récupération de la pose des bras du manipulateur (orientation/position) et affichage en 3D,

– Utilisation des informations des robots pour permettre la manipulation d’objets en 3D,

– Création d’un widget pour afficher l’état des différents capteurs qui pourraient être ajoutés,

– L’utilisabilité de la plate-forme développée sera étudiée dans le cadre d’un protocole expérimental. Les deux technologies utilisées (Hololens/varjo) seront également comparées.

Les développements seront tous réalisés dans le cadre de Unity XR SDK.

Profil recherché : Étudiant en master d’informatique ou d’ingénierie, étudiant ingénieur, souhaitant explorer un sujet impliquant l’étude de l’utilisation des technologies de manipulation de l’information en réalité augmentée. Le stage requiert de solides compétences en programmation (notamment en C# et/ou en langage de programmation visuel Unity) et des compétences en traitement de l’information afin d’extraire l’intention de l’utilisateur à partir de capteurs vocaux, gestuels et oculaires.

Encadrant : Fabien Vérité

Durée du stage : 6 mois à partir du 01 Mars 2021

Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris

Contact : Fabien Vérité, verite@isir.upmc.fr

Envoyer votre candidature par mail, avec [La réalité augmentée pour un cockpit chirurgical] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Sujet : L’apprentissage machine pour la conduite de comportements sociaux

Résumé : Une partie du succès des interactions homme-agent repose sur la capacité des agents sociaux à adopter des comportements facilement compréhensibles par les humains. Cela signifie que l’humain est capable de déduire la signification et/ou l’intention de ces comportements qui peuvent prendre plusieurs formes : pointer, regarder, bouger la tête, etc. Afin d’améliorer la compréhension des intentions des agents par les humains, la notion de lisibilité est souvent considérée en robotique. La lisibilité est définie comme la capacité à anticiper le but d’une action. Cette notion a été différenciée de la prévisibilité, qui est définie comme la capacité à prévoir la trajectoire pour un but donné. Pour aborder la modélisation de ces notions, les approches mathématiques montrent la nécessité d’intégrer explicitement les observateurs humains. Les modèles capables de générer de telles actions / comportements prennent en compte la façon dont un observateur humain les percevra [Wallkotter et al. 2020].

Objectif du stage : Notre objectif est de développer des algorithmes d’apprentissage machine capables de générer des comportements, principalement des mouvements qui prennent explicitement en compte les observateurs humains. Des travaux récents sur la génération de mouvements pour des agents artificiels ont montré la pertinence de modèles générateurs tels que les Variational Auto-Encoder (VAE). L’intuition principale est que la représentation et la régularisation latentes permettent de contrôler la génération de données. Dans (Marmpena et al., 2019), une approche basée sur les VAE a été proposée pour générer diverses animations du langage corporel. Il est intéressant de noter que la modulation du mouvement est rendue possible grâce à des espaces affectifs connexes.

Ici, nous proposons d’aborder un problème similaire de génération de comportement tout en nous concentrant sur les démonstrations communicatives, qui sont naturellement utilisées par les humains lors de l’enseignement (Ho et al. 2018). Les démonstrations communicatives sont des modifications intelligentes des actions et/ou des comportements du démonstrateur dans le but d’influencer la représentation mentale qu’un observateur attribue à la démonstration.

Nous ciblons les situations dans lesquelles un agent fait la démonstration d’une série d’actions telles qu’écrire ou atteindre des objets. L’idée sera de contrôler la génération dans un espace communicatif, des intentions instrumentales aux intentions pédagogiques. Nous allons tout d’abord développer un modèle VAE capable d’apprendre une représentation des actions communicatives et d’analyser l’espace latent. Nous développerons ensuite des techniques de régularisation spécifiques pour contrôler l’intention communicative.

Les principales étapes sont les suivantes :

– Développement d’un premier modèle génératif,

– Analyse de l’espace latent,

– Développement d’une technique de régularisation capable de contrôler l’intention communicative,

Si possible, évaluation avec de vrais humains.

Compétences requises : Python, apprentissage machine

Encadrant : Mohamed CHETOUANI

Durée du stage : 5/6 mois

Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris

Contact : Mohamed CHETOUANI ; Mohamed.Chetouani@sorbonne-universite.fr 

Envoyer votre candidature par mail, avec [L’apprentissage machine pour la conduite de comportements sociaux] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Sujet : Évaluation expérimentale de la négociation d’intentions entre humains et robots dans le cadre de tâches de comanipulation

 

Résumé : Les humains possèdent la capacité de communiquer naturellement et efficacement des informations par l’haptique, comme l’a récemment prouvé la littérature. Cette communication haptique passe souvent inaperçue, même si elle est utilisée quotidiennement dans de multiples activités. Un exemple simple pour visualiser cette communication serait la situation suivante : imaginez que vous ayez besoin de guider une personne aveugle et sourde à travers une pièce, vous seriez capable de le faire en prenant sa main et en corrigeant ses mouvements grâce à ce retour haptique. L’information communiquée par le toucher est donc suffisante pour de nombreuses tâches que les humains doivent réaliser.

Objectif du stage : L’objectif du stage sera d’étudier comment développer ces unités kinesthésiques . Et plus précisément la manière dont elles influencent la négociation. L’accent sera mis sur les scénarii asymétriques représentatifs de la situation de guidage des aveugles.

Le stagiaire devra tout d’abord se familiariser avec la littérature du sujet et avec le dispositif expérimental utilisé. Cela nécessitera des connaissances de base en programmation C et C++, ainsi que des notions de calcul en temps réel.

La deuxième étape consistera à concevoir le protocole expérimental qui sera utilisé pour l’évaluation de l’agent virtuel (qui mettra en œuvre l’unité kinesthésique), en fonction des différents paramètres qui doivent être testés. Ce protocole sera ensuite mis en œuvre dans le dispositif actuel, afin de poursuivre les expériences sur des sujets humains. Une fois les expériences réalisées, l’étape finale sera l’analyse des données obtenues, afin de confirmer ou de rejeter l’hypothèse initiale. En fonction du temps disponible, la rédaction ou la participation à la rédaction d’un article scientifique pour publication sera envisagée.

Le travail effectué pendant le stage sera une excellente occasion de découvrir et d’expérimenter le travail des chercheurs expérimentaux dans le domaine de la robotique.

Compétences requises :

  • Bases de la programmation en C et C++
  • Analyse de données expérimentales (Python ou Matlab)

Encadrant : Ludovic Saint-Bauzel

Durée du stage : 5/6 mois à partir de Février 2021

Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris

Contact : Ludovic Saint-Bauzel ; saintbauzel@isir.upmc.fr

Envoyer votre candidature par mail, avec [Évaluation expérimentale de la négociation d’intentions entre humains et robots dans le cadre de tâches de comanipulation] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Offres de post-doctorat

Subject: PostDoc position in Surgical Robotics at Sorbonne University

A PostDoc position is available to start at the beginning of 2021 at Sorbonne University, ISIR, Institut des Systèmes Intelligents et de Robotique http://www.isir.upmc.fr), in the field of surgical robotics. The successful applicant will become part of the AGATHE team (Assistance to Gesture with Application to THErapy) belonging to ISIR. This is a multi-disciplinary research team grouping researchers in design and control of robots, human-machine interaction, neurosciences and medical sciences. The successful applicant will join the European project FAROS (Functionally Accurate RObotic Surgery), an H2020-funded project that is bound to start on January 1st, 2021 and coordinated by KU Leuven (https://h2020faros.eu) and involving King’s College London, University of Zurich and Sorbonne Université.

About the project: A key motivation for introducing robots in operating rooms has been their ability to deliver superhuman performance. Surgical robots are able to execute highly precise gestures that rapidly and stably position instruments in many degrees of freedom (DOFs). However, for the vast majority of surgical procedures, robotic positioning precision alone is not sufficient to realize the “right gesture”. Surgical plans are generally only a much-idealised sketch of the intraoperative reality, which is also defined by patient motion, tissue deformation, bleeding, and the like. Therefore, when finally deciding where exactly to make “the cut” (or intervene on tissue in any other irreversible manner), surgeons “disconnect” from the preoperative plan. Surgical teams resort to their own senses and experience. On the spot, based on the interpretation of the limited intraoperative scene, tactical decisions will be made.

In this context, for orthopaedic applications (e.g. pedicle screw placement), a rich set of sensors that could then form a comprehensive representative of surgical scenes can be utilized to offer the sufficient sensory information for autonomous robotic control.

Locally at ISIR, the project benefits from a high added-value environment: an innovative technology experimental platform, including a KUKA IIWA robot with an open controller, instruments, and a plurality of interfaces, is already operational and will be available to support the experimental research. Access to preclinical facilities will favor in-vivo evaluation when duly justified and validated by an ethical committee. Collaboration with clinical teams, both locally and within the FAROS project, will help targeting real problems with the aim of effectively influencing surgical robotics as practiced in ORs.

Candidate Profile: We seek for applicants who hold a PhD in one of the following domains: robotics, applied control, signal processing.

Required skills: programming skills in C/C++, C# and Python. Fluency in English (both written and oral expression). Bonus skills: Experience in machine learning, deep learning; experience in conducting experiments involving both practical development of interactive devices and evaluation (protocol design, statistical results analysis).

Duration: 12 months renewable for a period of 24 months (36 months in total).

Desired starting date: as soon as possible.

Deadline for application: the process stops as soon as the appropriate candidate is found.

Location: Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris. The AGATHE team, dedicated to Medical Robotics at ISIR groups approx. 8 permanent staff and 15 PhD students and postdocs.

Contact: Send an application in a single pdf file with short CV, list of publications and potential references to: Guillaume Morel, Prof. Sorbonne Université,  guillaume.morel@sorbonne-universite.fr ; Brahim Tamadazte, CNRS scientist, tamadazte@isir.upmc.fr

Offres d’emploi

Contexte : La plateforme Greta permet de contrôler le comportement multimodal d’un agent conversationnel animé en temps réel. La plateforme est modulaire mais avec une structure linéaire ce qui ne permet pas de prendre en compte les phénomènes fréquents durant une interaction tels que les interruptions, les réactions socio-émotionnelles des interlocuteurs, ou la mise en place des phénomènes d’adaptation. Elle ne peut pas non plus mettre à profit la structure incrémentale des modules de traitement du signal acoustique et visuel et des modules de dialogue. Pour cela nous visons à transformer la structure modulaire de la plateforme Greta en architecture incrémentale en modifiant ses modules principaux (planification des intentions, des comportements et leur réalisation).

La plateforme Greta est développée dans le laboratoire ISIR, Sorbonne Université. Cette nouvelle plateforme est la base pour mener à bien le projet fédérateur de l’ISIR « avatar du futur » qui vise à modéliser la boucle interactive entre un humain et l’avatar par réseaux de neurones récurrents. Différents niveaux d’adaptation doivent être pris en compte pour obtenir cette boucle interactive. Il est nécessaire que l’agent virtuel ait la capacité de s’adapter à tous niveaux en temps réel. Cette nouvelle plateforme sera aussi utilisée dans nos divers projets de recherche, nationaux et européens. La plateforme Greta est sur GitHub avec la licence GPL.

Missions : Le·La candidat·e sera impliqué·e dans la restructuration de l’architecture et le code du système d’agent conversationnel animé. Cette restructuration porte sur le renouveau de deux modules spécifiques à la planification et réalisation des comportements multimodaux. Le module de planification des intentions reposera sur un modèle de dialogue incrémental. Une telle architecture repose aussi sur la structure incrémentale des modules de traitement des signaux acoustiques et visuels.

Il faut aussi développer un modèle de génération de comportement incrémental permettant à l’agent de mettre à jour ses comportements à la volée. Le planificateur de comportement de l’agent virtuel Greta sera alors capable de calculer progressivement les comportements multimodaux de l’agent. Cette tâche nécessite de modifier le module « behavior planner » pour qu’il ne calcule plus le comportement de l’agent au niveau de la phrase complète mais au niveau du ‘chunk’, morceau de phrase constitué généralement d’un mot entouré de mots de fonction. Cela nécessite une refonte de la planification des comportements et de leur synchronisation.

Au niveau du module de réalisation du comportement « behavior realizer », une attention particulière sera accordée à l’interaction entre la production verbale et non verbale qui impliquera une gestion séquentielle et simultanée des signaux de différentes modalités, ainsi que la coarticulation entre eux.

Compétences requises :

  • Connaissance et expérience en système : Windows
  • Connaissance et expérience en programmation : Génie logiciel, Multi-threading, interopérabilité logicielle
  • Langages de programmation maîtrisés : Java (niveau avancé), C#, C++, Python
  • Expérience avec un moteur de rendu 3D temps réel : OpenGL, OGRE, Unity3D, Unreal Engine
  • Expérience avec les outils de versionnage du code : Git, SVN
  • Expérience en modélisation : plateforme d’interaction humain-agent, modèle de dialogue, etc.

Informations générales :

  • Lieu de travail : PARIS
  • Type de contrat : CDD ingénieur informatique
  • Durée du contrat : 12 mois
  • Date d’embauche prévue : 1 mai 2021
  • Quotité de travail : Temps complet
  • Rémunération : entre 2100 € et 3000 € bruts mensuels selon expérience
  • Niveau d’études souhaité : Ingénieur
  • Expérience souhaitée : 1 à 4 années

Contact :

Les candidatures se font par le portail emploi CNRS : https://emploi.cnrs.fr/Gestion/Offre/Default.aspx?Ref=UMR7222-CATPEL-001

Vous pouvez contacter directement Catherine Pelachaud (catherine.pelachaud@upmc.fr), Catherine Achard (catherine.achard@sorbonne-universite.fr) et Philippe Gauthier (philippe.gauthier@sorbonne-universite.fr) pour tout renseignement supplémentaire.

Télécharger l’offre

Offres de doctorat