Home » Nous rejoindre » Opportunités

Opportunités

Offres de stage

Sujet de stage : La réalité augmentée pour un cockpit chirurgical

Résumé : La chirurgie mini-invasive est connue pour ses avantages pour le patient. Ces avantages résultent principalement des petites incisions qu’elle nécessite par rapport à la chirurgie ouverte. Ces incisions permettent l’insertion d’un endoscope et d’instruments dans le corps du patient par le biais de trocarts. Malgré ses avantages, la chirurgie mini-invasive présente plusieurs défis pour le chirurgien. La tendance est à la hausse avec la généralisation de l’accès mini-invasif à presque toutes les spécialités (cathétérisme pour le vasculaire, endoscopie flexible pour la gastro-entérologie, fibroscopie en urologie etc…).

Objectif du stage : Avec ce projet, nous nous proposons d’étudier la contribution de la réalité augmentée dans la salle d’opération. Sa spécificité est de tirer parti de la complémentarité possible entre des bras robotiques comanipulateurs tenus par le chirurgien et un dispositif de réalité augmentée porté par ce dernier (Hololens/Varjo XR1).

L’objectif principal de ce stage sera d’intégrer les informations des outils présents dans le projet de cockpit chirurgical (bras manipulateurs, caméras endoscopiques, interfaces tactiles…) à un environnement Unity 3D. L’environnement devra être manipulable via les différents outils d’interaction fournis par l’écran et les dispositifs montés sur la tête du cockpit. Il sera ainsi possible de manipuler la position de plusieurs « écrans » par le regard, la voix ou les mouvements de la pointe des instruments laparoscopiques tenus par les bras du comanipulateur.

Les objectifs sont les suivants :

  • Création d’une scène 3d dans Unity permettant l’affichage et la manipulation d’objets 3d,
  • Vidéo externe (endoscope) diffusée en continu dans la scène 3d (WebRTC),
  • Récupération de la pose des bras du manipulateur (orientation/position) et affichage en 3D,
  • Utilisation des informations des robots pour permettre la manipulation d’objets en 3D,
  • Création d’un widget pour afficher l’état des différents capteurs qui pourraient être ajoutés,
  • L’utilisabilité de la plate-forme développée sera étudiée dans le cadre d’un protocole expérimental. Les deux technologies utilisées (Hololens/varjo) seront également comparées.

Les développements seront tous réalisés dans le cadre de Unity XR SDK.

Profil recherché : Étudiant en master d’informatique ou d’ingénierie, étudiant ingénieur, souhaitant explorer un sujet impliquant l’étude de l’utilisation des technologies de manipulation de l’information en réalité augmentée. Le stage requiert de solides compétences en programmation (notamment en C# et/ou en langage de programmation visuel Unity) et des compétences en traitement de l’information afin d’extraire l’intention de l’utilisateur à partir de capteurs vocaux, gestuels et oculaires.

  • Encadrant : Fabien Vérité
  • Durée du stage : 6 mois à partir du 01 Mars 2021
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Fabien Vérité, verite@isir.upmc.fr ; Envoyer votre candidature par mail, avec [La réalité augmentée pour un cockpit chirurgical] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Sujet : L’apprentissage machine pour la conduite de comportements sociaux

Résumé : Une partie du succès des interactions homme-agent repose sur la capacité des agents sociaux à adopter des comportements facilement compréhensibles par les humains. Cela signifie que l’humain est capable de déduire la signification et/ou l’intention de ces comportements qui peuvent prendre plusieurs formes : pointer, regarder, bouger la tête, etc. Afin d’améliorer la compréhension des intentions des agents par les humains, la notion de lisibilité est souvent considérée en robotique. La lisibilité est définie comme la capacité à anticiper le but d’une action. Cette notion a été différenciée de la prévisibilité, qui est définie comme la capacité à prévoir la trajectoire pour un but donné. Pour aborder la modélisation de ces notions, les approches mathématiques montrent la nécessité d’intégrer explicitement les observateurs humains. Les modèles capables de générer de telles actions / comportements prennent en compte la façon dont un observateur humain les percevra [Wallkotter et al. 2020].

Objectif du stage : Notre objectif est de développer des algorithmes d’apprentissage machine capables de générer des comportements, principalement des mouvements qui prennent explicitement en compte les observateurs humains. Des travaux récents sur la génération de mouvements pour des agents artificiels ont montré la pertinence de modèles générateurs tels que les Variational Auto-Encoder (VAE). L’intuition principale est que la représentation et la régularisation latentes permettent de contrôler la génération de données. Dans (Marmpena et al., 2019), une approche basée sur les VAE a été proposée pour générer diverses animations du langage corporel. Il est intéressant de noter que la modulation du mouvement est rendue possible grâce à des espaces affectifs connexes.

Ici, nous proposons d’aborder un problème similaire de génération de comportement tout en nous concentrant sur les démonstrations communicatives, qui sont naturellement utilisées par les humains lors de l’enseignement (Ho et al. 2018). Les démonstrations communicatives sont des modifications intelligentes des actions et/ou des comportements du démonstrateur dans le but d’influencer la représentation mentale qu’un observateur attribue à la démonstration.

Nous ciblons les situations dans lesquelles un agent fait la démonstration d’une série d’actions telles qu’écrire ou atteindre des objets. L’idée sera de contrôler la génération dans un espace communicatif, des intentions instrumentales aux intentions pédagogiques. Nous allons tout d’abord développer un modèle VAE capable d’apprendre une représentation des actions communicatives et d’analyser l’espace latent. Nous développerons ensuite des techniques de régularisation spécifiques pour contrôler l’intention communicative.

Les principales étapes sont les suivantes :

– Développement d’un premier modèle génératif,

– Analyse de l’espace latent,

– Développement d’une technique de régularisation capable de contrôler l’intention communicative,

Si possible, évaluation avec de vrais humains.

Compétences requises : Python, apprentissage machine

  • Encadrant : Mohamed CHETOUANI
  • Durée du stage : 5/6 mois
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Mohamed CHETOUANI ; Mohamed.Chetouani@sorbonne-universite.fr  ; Envoyer votre candidature par mail, avec [L’apprentissage machine pour la conduite de comportements sociaux] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Offres de thèse

Sujet : Dispositifs microfluidiques et robotiques pour l’analyse, la manipulation et l’injection in vitro d’échantillons biologiques

Projet de doctorat conjoint entre l’ISIR/Sorbonne Université & Uni. di Brescia

Contexte : Le projet porte sur la manipulation robotique, la caractérisation et l’analyse d’échantillons biologiques tels que des cellules uniques isolées ou des œufs de petits animaux comme le poisson zèbre. L’objectif est de développer un nouvel instrument pour la biologie expérimentale afin de faciliter la recherche de médicaments à l’aide de technologies microfludiques et robotiques.

L’étude de cas proposée est la micro-injection d’un réactif biologique dans des œufs et des cellules pour étudier le rôle de certains gènes et leur implication dans plusieurs maladies humaines. Habituellement, la micro-injection est effectuée manuellement sous un microscope et directement par l’opérateur. Les œufs sont transférés et injectés à travers un tube capillaire. La précision, la concentration et la détermination de l’opérateur sont essentielles et la procédure doit être exécutée rapidement. Par conséquent, le processus manuel échoue souvent et son efficacité est souvent très faible. Un élément essentiel pour l’automatisation est la mesure et le contrôle de la force d’interaction.

Objectif scientifique : Un premier objectif est l’intégration d’un capteur de force dans l’injecteur. Il sera basé sur le principe de la « compensation de position » : la force n’est pas estimée par une mesure passive de la déformation, mais activement, par la force nécessaire pour empêcher le déplacement. Le même dispositif pourra être utilisé pour la gamme des μN et des 100mN grâce à une adaptation et un contrôle purement électronique.

Le deuxième objectif concerne les techniques de manipulation individuelle et de transport de masse des échantillons. Un système robotique constitué des moyens microfluidiques de transport des échantillons et des effecteurs mécaniques associés est fourni. Des schémas de commande couvrant les phases de transfert, de téléopération ou de manipulation automatique seront développés, en utilisant la commande référencée par la vision, ainsi que les outils actifs mentionnés ci-dessus.

Le troisième objectif concerne l’interface homme/machine, où un opérateur peut contrôler intuitivement le système, agir sur des cellules en groupe ou isolées, programmer des actions répétitives, etc. par le biais d’un écran tactile, incluant également des informations en temps réel sur la manipulation, telles que la concentration chimique, les mesures et le comptage des échantillons, etc. Pour la phase d’injection, des méthodes de couplage et de comanipulation seront établies avec un retour de force vers l’opérateur, qui détectera le contact et la pénétration avec une interface haptique. Son geste sera utilisé par le système comme référence pour le traitement automatique d’autres échantillons.

Profil recherché : Profil Master / Ingénieur·e généraliste / Robotique / Commande / EEA ou Physique appliquée. Une expérience précédente en microrobotique ou en biologe sera très appréciée.

Compétences requises : Autonomie / bilingue Anglais / Communication

La candidate ou le candidat sera supervisé conjointement par les deux laboratoires et obtiendra un double doctorat des deux universités. Elle ou il devra passer environ la moitié de son temps à Brescia et l’autre moitié à Paris.

Télécharger l’offre de thèse

Sujet de thèse : Microrobots optiques pour la manipulation interactive des échantillons biologiques

Résumé : Cette thèse vise à développer un nouvel instrument scientifique pour des applications en biologie expérimentale, notamment pour la manipulation, la caractérisation et analyse des objets de type cellules isolées, des neurones, ou encore des organes intracellulaires. Utilisant le principe des pinces optiques, des rayons lasers sont commandés pour agir directement sur des échantillons, ou pour actionner des microrobots télécommandés. Ces microrobots pourront intégrer des capacités d’analyse et des capteurs bio-actives permettant ainsi un retour d’information rapide vers l’opérateur. Il s’agit d’une technologie nouvelle capable de soutenir et d’accélérer considérablement plusieurs études en biologies. Des collaborations sont démarrés avec des équipes de l’Institut Curie et Pasteur autour du cancer et des mécanismes intracellulaires.

Description générale du projet : Les pinces optiques sont une technique permettant de manipuler des objets microscopiques en utilisant un rayon laser focalisé. Ils permettent en effet d’agir sur des échantillons en solution par une action sans contact. L’ISIR a développé un système de piège laser robotisée capable de manipuler les échantillons sur 3 dimensions tout en mesurant les efforts d’interaction en temps-réel. Néanmoins, la difficulté de prise en main de ces dispositifs reste une étape importante à franchir, notamment lorsque cela concerne des objets en dehors du plan image.

Les performances actuelles du système montrent qu’il est possible de piéger et de déplacer simultanément plusieurs particules avec une résolution en effort proche de 10pN (Fig. A et B). Utilisant ces principes, des microrobots optiques ont été réalisés. Actionnés par les lasers, ces ‘optobots’ (Fig. C) d’une taille de quelques micromètres, seront utilisés pour effectuer des opérations sur des échantillons biologiques, comme la caractérisation mécanique, mesure des interactions, ou encore injection génétiques et analyses électriques. Cependant, atteindre de telles performances s’est fait au détriment de la simplicité d’utilisation. Ceci est dû notamment à la conception du chemin optique et aux lois de commandes complexes utilisées.

L’objectif de ce projet est tout d’abord de développer des applications en biologie expérimentale pour démontrer les avantages de ce système et l’imposer comme un nouvel instrument scientifique. Une collaboration est établie avec des équipes de l’Institut Pasteur et de l’Institut Curie pour exploiter ces possibilités dans la recherche autour des cancers et des études sur les mécanismes intracellulaires. Dans ce cadre, il est nécessaire d’optimiser interactivité pour que l’utilisateur soit en mesure de planifier des trajectoires complexes pour piéger et déplacer des objets, automatiser les opérations et relever des résultats. On s’intéressera aussi aux modalités d’interaction Humain/Machine: les interfaces haptiques dédiées, notamment parmi les réalisations précédentes du labo comme le ‘FishTank’ sont des candidats prometteurs pour développer une chaîne d’interaction transéchelle, multi-modale.

Thématique scientifique : La thématique scientifique principale est la microrobotique, avec un appui fort de la physique et l’optique. Les problématiques de positionnement d’objets et de commande en effort en 6D avec une résolution et une précision microscopiques (nanomètres et picoNewtons) sont au cœur du travail. D’un point de vue de l’interaction, les solutions existantes sont généralement difficiles à appréhender pour l’utilisateur et les approches IHM est un moyen original d’y parvenir. L’immersion de l’utilisateur est en effet un atout pour s’affranchir de lois de commandes et de systèmes de planification complexes. De même, l’utilisation de capteurs intégrés à haute performance est un atout concernant la précision finale atteinte par le système.

Résultats attendus, enjeux et perspectives : L’expérience de l’ISIR dans les systèmes de manipulation et en interaction humain-machine laisse envisager des perceptives et des retombées très prometteurs. Une telle réalisation n’a encore jamais été faite et nous sommes confiants qu’il s’agirait d’une contribution majeure pour l’usage des pinces optiques. À la fin du projet, des applications en biologie telle que la manipulation de des organes intracellulaires. Celles-ci seront rendues possibles avec la collaboration des équipes de recherches en biologie expérimentale.

Cette thèse s’inscrit dans une démarche de maturation industrielle pour aboutir à un instrument novateur dans le domaine des sciences de la vie, soutenue par la SATT et la région Ile-de-France. Les perspectives concernent une exploitation des savoirs générés pour accélérer les recherches en biologie. Unecréation de start-up est envisagée en parallèle pour valoriser les résultats.

  • Date limite de transmission du dossier : 31 mai 2021
  • Directeur de thèse : Sinan Haliyo
  • Codirection éventuelle : Stéphane Régnier
  • Collaborations dans le cadre de la thèse : Institut Pasteur, Institut Curie
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris, Équipe Interactions Multi-Échelles
  • Contact : Sinan Haliyo ; sinan.haliyo@isir.upmc.fr ; Envoyer votre candidature par mail, avec [Thèse : Microrobots optiques pour la manipulation interactive des échantillons biologiques] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Lien vers l’Ecole Doctorale SMAER

Offres de post-doctorat

Offres d’emploi

Le cadre du projet :

Le projet vise à moyen terme à équiper une canne robotique développée dans le cadre du projet ANR i-Gait de la solution bus de terrain Ethercat.

Mission :

Comme préalable à cette implémentation, la personne recrutée aura pour mission de développer une suite logicielle permettant de faire communiquer un ordinateur standard muni d’un système d’exploitation Linux avec un réseau de modules Ethercat : modules d’entrées/sorties analogiques, numériques, carte d’axe.

Profil recherché :

Un·e jeune diplômé·e d’une école d’ingénieur·e ou d’un Master 2.

Compétences requises :

  • Des compétences en programmation C/C++
  • Une connaissance des systèmes robotiques

Une pratique antérieure de l’utilisation de la communication Ethercat est un plus qui sera apprécié.

  • Durée du contrat : 6 mois
  • Date d’embauche : Septembre 2021
  • Lieu de l’activité : Au sein du laboratoire ISIR (Institut des Systèmes Intelligents et de Robotique), sur le Campus Pierre et Marie Curie de Sorbonne Université, à Paris.
  • Contact : Envoyer un CV incluant le nom de deux personnes référentes à Wael BACHTA à l’adresse : wael.bachta@sorbonne-universite.fr

Télécharger l’offre

Le cadre du projet :

Dans le cadre du projet ANR i-Gait, deux parties ont été réalisées de manière indépendante :

  • Un retour tactile permettant de réduire activement le balancement postural d’une personne. Ce retour tactile a été réalisée avec une poignée en impression 3D incluant un actionneur vibrotactile et en utilisant des amplificateurs volumineux.
  • Une canne robotique pilotée par une carte Beaglebone et dont la poignée n’est pas munie du système de retour tactile.

La mission :
La mission confiée à la personne recrutée sera de :

  • Refaire une poignée de canne en impression 3D résistante aux efforts appliquées par l’utilisateur,
  • Inclure un actionneur vibrotactile du commerce à cette poignée,
  • Remplacer les amplificateurs volumineux par des amplificateurs de taille compatible avec la partie électronique de la canne,
  • Intégrer sur le contrôleur de la Beaglebone le code nécessaire à l’activation de l’actionneur vibrotactile.

Profil recherché :

Un·e jeune diplômé·e d’une école d’ingénieur·e ou titulaire d’un Master 2 de robotique.

Compétences requises :

  • Des compétences en programmation C/C++
  • Des compétences en conception mécanique et impression 3D
  • Un goût prononcé pour le travail expérimental.

 

  • Durée du contrat : 6 mois
  • Date d’embauche : dès que possible
  • Laboratoire d’accueil : Au sein du laboratoire ISIR (Institut des Systèmes Intelligents et de Robotique), sur le Campus Pierre et Marie Curie de Sorbonne Université, à Paris.
  • Contact : Envoyer un CV incluant le nom de deux personnes référentes à Wael BACHTA à l’adresse : wael.bachta@sorbonne-universite.fr

Télécharger l’offre