Home » Nous rejoindre » Opportunités

Opportunités

Offres de stage

Sujet : Évaluation expérimentale de la négociation d’intentions entre humains et robots dans le cadre de tâches de comanipulation

 

Résumé : Les humains possèdent la capacité de communiquer naturellement et efficacement des informations par l’haptique, comme l’a récemment prouvé la littérature. Cette communication haptique passe souvent inaperçue, même si elle est utilisée quotidiennement dans de multiples activités. Un exemple simple pour visualiser cette communication serait la situation suivante : imaginez que vous ayez besoin de guider une personne aveugle et sourde à travers une pièce, vous seriez capable de le faire en prenant sa main et en corrigeant ses mouvements grâce à ce retour haptique. L’information communiquée par le toucher est donc suffisante pour de nombreuses tâches que les humains doivent réaliser.

Objectif du stage : L’objectif du stage sera d’étudier comment développer ces unités kinesthésiques . Et plus précisément la manière dont elles influencent la négociation. L’accent sera mis sur les scénarii asymétriques représentatifs de la situation de guidage des aveugles.

Le stagiaire devra tout d’abord se familiariser avec la littérature du sujet et avec le dispositif expérimental utilisé. Cela nécessitera des connaissances de base en programmation C et C++, ainsi que des notions de calcul en temps réel.

La deuxième étape consistera à concevoir le protocole expérimental qui sera utilisé pour l’évaluation de l’agent virtuel (qui mettra en œuvre l’unité kinesthésique), en fonction des différents paramètres qui doivent être testés. Ce protocole sera ensuite mis en œuvre dans le dispositif actuel, afin de poursuivre les expériences sur des sujets humains. Une fois les expériences réalisées, l’étape finale sera l’analyse des données obtenues, afin de confirmer ou de rejeter l’hypothèse initiale. En fonction du temps disponible, la rédaction ou la participation à la rédaction d’un article scientifique pour publication sera envisagée.

Le travail effectué pendant le stage sera une excellente occasion de découvrir et d’expérimenter le travail des chercheurs expérimentaux dans le domaine de la robotique.

Compétences requises :

– Bases de la programmation en C et C++

– Analyse de données expérimentales (Python ou Matlab)

  • Encadrant : Ludovic Saint-Bauzel
  • Durée du stage : 5/6 mois à partir de Février 2021
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Ludovic Saint-Bauzel ; saintbauzel@isir.upmc.fr ; Envoyer votre candidature par mail, avec [Évaluation expérimentale de la négociation d’intentions entre humains et robots dans le cadre de tâches de comanipulation] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Sujet de stage : La réalité augmentée pour un cockpit chirurgical

Résumé : La chirurgie mini-invasive est connue pour ses avantages pour le patient. Ces avantages résultent principalement des petites incisions qu’elle nécessite par rapport à la chirurgie ouverte. Ces incisions permettent l’insertion d’un endoscope et d’instruments dans le corps du patient par le biais de trocarts. Malgré ses avantages, la chirurgie mini-invasive présente plusieurs défis pour le chirurgien. La tendance est à la hausse avec la généralisation de l’accès mini-invasif à presque toutes les spécialités (cathétérisme pour le vasculaire, endoscopie flexible pour la gastro-entérologie, fibroscopie en urologie etc…).

Objectif du stage : Avec ce projet, nous nous proposons d’étudier la contribution de la réalité augmentée dans la salle d’opération. Sa spécificité est de tirer parti de la complémentarité possible entre des bras robotiques comanipulateurs tenus par le chirurgien et un dispositif de réalité augmentée porté par ce dernier (Hololens/Varjo XR1).

L’objectif principal de ce stage sera d’intégrer les informations des outils présents dans le projet de cockpit chirurgical (bras manipulateurs, caméras endoscopiques, interfaces tactiles…) à un environnement Unity 3D. L’environnement devra être manipulable via les différents outils d’interaction fournis par l’écran et les dispositifs montés sur la tête du cockpit. Il sera ainsi possible de manipuler la position de plusieurs « écrans » par le regard, la voix ou les mouvements de la pointe des instruments laparoscopiques tenus par les bras du comanipulateur.

Les objectifs sont les suivants :

  • Création d’une scène 3d dans Unity permettant l’affichage et la manipulation d’objets 3d,
  • Vidéo externe (endoscope) diffusée en continu dans la scène 3d (WebRTC),
  • Récupération de la pose des bras du manipulateur (orientation/position) et affichage en 3D,
  • Utilisation des informations des robots pour permettre la manipulation d’objets en 3D,
  • Création d’un widget pour afficher l’état des différents capteurs qui pourraient être ajoutés,
  • L’utilisabilité de la plate-forme développée sera étudiée dans le cadre d’un protocole expérimental. Les deux technologies utilisées (Hololens/varjo) seront également comparées.

Les développements seront tous réalisés dans le cadre de Unity XR SDK.

Profil recherché : Étudiant en master d’informatique ou d’ingénierie, étudiant ingénieur, souhaitant explorer un sujet impliquant l’étude de l’utilisation des technologies de manipulation de l’information en réalité augmentée. Le stage requiert de solides compétences en programmation (notamment en C# et/ou en langage de programmation visuel Unity) et des compétences en traitement de l’information afin d’extraire l’intention de l’utilisateur à partir de capteurs vocaux, gestuels et oculaires.

  • Encadrant : Fabien Vérité
  • Durée du stage : 6 mois à partir du 01 Mars 2021
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Fabien Vérité, verite@isir.upmc.fr ; Envoyer votre candidature par mail, avec [La réalité augmentée pour un cockpit chirurgical] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Sujet : L’apprentissage machine pour la conduite de comportements sociaux

Résumé : Une partie du succès des interactions homme-agent repose sur la capacité des agents sociaux à adopter des comportements facilement compréhensibles par les humains. Cela signifie que l’humain est capable de déduire la signification et/ou l’intention de ces comportements qui peuvent prendre plusieurs formes : pointer, regarder, bouger la tête, etc. Afin d’améliorer la compréhension des intentions des agents par les humains, la notion de lisibilité est souvent considérée en robotique. La lisibilité est définie comme la capacité à anticiper le but d’une action. Cette notion a été différenciée de la prévisibilité, qui est définie comme la capacité à prévoir la trajectoire pour un but donné. Pour aborder la modélisation de ces notions, les approches mathématiques montrent la nécessité d’intégrer explicitement les observateurs humains. Les modèles capables de générer de telles actions / comportements prennent en compte la façon dont un observateur humain les percevra [Wallkotter et al. 2020].

Objectif du stage : Notre objectif est de développer des algorithmes d’apprentissage machine capables de générer des comportements, principalement des mouvements qui prennent explicitement en compte les observateurs humains. Des travaux récents sur la génération de mouvements pour des agents artificiels ont montré la pertinence de modèles générateurs tels que les Variational Auto-Encoder (VAE). L’intuition principale est que la représentation et la régularisation latentes permettent de contrôler la génération de données. Dans (Marmpena et al., 2019), une approche basée sur les VAE a été proposée pour générer diverses animations du langage corporel. Il est intéressant de noter que la modulation du mouvement est rendue possible grâce à des espaces affectifs connexes.

Ici, nous proposons d’aborder un problème similaire de génération de comportement tout en nous concentrant sur les démonstrations communicatives, qui sont naturellement utilisées par les humains lors de l’enseignement (Ho et al. 2018). Les démonstrations communicatives sont des modifications intelligentes des actions et/ou des comportements du démonstrateur dans le but d’influencer la représentation mentale qu’un observateur attribue à la démonstration.

Nous ciblons les situations dans lesquelles un agent fait la démonstration d’une série d’actions telles qu’écrire ou atteindre des objets. L’idée sera de contrôler la génération dans un espace communicatif, des intentions instrumentales aux intentions pédagogiques. Nous allons tout d’abord développer un modèle VAE capable d’apprendre une représentation des actions communicatives et d’analyser l’espace latent. Nous développerons ensuite des techniques de régularisation spécifiques pour contrôler l’intention communicative.

Les principales étapes sont les suivantes :

– Développement d’un premier modèle génératif,

– Analyse de l’espace latent,

– Développement d’une technique de régularisation capable de contrôler l’intention communicative,

Si possible, évaluation avec de vrais humains.

Compétences requises : Python, apprentissage machine

  • Encadrant : Mohamed CHETOUANI
  • Durée du stage : 5/6 mois
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Mohamed CHETOUANI ; Mohamed.Chetouani@sorbonne-universite.fr  ; Envoyer votre candidature par mail, avec [L’apprentissage machine pour la conduite de comportements sociaux] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Offres de thèse

Sujet de thèse : Apprentissage de la saisie d’objets

Ce projet de thèse s’insère dans le projet fédérateur de l’ISIR sur la robotique agricole. Il porte sur la saisie en robotique, en particulier dans un contexte agricole (saisie de fruits ou de légumes). Ce sujet sera abordé par une approche pluri-disciplinaire entre informatique (encadrement S. Doncieux et A. Coninx), mécanique et automatique (encadrement F. Ben Amar).

Contexte : Ce projet de thèse porte sur la saisie d’objets par un préhenseur robotique. Le but est, à terme, de concevoir un système de cueillette automatique de fruits et de légumes. Il s’agit donc de saisir des objets fragiles, de formes et couleurs variées, objets qui peuvent de plus être au moins partiellement occultés par le feuillage de la végétation. Ce projet de thèse portera sur une approche basée apprentissage dans laquelle une expertise significative côté modélisation mécanique sera utilisée à différents niveaux de la démarche méthodologique, de la conception du système apprenant à l’analyse de sa performance.

La saisie d’objets est une tâche emblématique en robotique car c’est un prérequis pour de nombreuses autres tâches plus avancées tels que leur manipulation. Du point de vue de l’apprentissage, elle représente un défi particulièrement difficile car elle correspond à un cas de récompense rare : très peu d’interactions sont susceptibles de mener à une saisie correcte. De nombreux mouvements ne toucheront même pas l’objet concerné. Le robot peut donc passer beaucoup de temps à explorer des comportements qui ne sont pas pertinents. Ce problème est fréquemment abordé en fournissant des démonstrations au robot ou des primitives de mouvements qui, sans être parfaites, réussissent à générer des saisies correctes avec une probabilité suffisantes pour que de tels mouvements soient observés pendant la phase d’exploration [1]. Ce projet vise à résoudre ce problème au travers de méthodes d’exploration appropriées et qui viendront compléter les méthodes d’apprentissage profond existantes.

Objectif scientifique : Ce projet de thèse vise à définir une approche autonome de l’apprentissage en robotique dans le cas de récompenses et d’interactions rares. Les développements réalisés seront testés sur le problème de la saisie d’objets en visant en particulier des applications dans le domaine agricole. Ils s’appuieront sur les travaux des encadrants sur des méthodes d’exploration de type recherche de nouveauté et algorithmes de qualité-diversité [2, 3, 4] ainsi que sur des résultats préliminaires sur l’apprentissage de comportement de saisie d’objets avec ces méthodes. Se plaçant dans le cadre défini dans projet Européen DREAM, l’approche développée sera itérative [5, 6]. Elle visera tout d’abord à générer des comportements de saisie par une approche mixte entre exploration en simulation et test en réalité. Cette étape s’appuiera sur un apprentissage de politiques en boucle ouverte. Chaque saisie d’un objet à une position particulière nécessitera donc un apprentissage dédié. La répétition de tels apprentissages permettra de générer une base d’exemples suffisante pour entrainer un système d’apprentissage profond qui associera un comportement adapté à la perception visuelle du robot. L’objectif principal de la thèse sera de générer ces bases d’exemples grâce à des méthodes d’exploration adaptées.

Justification de l’approche : L’apprentissage par renforcement recherche une politique, autrement dit une fonction associant un état à une action maximisant une récompense. Cela permet de trouver le comportement approprié pour atteindre un objectif qui n’est décrit que par la survenue de récompenses que le système cherche à maximiser. Les succès retentissants de l’apprentissage par renforcement profond [8,9] ont cependant peu d’équivalents en robotique. Ce domaine cumule en effet les difficultés pour l’apprentissage [10], avec des espaces d’états et d’actions de très grandes dimensions, les transitions entre continu et discret, des perceptions et actions bruitées, des récompenses rares, … Plusieurs approches sont possibles pour faire face à ces défis [11]: (1) des approches « pas à pas », dans lesquelles un modèle est utilisé pour tester plusieurs actions possibles qu’un critère permettra de discriminer pour choisir la meilleure et (2) des approches basées épisodes dans lesquelles la politique est décrite par une fonction paramétrée qui est évaluée au cours d’un épisode complet, c’est-à-dire d’une séquence de perceptions-actions susceptible de mener à une récompense. Les méthodes « pas à pas » sont plus efficaces et généralisent mieux, mais ont du mal à gérer le cas de récompenses rares. Les approches basées épisodes peuvent faire face à ce problème, mais au prix de plus d’exploration et d’une faible capacité de généralisation. Ce projet de thèse vise à combiner le meilleur de ces deux types d’approches en gérant les récompenses rares avec une approche basée épisodes pour générer une base d’entrainement permettant de démarrer l’apprentissage d’un système « pas à pas ».

Profil recherché : Étudiant en informatique avec un profil « apprentissage machine ».

Compétences requises : La programmation en python doit être maitrisée. Des compétences enrobotique sont souhaitables.

  • Date limite des candidatures : 23 avril 2021
  • Directeur de thèse : Stéphane Doncieux
  • Codirection éventuelle : Faiz Ben Amar, Alexandre Coninx
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Stéphane Doncieux ; doncieux@isir.upmc.fr ; Envoyer votre candidature par mail, avec [Thèse : Apprentissage de la saisie d’objets] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Lien vers l’Ecole Doctoral EDITE

Sujet de thèse : Conception et commande d’un robot manipulateur souple pour la cueillette

Résumé : La thèse a pour but le développement d’un manipulateur souple type trompe pour la saisie d’objet fragile tel qu’un fruit. Cet objet robotique permettrait d’affronter trois problématiques de recherche, de conception, de modélisation-commande, et enfin d’apprentissage machine, qui dans un monde idéal, doivent être abordées d’une façon conjointe et intégrée, appelée en anglais « hardware-software co-design ». La conception s’appuiera a priori sur une structure déformable sans articulation et avec une transmission par câbles. On étudiera en particulier le routage des câbles, tels que les routages hélicoïdal et/ou interne et leurs influences notamment sur l’espace de travail du manipulateur et la répétabilité. La modélisation-commande cherchera à trouver un bon compromis entre fidélité du modèle et efficacité en temps calcul. Pour cela l’utilisation de modèle réduit de corps déformable (modèle de poutre de Cosserat ou réduction d’un modèle éléments-finis), alliée à la commande prédictive basée modèle MPC, est une solution pertinente capable de prendre en compte le sous-actionnement, la redondance cinématique et les contraintes physiques tels que les limitations des actionneurs. Enfin l’apprentissage à partir de données réelles et/ou simulées est une voie qu’on cherchera également à explorer car elle est plus robuste pour les systèmes qui sont difficiles à modéliser et qui présente un nombre important de variables, tel qu’un objet déformable redondant en interaction multiple avec l’environnement.

Contexte : Dans un contexte de lutte contre le réchauffement climatique et de convergence technologique inédit (géolocalisation, intelligence artificielle, énergie…), l’agriculture se réinvente pour produire mieux, dans le respect de l’environnement et de la santé humaine. La robotique agricole est l’un des leviers de cette transformation. Elle constitue une solution prometteuse pour répondre aux enjeux environnementaux et sanitaires, qui sont posés actuellement en France et ailleurs dans tous les pays développés. L’urgence climatique imposera une réduction de plus en plus forte de l’utilisation des intrants (produits phytosanitaires, eau, …) et des énergies fossiles utilisées pour le fonctionnement des machines et des équipements agricoles. Par ailleurs, la filière agricole souffre d’un manque d’attractivité et d’une image négative chez beaucoup de jeunes (ruralité, tâche répétitive, épuisement, pauvreté, isolement, …). La numérisation et la robotisation permettra la valorisation de ce métier par l’ajout d’une plus grande valeur ajoutée apportée par l’agriculteur, et le déchargera des tâches répétitives et fatigantes telles que le désherbage, le portage, la cueillette et l’entretien régulier des cultures. Les filières agricoles qui sont les plus ouvertes aujourd’hui à une robotisation de leur production, sont le maraîchage (sous serre ou pas), la viticulture et l’élevage. On commence depuis peu à voir apparaître des grandes machines robotisées utilisées dans les filières « grandes cultures » et notamment céréalières, qui anticipent les futures évolutions restrictives de la réglementation sur l’utilisation des produits phytosanitaires.

La principale difficulté scientifique posée par les applications de robotique agricole réside dans le fait que le robot évolue dans un milieu ouvert et non-structuré. Construire un modèle de l’environnement (géométrie, physique du sol, obstacle, luminosité, saisonnalité, croissance et variabilité des plantes, …) pourrait être un objectif quasi-impossible à atteindre. C’est pourquoi on se limitera dans ce projet à des cultures en rang disposées sur des sols plats, horizontaux ou en pente, tels que rencontrés en maraîchage ou en viticulture. Ces deux types de cultures plus ou moins structurés peuvent être alors modélisés.

Description générale du projet : Le manipulateur souple

L’application sur laquelle nous souhaitons nous focaliser est la cueillette de fruits/légumes par le biais d’un manipulateur souple, de la forme d’une trompe flexible et sans articulation. Celle- ci servira à la fois de positionneur et de préhenseur. La robotique souple constitue aujourd’hui un paradigme en rupture avec la robotique classique et industrielle, elle ouvre la porte à une robotique compliante et interactive avec l’humain, mais surtout elle permettrait de garantir dans notre application particulière, la sécurité des humains éventuellement présents dans l’espace de travail du robot, mais aussi l’intégrité de l’objet saisie, particulièrement fragile. Celle-ci est assurée par une prise répartie sur une surface de contact importante et grâce à un contrôle de l’interaction manipulateur/objet. On se concentrera dans un premier temps sur des objets axisymétriques tels que des courgettes ou des poivrons.

Le manipulateur recherché sera embarqué par la suite sur une base mobile tout terrain auto- guidée pour suivre des rangs de cultures. Les problématiques de guidage et de commande de robots mobiles tout terrain ont été abordées ces dernières années dans plusieurs travaux de thèse réalisés à l’ISIR [1]. L’ISIR a également un savoir-faire dans la conception mécatronique des robots compliants et adaptatifs, tel que les robots à roues et à pattes, le Hylos ou le Complios à actionneurs série-élastiques [2], ou encore les structures intelligentes à actionnement réparti pour l’endoscopie ou le cathétérisme [3][4]. Ces recherches ouvriront également des échanges intéressants avec les biologistes du Muséum National d’Histoire Naturelle qui étudient la manipulation d’objets chez les éléphants par leur trompe et qui comparent les stratégies de saisie entre les différentes espèces. La trompe d’éléphant est un effecteur extraordinaire capable de saisir de la nourriture, la manipuler, l’arracher, saisir un tronc d’arbre tout comme ramasser un petit objet de la taille d’une cacahuète.

La thèse comporte trois axes de développement scientifique :

1) Conception d’un manipulateur souple

2) Commande basée modèle du manipulateur souple

3) Commande par apprentissage de tâche de saisie

  • Date limite de transmission du dossier : 31 mai 2021
  • Directeur de thèse : Faïz Ben Amar
  • Codirection éventuelle : Jérôme Szewczyk
  • Collaborations dans le cadre de la thèse : Muséum National d’Histoire Naturelle
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Faïz Ben Amar ; amar@isir.upmc.fr ; Envoyer votre candidature par mail, avec [Thèse : Conception et commande d’un robot manipulateur souple pour la cueillette] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Lien vers l’Ecole Doctorale SMAER

Sujet de thèse : Développement d’une commande intelligente de membres surnuméraires robotiques

Contexte : Au sein de l’équipe AGATHE nous travaillons au développement d’approches de commande innovantes de dispositifs robotiques d’assistance au geste pour des personnes porteuses de handicap sensorimoteurs. Nous avons ainsi récemment développé une commande innovante intuitive pour le contrôle de prothèse de membre supérieur qui exploite les compensations posturales et permet d’asservir les mouvements de la prothèse à ceux, mesurés, du corps du porteur afin d’automatiquement corriger les défauts d’action de cette dernière (thèse de Mathilde Legrand, lauréate du prix « women for sciences » de la fondation L’Oréal en partenariat avec l’académie des sciences).

Dans le cadre du projet européen FET-NIMA (Non-invasive Interface for Movement Augmentation) nous nous intéressons à étendre ces résultats au cas particulier de l’augmentation de la dextérité et de l’assistance à opérateur dans un contexte industriel. Les travaux portent sur la commande d’un bras placé dans l’environnement de travail. Nous pensons qu’il est également possible de développer une commande pour un dispositif porté de troisième bras robotique (Supernumerary Robotic Limb ou SRL).

Description du sujet de thèse : L’objectif de cette thèse sera donc de généraliser nos approches de contrôle exploitants les mouvements du corps (redondance, compensations, etc.) à ce nouveau type de dispositif d’assistance et à des situations fonctionnelles multiples représentatives des tâches d’un opérateur industriel.

Le projet de thèse consistera donc dans un premier temps à conduire une série de campagnes expérimentales de mesure sur sujets sains (à l’aide d’une plateforme de Motion Capture) afin d’étudier et de caractériser le comportement compensatoire chez des sujets asymptomatiques revêtu ou non d’une structure de type bras robotique surnuméraire.

Ces données serviront ensuite à développer, possiblement à l’aide de techniques de « machine learning » ou d’optimisation, un bloc de commande capable de déterminer à chaque instant sur quel mouvement compensatoire de la personne les mouvements du membre surnuméraire robotique doivent s’asservir, et de quelle façon. Un simulateur logiciel devra en parallèle être développé afin d’évaluer les performances de ce bloc de commande dans un environnement simplifié et contrôlé et de le comparer aux données obtenus expérimentalement. Ce bloc de commande sera ensuite mis en œuvre sur une plateforme de membre surnuméraire robotique en cours de développement à l’ISIR. Des campagnes expérimentales sur sujets sains seront conduites afin d’affiner le fonctionnement de la commande et d’en évaluer les performances (en terme d’efficacité fonctionnelle mais aussi de confort pour les utilisateurs), notamment par rapport à d’autres approches proposées dans la littérature scientifique exploitant des mesures électrophysiologiques.

Ce travail impliquera donc de l’analyse de mouvement, de la modélisation, de la commande, de l’IA, de la mise en œuvre de prototypes et de la conduite de tests expérimentaux chez l’humain.

  • Date limite de transmission du dossier : 31 mai 2021
  • Directeur de thèse : Guillaume Morel
  • Co-encadrement : Nathanaël Jarrassé
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris
  • Contact : Guillaume Morel ; guillaume.morel@sorbonne-universite.fr ; Envoyer votre candidature par mail, avec [Thèse : Développement d’une commande intelligente de membres surnuméraires robotiques] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Lien vers l’Ecole Doctorale SMAER

Sujet : Dispositifs microfluidiques et robotiques pour l’analyse, la manipulation et l’injection in vitro d’échantillons biologiques

Projet de doctorat conjoint entre l’ISIR/Sorbonne Université & Uni. di Brescia

Contexte : Le projet porte sur la manipulation robotique, la caractérisation et l’analyse d’échantillons biologiques tels que des cellules uniques isolées ou des œufs de petits animaux comme le poisson zèbre. L’objectif est de développer un nouvel instrument pour la biologie expérimentale afin de faciliter la recherche de médicaments à l’aide de technologies microfludiques et robotiques.

L’étude de cas proposée est la micro-injection d’un réactif biologique dans des œufs et des cellules pour étudier le rôle de certains gènes et leur implication dans plusieurs maladies humaines. Habituellement, la micro-injection est effectuée manuellement sous un microscope et directement par l’opérateur. Les œufs sont transférés et injectés à travers un tube capillaire. La précision, la concentration et la détermination de l’opérateur sont essentielles et la procédure doit être exécutée rapidement. Par conséquent, le processus manuel échoue souvent et son efficacité est souvent très faible. Un élément essentiel pour l’automatisation est la mesure et le contrôle de la force d’interaction.

Objectif scientifique : Un premier objectif est l’intégration d’un capteur de force dans l’injecteur. Il sera basé sur le principe de la « compensation de position » : la force n’est pas estimée par une mesure passive de la déformation, mais activement, par la force nécessaire pour empêcher le déplacement. Le même dispositif pourra être utilisé pour la gamme des μN et des 100mN grâce à une adaptation et un contrôle purement électronique.

Le deuxième objectif concerne les techniques de manipulation individuelle et de transport de masse des échantillons. Un système robotique constitué des moyens microfluidiques de transport des échantillons et des effecteurs mécaniques associés est fourni. Des schémas de commande couvrant les phases de transfert, de téléopération ou de manipulation automatique seront développés, en utilisant la commande référencée par la vision, ainsi que les outils actifs mentionnés ci-dessus.

Le troisième objectif concerne l’interface homme/machine, où un opérateur peut contrôler intuitivement le système, agir sur des cellules en groupe ou isolées, programmer des actions répétitives, etc. par le biais d’un écran tactile, incluant également des informations en temps réel sur la manipulation, telles que la concentration chimique, les mesures et le comptage des échantillons, etc. Pour la phase d’injection, des méthodes de couplage et de comanipulation seront établies avec un retour de force vers l’opérateur, qui détectera le contact et la pénétration avec une interface haptique. Son geste sera utilisé par le système comme référence pour le traitement automatique d’autres échantillons.

Profil recherché : Profil Master / Ingénieur·e généraliste / Robotique / Commande / EEA ou Physique appliquée. Une expérience précédente en microrobotique ou en biologe sera très appréciée.

Compétences requises : Autonomie / bilingue Anglais / Communication

La candidate ou le candidat sera supervisé conjointement par les deux laboratoires et obtiendra un double doctorat des deux universités. Elle ou il devra passer environ la moitié de son temps à Brescia et l’autre moitié à Paris.

Télécharger l’offre de thèse

Sujet de thèse : Microrobots optiques pour la manipulation interactive des échantillons biologiques

Résumé : Cette thèse vise à développer un nouvel instrument scientifique pour des applications en biologie expérimentale, notamment pour la manipulation, la caractérisation et analyse des objets de type cellules isolées, des neurones, ou encore des organes intracellulaires. Utilisant le principe des pinces optiques, des rayons lasers sont commandés pour agir directement sur des échantillons, ou pour actionner des microrobots télécommandés. Ces microrobots pourront intégrer des capacités d’analyse et des capteurs bio-actives permettant ainsi un retour d’information rapide vers l’opérateur. Il s’agit d’une technologie nouvelle capable de soutenir et d’accélérer considérablement plusieurs études en biologies. Des collaborations sont démarrés avec des équipes de l’Institut Curie et Pasteur autour du cancer et des mécanismes intracellulaires.

Description générale du projet : Les pinces optiques sont une technique permettant de manipuler des objets microscopiques en utilisant un rayon laser focalisé. Ils permettent en effet d’agir sur des échantillons en solution par une action sans contact. L’ISIR a développé un système de piège laser robotisée capable de manipuler les échantillons sur 3 dimensions tout en mesurant les efforts d’interaction en temps-réel. Néanmoins, la difficulté de prise en main de ces dispositifs reste une étape importante à franchir, notamment lorsque cela concerne des objets en dehors du plan image.

Les performances actuelles du système montrent qu’il est possible de piéger et de déplacer simultanément plusieurs particules avec une résolution en effort proche de 10pN (Fig. A et B). Utilisant ces principes, des microrobots optiques ont été réalisés. Actionnés par les lasers, ces ‘optobots’ (Fig. C) d’une taille de quelques micromètres, seront utilisés pour effectuer des opérations sur des échantillons biologiques, comme la caractérisation mécanique, mesure des interactions, ou encore injection génétiques et analyses électriques. Cependant, atteindre de telles performances s’est fait au détriment de la simplicité d’utilisation. Ceci est dû notamment à la conception du chemin optique et aux lois de commandes complexes utilisées.

L’objectif de ce projet est tout d’abord de développer des applications en biologie expérimentale pour démontrer les avantages de ce système et l’imposer comme un nouvel instrument scientifique. Une collaboration est établie avec des équipes de l’Institut Pasteur et de l’Institut Curie pour exploiter ces possibilités dans la recherche autour des cancers et des études sur les mécanismes intracellulaires. Dans ce cadre, il est nécessaire d’optimiser interactivité pour que l’utilisateur soit en mesure de planifier des trajectoires complexes pour piéger et déplacer des objets, automatiser les opérations et relever des résultats. On s’intéressera aussi aux modalités d’interaction Humain/Machine: les interfaces haptiques dédiées, notamment parmi les réalisations précédentes du labo comme le ‘FishTank’ sont des candidats prometteurs pour développer une chaîne d’interaction transéchelle, multi-modale.

Thématique scientifique : La thématique scientifique principale est la microrobotique, avec un appui fort de la physique et l’optique. Les problématiques de positionnement d’objets et de commande en effort en 6D avec une résolution et une précision microscopiques (nanomètres et picoNewtons) sont au cœur du travail. D’un point de vue de l’interaction, les solutions existantes sont généralement difficiles à appréhender pour l’utilisateur et les approches IHM est un moyen original d’y parvenir. L’immersion de l’utilisateur est en effet un atout pour s’affranchir de lois de commandes et de systèmes de planification complexes. De même, l’utilisation de capteurs intégrés à haute performance est un atout concernant la précision finale atteinte par le système.

Résultats attendus, enjeux et perspectives : L’expérience de l’ISIR dans les systèmes de manipulation et en interaction humain-machine laisse envisager des perceptives et des retombées très prometteurs. Une telle réalisation n’a encore jamais été faite et nous sommes confiants qu’il s’agirait d’une contribution majeure pour l’usage des pinces optiques. À la fin du projet, des applications en biologie telle que la manipulation de des organes intracellulaires. Celles-ci seront rendues possibles avec la collaboration des équipes de recherches en biologie expérimentale.

Cette thèse s’inscrit dans une démarche de maturation industrielle pour aboutir à un instrument novateur dans le domaine des sciences de la vie, soutenue par la SATT et la région Ile-de-France. Les perspectives concernent une exploitation des savoirs générés pour accélérer les recherches en biologie. Unecréation de start-up est envisagée en parallèle pour valoriser les résultats.

  • Date limite de transmission du dossier : 31 mai 2021
  • Directeur de thèse : Sinan Haliyo
  • Codirection éventuelle : Stéphane Régnier
  • Collaborations dans le cadre de la thèse : Institut Pasteur, Institut Curie
  • Laboratoire d’accueil : Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris, Équipe Interactions Multi-Échelles
  • Contact : Sinan Haliyo ; sinan.haliyo@isir.upmc.fr ; Envoyer votre candidature par mail, avec [Thèse : Microrobots optiques pour la manipulation interactive des échantillons biologiques] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Lien vers l’Ecole Doctorale SMAER

Sujet : Vers un placement automatisé des vis pédiculaires en chirurgie rachidienne grâce à l’apport de la robotique et de la commande multimodale

Contexte

Les pathologies du rachis sont nombreuses et peuvent être classées en quatre grands groupes : dégénératives (ex. hernies discales, canal lombaire étroit), traumatiques (ex. luxation et fractures), les déformations rachidiennes (Scolioses et Cyphoses) et les lésions tumorales primitives ou secondaires. Ces pathologies peuvent entrainer un retentissement fonctionnel important (douleurs) voire un handicap lourd pouvant aller jusqu’à la paralysie des membres (paraplégie ou tétraplégie). Certaines pathologies sont du ressort d’un traitement conservateur (médicaments et rééducation) mais, pour les cas graves, une intervention chirurgicale peut être nécessaire. Le nombre d’interventions de chirurgie du rachis augmente de façon régulière, tant pour les cas liés à la traumatologie (Kumar, 2018) que pour les indications de chirurgie dégénérative en raison du vieillissement de la population (Ravindra, 2018). Cette augmentation de l’activité crée un besoin d’innovations qui passera par l’introduction de nouvelles technologies au bloc opératoire.

Parmi les enjeux principaux de la chirurgie du rachis figurent la sécurité et la précision. En effet, des vis pédiculaires mal positionnées, peuvent entrainer une lésion osseuse ou discale qui menacent alors la stabilité de la fixation chirurgicale. Plus rarement, la lésion peut être vasculaire ou nerveuse avec un risque de complication neurologiques, voire vitales.

Les avancées dans l’utilisation de l’imagerie pré-opératoire et per-opératoire couplée aux systèmes de navigation tridimensionnelle ont permis d’améliorer de manière notable le protocole chirurgical. En effet, certains gestes courants de la chirurgie du rachis comme la mise en place des vis pédiculaires nécessitent davantage d’innovations scientifiques et technologiques. Le placement des vis pédiculaires peut être rendu plus difficile, en particulier chez les patients présentant une déformation sévère de la colonne vertébrale (comme la scoliose), l’ostéoporose ou une tumeur. La littérature rapporte qu’environ 20% des vis pédiculaires sont mal positionnées (Mason, 2014), impliquant à moyen terme des symptômes neurologiques qui peuvent souvent amener à une seconde chirurgie avec tous les risques et le coût que cela implique (Verma, 2018). C’est dans ce contexte que les robots ont fait leur entrée en salle d’opération depuis plusieurs années.

Ce projet de recherche doctorale vise à améliorer sensiblement le placement des vis pédiculaires à l’aide de solutions robotiques, grâce à l’intégration d’instruments chirurgicaux dotés de capteurs, d’algorithmes de traitement des données multimodales en temps-réel et de schémas de commande robotique intégrant ces données.

Objectif scientifique

Notre objectif est de sortir du paradigme de la robotique chirurgicale semi-autonome dominant depuis 30 ans la robotisation de la chirurgie orthopédique et reposant sur le triptyque imagerie (dosante) – planification – recalage. Pour cela, il faut être capable, à partir d’une configuration géométrique et d’un plan initial, d’adapter en temps réel le comportement du robot : vitesses, forces, impédances, etc. Nous évaluerons la possibilité d’intégrer différents capteurs locaux : visuels, d’efforts, d’impédance électrique (technologie DSG de SpineGuard). Avec l’ensemble de ces signaux, notre objectif est d’apprendre à détecter des événements imposant des changements ou des adaptations de comportement (trajectoire inadaptée imposant de modifier la direction d’insertion).

Les objectifs scientifiques se situent donc :

  • dans le traitement de signaux multi-physiques et leur fusion, par des moyens de l’Intelligence Artificielle, pour détecter des ruptures de modèle. Par exemple, nous envisageons de fusionner le signal d’impédance électrique et une estimation de l’impédance mécanique pour déterminer la nature du tissu (os spongieux, corticale),
  • dans la programmation de comportements réactifs du robot adaptés à ces signaux et à l’interaction mécanique avec le chirurgien et avec les tissus. Par exemple, nous envisageons de programmer une impédance adaptative qui permettra un pré-positionnement manuel précis de la pointe de l’instrument tout en réglant finement l’orientation de l’axe de pénétration. Nous essaierons aussi de travailler sur la réalisation d’un perçage précis de pièces mobiles, comme le sont les vertèbres. Il s’agira, grâce à des modèles et des capteurs, d’estimer les déformations et mobilités en temps réel pour adapter le comportement (force / vitesse / impédance) et améliorer la précision.

Par ailleurs, nous concevrons simultanément le système robotique, composé d’un ou deux bras Kuka (à disposition à l’ISIR) et le processus chirurgical associé. C’est sur ce point crucial que l’interaction entre les deux équipes de recherche est cruciale. Il s’agit de concevoir un scénario qui minimise le temps d’installation et maximise le service médical rendu. La conception des interfaces de pilotage et de dialogue est un point critique que nous pourrons aborder en nous appuyant sur l’expertise en Interface Homme-Machine (IHM) de collègues de l’ISIR.

  • Directeur de thèse : Brahim Tamadazte
  • Co-direction éventuelle : Raphaël Vialle
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.
  • Contact : Brahim Tamadazte, Chargé de Recherche, tamadazte@isir.upmc.fr ; Envoyer votre candidature par mail, avec [Thèse : Vers un placement automatisé des vis pédiculaires en chirurgie rachidienne grâce à l’apport de la robotique et de la commande multimodale] en objet, un CV et une lettre de motivation.

Télécharger l’offre

Lien vers l’Ecole Doctorale ED-SMAER

Offres de post-doctorat

Subject: PostDoc position in Surgical Robotics at Sorbonne University

A PostDoc position is available to start at the beginning of 2021 at Sorbonne University, ISIR, Institut des Systèmes Intelligents et de Robotique http://www.isir.upmc.fr), in the field of surgical robotics. The successful applicant will become part of the AGATHE team (Assistance to Gesture with Application to THErapy) belonging to ISIR. This is a multi-disciplinary research team grouping researchers in design and control of robots, human-machine interaction, neurosciences and medical sciences. The successful applicant will join the European project FAROS (Functionally Accurate RObotic Surgery), an H2020-funded project that is bound to start on January 1st, 2021 and coordinated by KU Leuven (https://h2020faros.eu) and involving King’s College London, University of Zurich and Sorbonne Université.

About the project: A key motivation for introducing robots in operating rooms has been their ability to deliver superhuman performance. Surgical robots are able to execute highly precise gestures that rapidly and stably position instruments in many degrees of freedom (DOFs). However, for the vast majority of surgical procedures, robotic positioning precision alone is not sufficient to realize the “right gesture”. Surgical plans are generally only a much-idealised sketch of the intraoperative reality, which is also defined by patient motion, tissue deformation, bleeding, and the like. Therefore, when finally deciding where exactly to make “the cut” (or intervene on tissue in any other irreversible manner), surgeons “disconnect” from the preoperative plan. Surgical teams resort to their own senses and experience. On the spot, based on the interpretation of the limited intraoperative scene, tactical decisions will be made.

In this context, for orthopaedic applications (e.g. pedicle screw placement), a rich set of sensors that could then form a comprehensive representative of surgical scenes can be utilized to offer the sufficient sensory information for autonomous robotic control.

Locally at ISIR, the project benefits from a high added-value environment: an innovative technology experimental platform, including a KUKA IIWA robot with an open controller, instruments, and a plurality of interfaces, is already operational and will be available to support the experimental research. Access to preclinical facilities will favor in-vivo evaluation when duly justified and validated by an ethical committee. Collaboration with clinical teams, both locally and within the FAROS project, will help targeting real problems with the aim of effectively influencing surgical robotics as practiced in ORs.

Candidate Profile: We seek for applicants who hold a PhD in one of the following domains: robotics, applied control, signal processing.

Required skills: programming skills in C/C++, C# and Python. Fluency in English (both written and oral expression). Bonus skills: Experience in machine learning, deep learning; experience in conducting experiments involving both practical development of interactive devices and evaluation (protocol design, statistical results analysis).

  • Duration: 12 months renewable for a period of 24 months (36 months in total).
  • Desired starting date: as soon as possible.
  • Deadline for application: the process stops as soon as the appropriate candidate is found.
  • Location: Isir (Institut des Systèmes Intelligents et de Robotique), 4 Place Jussieu 75005, Paris. The AGATHE team, dedicated to Medical Robotics at ISIR groups approx. 8 permanent staff and 15 PhD students and postdocs.
  • Contact: Send an application in a single pdf file with short CV, list of publications and potential references to: Guillaume Morel, Prof. Sorbonne Université,  guillaume.morel@sorbonne-universite.fr ; Brahim Tamadazte, CNRS scientist, tamadazte@isir.upmc.fr

Offres d’emploi

Le cadre du projet :

Le projet vise à moyen terme à équiper une canne robotique développée dans le cadre du projet ANR i-Gait de la solution bus de terrain Ethercat.

Mission :

Comme préalable à cette implémentation, la personne recrutée aura pour mission de développer une suite logicielle permettant de faire communiquer un ordinateur standard muni d’un système d’exploitation Linux avec un réseau de modules Ethercat : modules d’entrées/sorties analogiques, numériques, carte d’axe.

Profil recherché :

Un·e jeune diplômé·e d’une école d’ingénieur·e ou d’un Master 2.

Compétences requises :

  • Des compétences en programmation C/C++
  • Une connaissance des systèmes robotiques

Une pratique antérieure de l’utilisation de la communication Ethercat est un plus qui sera apprécié.

  • Durée du contrat : 6 mois
  • Date d’embauche : Septembre 2021
  • Lieu de l’activité : Au sein du laboratoire ISIR (Institut des Systèmes Intelligents et de Robotique), sur le Campus Pierre et Marie Curie de Sorbonne Université, à Paris.
  • Contact : Envoyer un CV incluant le nom de deux personnes référentes à Wael BACHTA à l’adresse : wael.bachta@sorbonne-universite.fr

Télécharger l’offre

Le cadre du projet :

Dans le cadre du projet ANR i-Gait, deux parties ont été réalisées de manière indépendante :

  • Un retour tactile permettant de réduire activement le balancement postural d’une personne. Ce retour tactile a été réalisée avec une poignée en impression 3D incluant un actionneur vibrotactile et en utilisant des amplificateurs volumineux.
  • Une canne robotique pilotée par une carte Beaglebone et dont la poignée n’est pas munie du système de retour tactile.

La mission :
La mission confiée à la personne recrutée sera de :

  • Refaire une poignée de canne en impression 3D résistante aux efforts appliquées par l’utilisateur,
  • Inclure un actionneur vibrotactile du commerce à cette poignée,
  • Remplacer les amplificateurs volumineux par des amplificateurs de taille compatible avec la partie électronique de la canne,
  • Intégrer sur le contrôleur de la Beaglebone le code nécessaire à l’activation de l’actionneur vibrotactile.

Profil recherché :

Un·e jeune diplômé·e d’une école d’ingénieur·e ou titulaire d’un Master 2 de robotique.

Compétences requises :

  • Des compétences en programmation C/C++
  • Des compétences en conception mécanique et impression 3D
  • Un goût prononcé pour le travail expérimental.

 

  • Durée du contrat : 6 mois
  • Date d’embauche : dès que possible
  • Laboratoire d’accueil : Au sein du laboratoire ISIR (Institut des Systèmes Intelligents et de Robotique), sur le Campus Pierre et Marie Curie de Sorbonne Université, à Paris.
  • Contact : Envoyer un CV incluant le nom de deux personnes référentes à Wael BACHTA à l’adresse : wael.bachta@sorbonne-universite.fr

Télécharger l’offre

Contexte : La plateforme Greta permet de contrôler le comportement multimodal d’un agent conversationnel animé en temps réel. La plateforme est modulaire mais avec une structure linéaire ce qui ne permet pas de prendre en compte les phénomènes fréquents durant une interaction tels que les interruptions, les réactions socio-émotionnelles des interlocuteurs, ou la mise en place des phénomènes d’adaptation. Elle ne peut pas non plus mettre à profit la structure incrémentale des modules de traitement du signal acoustique et visuel et des modules de dialogue. Pour cela nous visons à transformer la structure modulaire de la plateforme Greta en architecture incrémentale en modifiant ses modules principaux (planification des intentions, des comportements et leur réalisation).

La plateforme Greta est développée dans le laboratoire ISIR, Sorbonne Université. Cette nouvelle plateforme est la base pour mener à bien le projet fédérateur de l’ISIR « avatar du futur » qui vise à modéliser la boucle interactive entre un humain et l’avatar par réseaux de neurones récurrents. Différents niveaux d’adaptation doivent être pris en compte pour obtenir cette boucle interactive. Il est nécessaire que l’agent virtuel ait la capacité de s’adapter à tous niveaux en temps réel. Cette nouvelle plateforme sera aussi utilisée dans nos divers projets de recherche, nationaux et européens. La plateforme Greta est sur GitHub avec la licence GPL.

Missions : Le·La candidat·e sera impliqué·e dans la restructuration de l’architecture et le code du système d’agent conversationnel animé. Cette restructuration porte sur le renouveau de deux modules spécifiques à la planification et réalisation des comportements multimodaux. Le module de planification des intentions reposera sur un modèle de dialogue incrémental. Une telle architecture repose aussi sur la structure incrémentale des modules de traitement des signaux acoustiques et visuels.

Il faut aussi développer un modèle de génération de comportement incrémental permettant à l’agent de mettre à jour ses comportements à la volée. Le planificateur de comportement de l’agent virtuel Greta sera alors capable de calculer progressivement les comportements multimodaux de l’agent. Cette tâche nécessite de modifier le module « behavior planner » pour qu’il ne calcule plus le comportement de l’agent au niveau de la phrase complète mais au niveau du ‘chunk’, morceau de phrase constitué généralement d’un mot entouré de mots de fonction. Cela nécessite une refonte de la planification des comportements et de leur synchronisation.

Au niveau du module de réalisation du comportement « behavior realizer », une attention particulière sera accordée à l’interaction entre la production verbale et non verbale qui impliquera une gestion séquentielle et simultanée des signaux de différentes modalités, ainsi que la coarticulation entre eux.

Compétences requises :

  • Connaissance et expérience en système : Windows
  • Connaissance et expérience en programmation : Génie logiciel, Multi-threading, interopérabilité logicielle
  • Langages de programmation maîtrisés : Java (niveau avancé), C#, C++, Python
  • Expérience avec un moteur de rendu 3D temps réel : OpenGL, OGRE, Unity3D, Unreal Engine
  • Expérience avec les outils de versionnage du code : Git, SVN
  • Expérience en modélisation : plateforme d’interaction humain-agent, modèle de dialogue, etc.

Informations générales :

  • Lieu de travail : PARIS
  • Type de contrat : CDD ingénieur informatique
  • Durée du contrat : 12 mois
  • Date d’embauche prévue : 1 mai 2021
  • Quotité de travail : Temps complet
  • Rémunération : entre 2100 € et 3000 € bruts mensuels selon expérience
  • Niveau d’études souhaité : Ingénieur
  • Expérience souhaitée : 1 à 4 années

Contact :

Les candidatures se font par le portail emploi CNRS : https://emploi.cnrs.fr/Gestion/Offre/Default.aspx?Ref=UMR7222-CATPEL-001

Vous pouvez contacter directement Catherine Pelachaud (catherine.pelachaud@upmc.fr), Catherine Achard (catherine.achard@sorbonne-universite.fr) et Philippe Gauthier (philippe.gauthier@sorbonne-universite.fr) pour tout renseignement supplémentaire.

Télécharger l’offre