Offres d’emploi
Post-doctorat « Robotique souple et jumeau numérique pour la chirurgie cardiaque »
Contexte :
Le travail de post-doc s’inscrit dans le cadre d’un projet RHU-ICELAND qui regroupe plusieurs partenaires académiques, hospitaliers et un industriel. L’objectif du projet est de développer une nouvelle solution d’annuloplastie de la valve mitrale par voie transfémorale intégrant une échographie intra-cardiaque. Une telle solution permettra d’intervenir à cœur battant, sans circulation extracorporelle, fournissant ainsi, en première phase, une solution de réparation de la valve mitrale pour les patients considérés à haut risque qui ne sont pas éligibles à la chirurgie ouverte, et plus loin pour la plupart des patients nécessitant une réparation de la valve mitrale.
L’annuloplastie directe consiste à fixer un anneau ou une bande directement sur l’anneau mitral à l’aide d’ancres sous guidage direct écho-cardiographique et fluoroscopique. L’avantage de cette technique est qu’elle contraint la forme de l’anneau mitral, reproduisant ainsi au plus près l’annuloplastie mitrale chirurgicale. Le projet RHU-ICELAND porte sur deux phases essentielles : le développement d’un modèle numérique de l’anatomie et du système robotique permettant la dépose des agrafes sur la valve mitrale, et ensuite la conception et l’évaluation du système robotique validé au préalable en numérique.
Objectifs scientifiques :
Dans un premier temps, le ou la post-doc recruté(e) se penchera sur la modélisation numérique de la partie anatomique (veines, cœur, valve mitrale…). Un premier travail a été réalisé sur la conception du modèle numérique du cœur et de la valve mitrale avec des cycles d’ouverture et de fermeture. L’objectif est de venir enrichir ce modèle pour le rendre le plus réaliste possible. Le modèle sera utilisé à la fois pour la formation des cliniciens, le planning préopératoire de l’intervention mais aussi à valider les modèles géométriques, cinématiques et dynamiques du système robotique (cathéter actif) lors de sa navigation entre le point d’entrée (veine fémorale) jusqu’à son arrivée sur site (face à la valve mitrale). L’autre objectif à moyen et long terme est d’avoir un modèle numérique réaliste et surtout patient spécifique, c’est à dire construire le modèle numérique basé sur les images pre-opératoire du patient.
Le ou la candidat(e) recruté(e) prendra place dans le contexte d’une collaboration étroite avec les équipes académiques et cliniques impliquées dans le projet notamment au moment d’intégrer les travaux dans le démonstrateur final. Le ou la post-doc bénéficiera d’un environnement de recherche stimulant et d’un accès à des données cliniques des partenaires cliniques et industriels du projet. Il ou elle participera à la gestion du projet (participation aux réunions, prise de décisions, rédaction de rapports…).
Structure d’accueil :
Le ou la candidat(e) recruté(e) intégrera l’Institut des Systèmes Intelligents et de Robotique (ISIR) de Sorbonne Université et du CNRS (Paris). L’ISIR est organisé en plusieurs équipes pluridisciplinaires dont RPI-Bio. Parmi les activités de recherche abordées par les chercheuses et les chercheurs, la microrobotique, les drones, la robotique chirurgicale, les prothèses bioniques, les robots sociaux, et toutes sortes de systèmes intelligents et interactifs, physiques, virtuels ou de réalité mixte, l’intelligence artificielle… Leurs applications adressent des enjeux sociétaux majeurs : santé, industrie du futur, transports, et service à la personne.
L’équipe RPI-Bio (robotique, perception et interaction pour le biomédical), dans laquelle le ou la post- doc recruté(e) sera rattaché(e), mène des recherches en robotique pour la santé sur le thème des systèmes interactifs pour l’aide au geste expert (chirurgie), de perception (visuel et haptique), d’interfaces humain-machine, de télémédecine et de microrobotique. RPI-Bio récemment labellisée Inserm possède notamment une longue expérience en développement de solutions robotiques avancées pour la médecine interventionnelle (orthopédie, neurochirurgie, chirurgie ORL, interventions endovasculaires…).
Profil recherché :
– Robotique, mécatronique, simulation et/ou modélisation numérique
– Compétences avancées en programmation (C++, Matlab, Python)
– La maîtrise d’une librairie de simulation numérique de robots souples (e.g., SOFA) sera un plus
– Enthousiasme pour la recherche interdisciplinaire et esprit de collaboration
Informations générales :
– Encadrants : Lingxiao Xun ; Brahim Tamadazte
– Date de début de contrat : dès que possible
– Durée du contrat : 12 mois renouvelable pour 12 mois supplémentaires
– Salaire : en fonction de l’expérience
– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris
Personne à contacter :
Envoyer, un seul fichier pdf rassemblant : un CV, une lettre de motivation et les articles scientifiques que vous jugez utiles au dossier à lingxiao.xun@sorbonne-universite.fr et brahim.tamadazte@cnrs.fr. Merci de mettre en objet du mail « post-doc rhu ».
Post-doc : « Apprentissage en robotique, avec application à la saisie d’objets »
Contexte :
Dans le cadre du projet FET Proactive DREAM (http://dream.isir.upmc.fr/), une approche de la robotique adaptative basée sur l’apprentissage ouvert a été définie. L’objectif principal est de permettre à un robot d’apprendre sans nécessiter une préparation minutieuse par un expert. Cette approche soulève de nombreux défis, notamment l’apprentissage avec des récompenses rares, l’apprentissage de représentations (pour les états et les actions), l’apprentissage et l’exploitation de modèles, le transfert d’apprentissage, le méta apprentissage et la généralisation. Ces sujets sont considérés en simulation, mais aussi sur des plateformes robotiques réelles, notamment dans le contexte de la saisie d’objets.
Missions :
Ce poste vise à contribuer à ces sujets dans le cadre de plusieurs projets européens, en particulier SoftManBot, Corsmal, INDEX et Learn2Grasp. S’appuyant sur les travaux antérieurs de l’équipe de recherche, les approches proposées devront être facilement adaptables à différentes plateformes robotiques et seront donc appliquées à différents robots (bras Panda de Franka-Emika, Baxter, PR2 ou TIAGO, par exemple).
Profil recherché :
Les candidats à ce poste doivent être titulaires d’un doctorat en apprentissage machine ou dans un domaine connexe dans lequel des applications robotiques (simulées ou réelles) ont été considérées.
Compétences requises :
Une excellente formation est attendue en apprentissage machine ainsi qu’une expérience en robotique. D’excellentes compétences en programmation en Python sont attendues.
Plus d’informations :
- Type de poste : Chercheuse / Chercheur post-doctoral
- Durée du contrat : 24 mois
- Niveau d’études souhaité : Doctorat
- Montant rémunération : Rémunération en fonction de l’expérience
- Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.
Personne à contacter :
- Stéphane Doncieux
- stephane.doncieux(at)sorbonne-universite.fr
- Envoyer votre candidature par mail, avec [nom de l’offre] en objet, un CV et une lettre de motivation.
Offres de thèse
Sujet de thèse : Estimation d’état et commande de robots continus à plusieurs sections
Résumé et contexte :
La dernière décennie a vu émerger un nouveau type de robot : les robots continus. Leurs avantages par rapport aux robots rigides traditionnels sont multiples : un espace de travail plus large, une dextérité accrue, une compliance accrue, la capacité de naviguer dans des environnements encombrés ou tortueux, un fort potentiel de miniaturisation, la possibilité de concevoir de nouvelles architectures cinématiques, ainsi qu’une diversification des applications, notamment en chirurgie mini-invasive ou pour la manipulation d’objets fragiles. Le concept de robot continu a ainsi permis l’émergence d’un nouveau paradigme dans le domaine de la robotique de dextérité.
Cependant, ces innovations technologiques majeures posent encore de nombreux défis en matière d’intégration, de perception, de modélisation et de commande de ces mécanismes. Par conséquent, de nombreuses problématiques scientifiques, souvent fondamentales, restent ouvertes avant de parvenir à une intégration effective des robots continus dans des applications industrielles et médicales.
Les avancées récentes en commande des robots continus ont permis la mise en œuvre de stratégies de commande de l’extrémité en boucle fermée, ce qui a conduit à atteindre une précision submillimétrique. Toutefois, la mise en œuvre de ce type de commande, en particulier dans des applications de chirurgie mini- invasive, nécessite une estimation robuste et fiable de l’état du robot.
L’estimation précise de l’état des robots continus constitue un problème complexe et l’une des briques manquantes pour la démocratisation de ces robots. Parmi les différentes modalités de perception en robotique, la vision est de loin la plus couramment utilisée. Toutefois, en robotique continue, les caméras sont peu fiables, que ce soit en raison de l’application, qui ne permet pas un contact visuel fiable avec le robot (navigation sur un terrain contraint, chirurgie mini-invasive), ou bien en raison des occultations du robot liées à ses propres déformations.
Cela impose d’explorer des stratégies de perception alternatives. Celles-ci reposent généralement sur l’intégration de capteurs supplémentaires au sein d’une architecture robotique déjà fortement contrainte en termes de compacité. Le problème qui en résulte se décline alors en deux défis majeurs :
– Maximiser la quantité d’information fournie par des capteurs de petite taille sur l’état du robot, sans en altérer les propriétés intrinsèques ni compromettre sa capacité à réaliser les tâches prévues.
– Estimer avec précision l’état du robot à partir de mesures partielles ou indirectes. Cela inclut, par exemple, la reconstruction de l’état complet du robot à partir des positions mesurées à un nombre limité de points le long de sa structure, ou encore à partir de mesures d’efforts et de couples à sa base. En raison de la complexité des déformations auxquelles ces robots sont soumis, ces problèmes peuvent être mal posés et admettre plusieurs solutions, notamment pour l’estimation des charges externes.
Objectifs scientifiques :
Une grande majorité des approches d’estimation de l’état de robots continus proposées dans la littérature actuelle se base sur deux hypothèses simplificatrices : l’évolution du robot dans le temps est quasi-statique, et les bruits d’évolution et de mesure sont négligeables. De plus, la majorité des approches proposées sont formulées sous la forme d’une estimation du maximum de vraisemblance. Autrement dit, la solution est l’état le plus vraisemblable, fondé uniquement sur les données des capteurs. Les connaissances a priori du comportement du robot ne sont jamais prises en compte.
Bien que ces approches fonctionnent généralement bien dans des conditions optimales de laboratoire, elles sont difficiles à mettre en œuvre dans des applications réelles. Puisque les données des capteurs ne sont pas contrebalancées par les connaissances a priori, l’estimation est peu précise, voire instable, lorsque les mesures sont bruitées, partielles ou aberrantes. De plus, lorsque le problème est mal posé, ce qui est souvent le cas pour l’estimation d’états de robots continus et d’autant plus en présence de bruit, plusieurs états peuvent expliquer les mêmes observations. Sans connaissance a priori, il est alors impossible de différencier les états possibles, des plus probables aux plus improbables.
L’objectif de ce projet de thèse est de développer une méthode robuste d’estimation de l’état, basée sur un modèle, de la forme et de la vitesse de robots continus, qui puisse être déployée dans des conditions sous-optimales, en présence de bruit, d’instabilités du système et de données de capteurs incomplètes. Pour cela, il est nécessaire de formuler le problème en termes d’estimation du maximum a posteriori. À chaque instant, les mesures sont ainsi contrebalancées par notre connaissance a priori du comportement du robot, issue de notre modèle. Cela permet, d’une part, de réduire la sensibilité au bruit et aux mesures aberrantes en contraignant la solution vers des valeurs plus plausibles, et, d’autre part, de régulariser les problèmes mal posés en favorisant les solutions les plus probables.
Dans cette optique, nous adapterons une méthode classique d’estimation d’état issue de la robotique rigide à nos prototypes de robots continus : l’estimation à horizon glissant (Moving Horizon Estimation : MHE). Contrairement aux approches récursives classiques (filtres de Kalman, particulaires) qui ne conservent que l’état précédent, cette méthode optimise l’estimation en s’appuyant sur un historique de mesures récemment acquises. Elle permet ainsi de mieux prendre en compte les non-linéarités du modèle et de respecter les contraintes physiques intrinsèques aux robots continus.
En raison de la complexité des modèles de déformation utilisés pour représenter les robots continus, les méthodes d’estimation issues de la robotique rigide ont jusqu’à présent été peu exploitées dans le domaine de la robotique déformable. La majorité des travaux proposés dans la littérature repose sur des hypothèses simplificatrices, telles que la courbure constante ou l’approximation quasi-statique, ou bien sur des systèmes eux-mêmes simplifiés, comme les robots à une seule section. Dans ces conditions, l’application directe de ces méthodes à nos systèmes peut entraîner des erreurs d’estimation significatives.
En effet, ces derniers sont actionnés par des tendons et se distinguent par leur grande taille ainsi que par le nombre de leurs sections, respectivement 1, 2 et 3, ce qui leur permet d’atteindre de nombreuses formes complexes. De plus, leur taille permet d’abriter plus facilement un grand nombre de capteurs. Spécifiquement, nous utiliserons les données provenant de centrales inertielles positionnées à la base de chaque section. En contrepartie de ces avantages, ces robots sont généralement plus difficiles à modéliser, car des hypothèses valides pour des robots de petite taille, destinés à la chirurgie mini- invasive (mouvements quasi-statiques, courbures constantes, frottements négligeables, etc.), ne s’appliquent plus à ces robots.
Afin de pallier ces limites, nous proposons d’adopter un modèle dynamique de type Cosserat, issu du domaine de la mécanique, reconnu comme l’un des modèles les plus précis pour les robots continus. Celui-ci permet de représenter de manière adéquate les déformations dynamiques de robots continus de grande taille, à condition d’assumer un coût de calcul élevé.
Une fois l’estimateur d’état développé, il a pour vocation d’être intégré à une stratégie de commande en boucle fermée de la forme du robot. L’estimateur sera ainsi couplé à une commande prédictive (MPC). Les MPC et MHE ayant des structures similaires, les solutions du modèle Cosserat obtenues en résolvant le problème d’estimation pourront être partiellement réutilisées pour la commande, typiquement comme point de départ de l’optimisation. Les applications envisagées incluent la navigation dans un environnement encombré ainsi que la manipulation d’objets, qui nécessitent de déformer le robot selon de multiples modes de déformation, ce qui est possible grâce aux multiples sections et à la longueur importante des prototypes.
Équipe encadrante :
L’équipe encadrante sera constituée de Faïz Ben Amar et Azad Artinian.
Faïz Ben Amar est spécialisé dans la conception, la modélisation et la commande de systèmes complexes, notamment les robots continus et les robots mobiles dédiés à la navigation, à la saisie et à la manipulation d’objets.
Azad Artinian a mené des travaux sur la modélisation, la commande et l’estimation d’état de systèmes robotiques déformables, ainsi que sur la modulation active de leur raideur.
Informations générales :
– Laboratoire : Institut des Systèmes Intelligents et de la Robotique (ISIR), UMR 7222
– Établissement de rattachement : Sorbonne Université
– Titre de la thèse : Estimation d’état et commande de robots continus à plusieurs sections
– Directeur de thèse : Faïz Ben Amar (PU, SU), Azad Artinian (MCF, SU)
– Mail de contact : artinian@isir.upmc.fr
– Rattachement à un programme : ED SMAER
– Financement : Le financement est soumis au concours de l’ED
Profil et compétences recherchées :
– Master ou Diplôme d’ingénieur
– Connaissances en robotique, commande, estimation et vision.
– Compétences en programmation avancée.
– Niveau d’anglais requis: Intermédiaire supérieur. Vous pouvez utiliser la langue de manière efficace et vous exprimer précisément.
Modalité de candidature :
Les candidats pourront candidater en ligne directement sur adum jusqu’au 18 mai 2026.
Pour être examinés avec impartialité, les dossiers des candidat.e.s doivent être établis avec les pièces listées ci-dessous.
Pièces à joindre au dossier:
– CV détaillé du.de la candidat.e et lettre de motivation cadrant son projet personnel avec celui du laboratoire, sur le sujet retenu.
– Avis du.de la responsable du master d’origine avec ECTS acquises, parcours, UE validées, classement et moyenne du. de la candidat.e. Comme le jury définitif du master ne se sera pas réuni à la date de dépôt du dossier, mentionner les résultats aux épreuves théoriques, les ECTS acquises. Le classement du. de la candidat.e dans les différents semestres de sa scolarité et en particulier au premier semestre de M2 sont des pièces obligatoires pour une évaluation équitable du. de la candidat.e.
– La fiche d’évaluation du stage ou l’avis du.de la responsable de stage
Si votre dossier est retenu vous serez convoqué(e) pour une audition devant une commission au cours de laquelle vous présenterez votre sujet muni de 4 transparents (des informations complémentaires vous seront communiquées ultérieurement ).
Sujet de la thèse : Recalage pré-opération / per-opération par intelligence artificielle dans la chirurgie du rachis
Contexte :
Le nombre d’interventions en chirurgie du rachis augmente régulièrement, tant pour les traumatismes que pour les pathologies dégénératives. À titre d’exemple, environ 200 000 fusions lombaires ont été réalisées aux États-Unis en 2015, soit 62 % de plus qu’en 2004, pour un coût de plusieurs dizaines de milliers de dollars par opération.
L’arthrodèse lombaire (Fig. ci-contre) consiste à fusionner plusieurs vertèbres afin de limiter les déplacements responsables de douleurs. Cet acte chirurgical consiste à insérer des vis dans les pédicules vertébraux afin de stabiliser la colonne vertébrale. Ces vis sont connectées par des tiges assurant une fixation rigide, favorisant la fusion vertébrale et améliorant les résultats fonctionnels. La pose de ces vis s’avère complexe et difficile, en particulier chez certains patients, alors que la précision est un gage majeur de réussite de l’opération.
Une étude réalisée en 20181 a révélé que jusqu’à 10 % des vis pédiculaires placées à main levée sont mal positionnées, ce qui amène un patient sur 300 à subir une révision. Ceci a conduit à une augmentation notable de l’assistance guidée par l’image pour les arthrodèses : 10,76 % de toutes les arthrodèses réalisées à l’aide de la navigation en 2017, contre seulement 0,38 % en 20102. En parallèle de ces solutions de navigation 3D qui requièrent le positionnement de marqueurs, des solutions robotiques ou de réalité augmentée/mixte sont apparues. Chacune apporte ses avantages et ses inconvénients. Par exemple, les systèmes de navigation rendent le placement de vis pédiculaires plus accessible aux chirurgiens juniors et réduisent certains risques. La robotique, ou encore la réalité augmentée/mixte, apporte une valeur ajoutée clinique, notamment lors de l’insertion des vis dans les pédicules, où la planification des trajectoires d’insertion est bien établie3. Tous ces systèmes aident le chirurgien à mieux placer les vis au niveau des pédicules, selon les plans sagitaux et coronaux planifiés sur les CT préopératoires. Que ce soit pour les systèmes de guidage par l’image, la robotique ou la réalité augmentée, un verrou scientifique majeur réside dans le recalage précis et continu du CT-scan préopératoire par rapport au squelette du patient.
Dans la pratique clinique actuelle, les CT-san sont très majoritairement utilisés, malgré l’exposition des patients aux rayonnements inhérente à ce type d’acquisition. En effet, une étude sur le traitement de la sténose lombaire a révélé un taux de précision de 95,5 % pour les techniques utilisant le CT-san contre 91,5 % pour celles utilisant la fluoroscopie4. Comme il n’est pas envisageable de réaliser des CT-scans fréquents durant l’opération en raison de leur effet irradiant, une autre modalité doit être utilisée pour le recalage continu. Ce projet doctoral est hautement multidisciplinaire, à l’intersection de la médecine et de l’intelligence artificielle. Les chercheurs en IA seront nourris des apports des chirurgiens pour définir ensemble un protocole opératoire qui répond, d’une part, aux besoins et aux normes hospitalières, et, d’autre part, soit réaliste.
Objectifs scientifiques :
Dans un premier temps, un protocole opératoire doit être élaboré avec l’aide des praticiens hospitaliers. Il pourrait consister, par exemple, en un CT-scan préopératoire sur lequel sont définies les trajectoires des vis pédiculaires, ainsi qu’en un CT-scan peropératoire réalisé juste en amont de l’opération, pour un recalage initial des vertèbres. Ces deux CT-scans sont en effet déjà réalisés et un dataset de plusieurs centaines, voire de quelques milliers, de scans est déjà disponible à l’hôpital Trousseau. Une seconde modalité d’acquisition non iradiante, à définir, permettra le suivi continu de la pose des vertèbres à partir du premier recalage. Les recalages CT-scan/CT-scan et CT-scan/nouvelle modalité devront ensuite être réalisés avec une difficulté majeure, car la colonne vertébrale n’est pas un objet rigide. En particulier, un net déplacement anatomique est constaté entre le CT-scan préopératoire, réalisé avec la personne sur le dos, et le CT-scan peropératoire, réalisé avec la personne sur le ventre. Par ailleurs, le geste chirurgical lui- même induit des déformations en continu de la colonne qui peut être considérée comme un objet rigide par morceaux (les vertèbres). Une autre difficulté tient à la taille des bases de données existantes, qui ne contiennent que très peu de patients et de modalités.
Plusieurs pistes de travail sont envisagées pour répondre à cette problématique. Afin de pallier le problème des bases de données, une première piste consiste à synthétiser de nouveaux CT-scans à partir de CT-scans existants, en les déplaçant selon un mouvement physiquement réaliste. Ces travaux seront menés en étudiant les propriétés biomécaniques de la colonne vertébrale saine ou pathologique. Des rendus 2D texturés pourront également être générés pour entraîner des algorithmes de recalage basés sur le deep learning, la vérité de terrain étant connue par construction. Ces approches de création de nouvelles données devront intégrer des contraintes biomécaniques dans des modèles génératifs basés sur l’IA .
Concernant le recalage, plusieurs méthodes sont proposées dans la littérature. Une grande majorité d’entre elles porte sur le recalage d’objets rigides, avec, parfois, l’utilisation de landmarks dans le cadre de la chirurgie du rachis5. Une fois les vertèbres segmentées sur les CT-scans, le recalage entre les colonnes vertébrales préopératoires et postopératoires peut être considéré comme un recalage rigide par morceaux. Des travaux existent où le recalage de chaque vertèbre est réalisé de manière indépendante, sans aucune contrainte relative6. Polypose7 propose d’estimer les poses des vertèbres puis de les interpoler de manière fluide dans l’espace. De manière similaire, SpineRegNet8 recale les vertèbres séparément, puis effectue une fusion élastique pour obtenir un champ de déformation dense. D’autres travaux, particulièrement utilisés pour les robots, s’intéressent à la pose d’objets articulés, en s’appuyant sur la connaissance des articulations et de leur degré de liberté. Nous proposons ici d’associer, dans un même modèle end-to-end, le recaclage rigide des vertèbres et un modèle de vraisemblance des déplacements entre elles. Ce modèle pourra également exploiter les avancées récentes des modèles de fondation permettant de reconstituer de l’information 3D à partir de données 2D9.
Profil et compétences : Diplôme de Master en informatique ou en mathématiques appliquées, diplôme d’ingénieurs. Compétences et expérience en machine learning. Bonnes compétences techniques en programmation et familier des bibliothèques d’apprentissage machine.
Mots-clés : Apprentissage profond, vision par ordinateur, mathématiques appliquées. Des connaissances en robotique seraient un plus.
Supervision :
– Catherine Achard (PU, ISIR, SU), spécialiste en computer vision et intelligence artificielle.
– Brahim Tamadazte (DR CNRS, ISIR, SU), spécialiste de la vision par ordinateur, de la robotique médicale et du machine learning en santé.
– Raphaël Vialle (PUPH, APHP, Hôpital Trousseau, SU), spécialiste de la chirurgie du rachis (scoliose) chez les enfants.
Financement : Allocation de Recherche de Sorbonne Université. Le financement est attribué en fonction du profil et du parcours du candidat qui sera amené à présenter son dossier de candidature devant un jury de sélection.
Date : début souhaité entre octobre et décembre 2026. Financement pour 3 ans
Modalités de candidature et date limite :
Envoyer votre dossier de candidature (CV, lettre de motivation, relevés de notes de licence, M1 et M2 ou équivalents), en un seul fichier PDF à catherine.achard@sorbonne-universite.fr et brahim.tamadazte@cnrs.fr.
Déposez ensuite votre candidature sur https://lime3-app3.sorbonne-universite.fr/index.php/265678?lang=fr avant le 24 avril 2026.
Offres de stage
Internship subject: Engagement Detection for Human-Robot Interaction
Context:
Engagement detection is a critical prerequisite for socially appropriate human–robot interaction (HRI), enabling robots to decide when to approach a person, whether to initiate conversation, and how to do so without violating social norms or personal space. In everyday human interaction, engagement is communicated implicitly through posture, gaze, motion patterns, ongoing activity, and spatial arrange- ments, all of which inform whether an interaction is welcome. In HRI, these signals are closely tied to concepts of proxemics, privacy, and conversational readiness. Prior work has shown that robots which respect engagement cues and personal space are perceived as more intelligent, trustworthy, and less intrusive, particularly in shared and public environments.
Problem statement:
Most existing engagement detection systems rely on short-term changes in observable cues such as mo- tion in the visual field, head pose, eye gaze, or the presence of speech to infer engagement states. While effective in constrained settings, these approaches often treat engagement as a reactive signal derived from low-level sensory changes, rather than as a latent social and intentional state. As a re- sult, such systems struggle to distinguish between visually similar but semantically different situations (e.g., a person glancing toward a robot versus actively seeking interaction), and they generalize poorly across contexts, activities, and multi-person scenes. Moreover, cue-based approaches provide limited mechanisms for explicitly encoding privacy, “do-not-disturb” intent, or task-focused human behavior, increasing the risk of socially inappropriate or intrusive robot actions.
Objectives & Scientific approach:
The objective of this work is to reconceptualize engagement detection as an intention-aware world- modeling problem that integrates perception, prediction, and social reasoning. Rather than relying solely on instantaneous audio-visual changes, we aim to leverage video foundation models and self-supervised predictive learning to infer latent human states such as attention, intention, availability, and interaction readiness over time. Inspired by recent advances in world modeling and joint predictive architectures, this approach seeks to learn structured representations of human activity, spatial context, and social dynamics. This will allow a robot to anticipate whether an approach or conversation would be appropriate. By modeling engagement as a temporally grounded and context-dependent phenomenon, the robot can make proactive yet conservative decisions, initiating interaction only when the likelihood of acceptance is high.
Work plan:
The successful candidate will work on the following tasks:
– LiteratureReview:Analysisofstate-of-the-artmethodsinengagementdetection,proxemics,and video foundation models (e.g., VideoMAE, multimodal LLMs) ;
– Methodology Design: Developing a pipeline that utilizes video foundation models to extract tem- poral features regarding human activity and social context ;
– Implementation: Training/Fine-tuning a predictive model to infer ”interaction readiness” based on historical context rather than instantaneous cues ;
– Evaluation: Validating the approach on public HRI datasets or real-world scenarios, comparing against baseline cue-based methods.
Candidate profil:
– Education: Master 2 student in Computer Science, Robotics, AI, or related fields.
– Technical Skills: Strong programming skills in Python ; Experience with Deep Learning frameworks (PyTorch or TensorFlow) ; Knowledge of Computer Vision (Transformers, Foundation Models) is a strong plus.
– Soft Skills: Autonomy, scientific curiosity, and good writing/communication skills in English.
How to apply:
Please send a CV and recent grade transcripts to Hamed Rahimi with the subject line ”[M2 Application] Engagement Detection Internship”.
More informations:
– Location: ISIR, Sorbonne University, Paris, France
– Team: ACIDE
– Supervisors: Hamed Rahimi (hamed.rahimi@sorbonne-universite.fr)
– Duration: 5-6 months
– Keywords: Human-Robot Interaction, Computer Vision, Foundation Models, World Models, Deep Learning.
Sujet de stage : Navigation résiliente sur terrains précaires avec un Ballbot
Résumé :
Cette proposition de stage décrit un projet de recherche visant à doter un ballbot de la capacité de surmonter les obstacles qu’il pourrait rencontrer lors de sa navigation. L’objectif de ce travail est de définir les actions de contrôle optimales pour franchir un obstacle fixe au sol, en tenant compte de la vitesse du robot, de l’angle d’approche du robot par rapport à l’objet, et des variations d’inertie du robot (par exemple via le mouvement des bras).
La méthodologie proposée implique une analyse préliminaire des paires action-senseur optimales en mesurant la distance par rapport à l’équilibre, l’accélération des moteurs au niveau de la base, tout en réalisant plusieurs simulations/expériences à différentes vitesses, angles d’approche et variations d’inertie. Une fonction de récompense ad hoc sera mise en œuvre afin d’évaluer les paires action-senseur optimales.
Les résultats attendus incluent l’identification d’une série de conditions permettant la réussite des manœuvres.
Objectifs du stage :
Les principaux objectifs de ce stage pourraient être de réaliser un ensemble de simulations/expériences afin d’évaluer : 1) les mesures pertinentes pour le problème, 2) les actions de contrôle à entreprendre, 3) la fonction de récompense permettant de vérifier qu’un obstacle a été franchi.
Profil recherché : Étudiants en master (M2)
Compétences requises : Théorie du contrôle, Robotique, Programmation (Python, C++, ROS 2, Matlab/Simulink)
Informations générales :
– Encadrant·e·s : Dr. Dario Sanalitro, Prof. Guillaume Morel
– Date de début du stage : Mars 2026
– Durée du stage : 6 mois
– Niveau d’études souhaité : Master 2 en Informatique, automatique, mécatronique, electronique, robotique ou domaines apparentés
– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.
Personne à contacter :
– Dario SANALITRO ; sanalitro@isir.upmc.fr
– Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
– Date limite de dépôt de la candidature : 20 Fevrier 2026