Opportunités

Intitulé du poste : Post-doc « Haptique et interactions humain-machine multisensorielles »

Contexte :

Ce post-doc s’inscrit dans le cadre du projet ANR NeuroHCI. L’objectif global de NeuroHCI est d’améliorer la prise de décision humaine dans les mondes physique et numérique dans des contextes en interaction. Il existe différents scénarios dans lesquels un humain prend une décision avec un système interactif. La décision peut concerner un choix complexe du monde réel assisté par un ordinateur (par exemple, un traitement médical), le choix d’une méthode pour réaliser une tâche numérique (par exemple, retoucher une photo avec l’outil préféré), ou la manière dont nous décidons de la meilleure façon. pour effectuer une interaction haptique.

Missions :

L’approche scientifique envisagée reposera sur l’optimisation du retour haptique fourni à l’utilisateur en ce qui concerne la vision et l’audition en tirant parti de modèles informatiques d’intégration multisensorielle. Ainsi, les activités scientifiques du projet s’articuleront autour des questions suivantes:

– Comment s’assurer que les incohérences entre ce que l’utilisateur voit et ce qu’il ressent ne brisent pas l’illusion et comment atténuer leurs effets sur l’expérience utilisateur ?

– Comment les incohérences visuo-haptiques influencent les stratégies des utilisateurs (par exemple, avec quels objets ils décideront d’interagir) et la prise de décision de haut niveau

Profil recherché :

Le candidat idéal doit être titulaire d’un doctorat et d’une solide expérience en interaction homme-machine et/ou en sciences cognitives.

Compétences requises :

– Expérience en haptique désirée ;

– Solides compétences en Python, Matlab ou équivalent ;

– Bonne connaissance de la conception expérimentale, de la psychophysique et des statistiques ;

– Excellent dossier de publication ;

– Volonté de travailler dans une équipe multidisciplinaire ;

– Bonnes compétences en communication;

Information générale :

– Date de début de contrat : au plus tard le 01/06/2024
– Durée du contrat : 24 mois
– Quotité de travail : 100%
– Expérience souhaitée : Débutant à 4 ans
– Niveau d’études souhaité : Doctorat
– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

– David Gueorguiev ; david.gueorguiev(at)sorbonne-universite.fr

– Envoyer votre candidature par mail, avec [nom de l’offre] en objet, un CV et une lettre de motivation.

Télécharger l’offre d’emploi

Offres de doctorat, postdoctorat ou d’ingénieur·e de recherche pour le groupe HCI Sorbonne (Human Computer Interaction)

Contexte :

Nous avons plusieurs postes pour un postdoctorat ou en tant qu’ingénieur·e de recherche dans le groupe HCI Sorbonne (https://hci.isir.upmc.fr) à Sorbonne Université, Paris, France.

Missions :

Nous cherchons des personnes curieuses qui souhaitent réaliser des projets de recherche à l’intersection de l’IHM et neuroscience avec (au choix) la RV, l’haptique, la robotique ou l’IA. Des sujets possibles sont :

• Nouvelles techniques d’interaction en RV,
• RV et Haptique pour le jeux et/ou l’apprentissage,
• Modèles computationnels pour l’apprentissage, la prise de décision et la performance humaine,
• Systèmes de recommandation s’appuyant sur l’IA.

Exemples de travaux récents dans ces domaines :

• CoVR (UIST21): https://dl.acm.org/doi/10.1145/3379337.3415891
• AI-based Recommendation systems (CSCW 21): https://dl.acm.org/doi/abs/10.1145/3476068?sid=SCITRUS
• Adapting UIs with Reinforcement Learning (CHI 21): https://dl.acm.org/doi/abs/10.1145/3411764.3445497
• Mixed Control of Robotic systems (CHI 20): https://dl.acm.org/doi/10.1145/3313831.3376795

Profil recherché : 

Pour un post-doctorat, un doctorat en IHM ou un domaine en lien avec l’IHM est nécessaire.

Compétences requises :

• Compétences solides en programmation et analyse strong programming and analytical skills,
• Solide expérience dans au moins un de ces domaines : IHM, RV, Haptique, Robotique, IA.

Plus d’informations : 

• Type de poste : Postdoctorat ou Ingénieure de Recherche
• Date de début de contrat : dès que possible
• Durée du contrat : 1 à 2ans
• Niveau d’études souhaité : Master 2 (pour ingénieur), doctorat (pour post-doc)
• Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personnes à contacter : 

• Gilles Bailly et Sinan Haliyo
• Email : gilles.bailly(at)sorbonne-universite.fr ; sinan.haliyo(at)sorbonne-universite.fr
• Candidature : Envoyer votre candidature par mail, avec un CV et une lettre de motivation.
• Date limite de dépôt de la candidature : Aucune

Sujet de thèse : Segmentation et recalage de nuages de points 3D pour la chirurgie orthopédique 

Contexte :

Cette proposition de thèse s’inscrit dans l’un des axes de recherche de l’équipe RPI-Bio de l’ISIR qui a pour objectif de répondre à l’impératif du geste extrême et maîtrisé sur le vivant (caractérisation, diagnostic, chirurgie, etc.). L’équipe tire parti d’un rapprochement fondamental entre robotique médicale, microrobotique, perception et IA pour développer des approches globales et multidisciplinaires. Parmi les travaux menés dans l’équipe, une plateforme de réalité augmentée pour la chirurgie du genou (projet ANR MARSurg) est en cours de réalisation. Elle s’appuie sur les apports de la vision par ordinateur et de l’apprentissage machine pour s’affranchir des limites des procédures chirurgicales actuelles. En orthopédie, le positionnement 3D de la prothèse du genou, des structures anatomiques, des outils… doit être estimé avec la plus grande précision pour garantir une valeur ajoutée clinique à cette nouvelle plateforme. La pratique actuelle est dominée par l’utilisation d’instruments métalliques, dits ancillaires, spécifiques à l’implant. Elle est donc invasive et sa précision peut être améliorée.

De plus en plus souvent, la procédure chirurgicale est planifiée dans les détails en amont, grâce à l’utilisation d’imagerie préopératoire, puis transposée durant l’intervention sur le patient, ce qui demande un recalage précis entre la modélisation préopératoire et le genou du patient. Ces approches ont permis d’améliorer la procédure du placement des prothèses en orthopédie, mais présentent encore plusieurs problèmes, notamment celui de la précision du recalage, du temps de préparation préopératoire et de réalisation per-opératoire.

Objectifs scientifiques de la thèse :

Dans le cas de la localisation précise du genou, l’objectif est d’identifier les pixels de chaque partie du genou afin de venir recaler un modèle 3D de celui-ci. Pour cette chirurgie orthopédique, la ou le doctorant recruté aura pour mission scientifique de développer des méthodes reposant sur l’’apprentissage profond pour localiser et estimer la pose des structures anatomiques et des instruments de chirurgie. Dans un premier temps, une segmentation sémantique permettra de localiser les objets d’intérêt dans l’image. L’utilisation conjointe d’informations de texture (RGB) et de profondeur, via l’emploi de caméras RGB-D, devra permettre d’améliorer la précision et la robustesse de la segmentation. Les algorithmes développés devront répondre à deux défis majeurs : d’une part, l’utilisation conjointe d’informations spatiales haute résolution et contextuelles pour obtenir des solutions sémantiquement cohérentes, et d’autre part, la fusion des images RGB et de profondeur, qui ont des contenus très différents. Les nuages de points associés aux différentes régions issues de la segmentation seront recalés avec ceux d’un modèle 3D préopératoire (e.g., CT scan ou IRM), voire d’un modèle générique (e.g., CAO) grâce à un vecteur de caractéristiques associé à chaque point et appris pour répondre au mieux à l’estimation de la transformation rigide entre les deux nuages. Ainsi, si la segmentation et le recalage précis d’images RGB-D sont des défis à part entière, un troisième défi réside dans la fusion de ces deux tâches : dans quelle mesure le modèle 3D et son recalage ne pourrait pas aider la segmentation et vice versa ? Une solution globale, fusionnant ces aspects dans un seul apprentissage pourrait alors être envisagée.

Profil et compétences :

Diplôme de Master en informatique ou en mathématiques appliquées, diplôme d’ingénieurs. Compétences et expérience en machine learning. Bonnes compétences techniques en programmation et familier des bibliothèques d’apprentissage machine.

Modalités de candidature et date limite :

Envoyer votre dossier de candidature (CV, lettre de motivation, relevés de notes de M1 et M2 ou équivalent), en un seul fichier PDF, aux adresses mails susmentionnées avant le 25 septembre 2024.

Supervision : Catherine ACHARD, Professeure Sorbonne Université, catherine.achard@sorbonne-université.fr et Brahim TAMADAZTE, Directeur de Recherche du CNRS, brahim.tamadazte@cnrs.fr

Financement : Allocation de Recherche de l’école doctorale SMAER de Sorbonne Université. Le financement est attribué en fonction du profil et du parcours du candidat qui sera amené à présenter son dossier de candidature devant un jury de sélection.

Structure d’accueil : L’Institut des Systèmes Intelligents et de Robotique (ISIR).

Télécharger l’offre de thèse

Internship topic: Learning communication in action models for human- robot collaboration

Context:

When humans demonstrate tasks, they integrate instrumental actions (manipulating objects) with ostensive communicative cues (e.g., eye gaze, pauses, and exaggeration). These belief-directed actions are intentional, aimed at conveying information beyond the immediate task. This concept, termed communication in action, has been widely studied in Cognitive Science as a key mechanism for establishing shared understanding between actors and observers [Ho-2022].

In robotics, communication in action (Figure 1) is mirrored by the challenge of generating legible robot motion [Dragan-2013,Wallkötter-2022]. Legible motions combine instrumental actions (achieving goals) with belief- directed cues to make the robot’s intent clear to human observers. This often involves exaggerated movements or gaze cues, enabling humans to infer the robot’s goal accurately [Wallkötter-2021]. Computational approaches in Human-Robot Interaction (HRI) typically rely on mathematical models of human expectations to design such motions. However, most current approaches assume a literal interpretation of human and robot actors, leading to limitations in understanding and responding to each other’s actions and intentions. These limitations highlight the need for forward and inverse models capable of encoding and decoding both instrumental and belief- directed intentions, enabling mutual comprehension in human-robot collaborations.

OSTENSIVE is a recent ANR project starting in 2025, coordinated by ISIR and involving CNRS LAAS and INRIA LARSEN. This project aims to advance HRI by developing human-centric interaction systems that integrate instrumental and belief-directed dimensions by exploiting recent machine learning approaches. A PhD project is planned to be proposed as a follow-up to the internship.

Objectives:

This internship focuses on the development of machine learning models that enable robots to act based on double goals: achieving tasks (instrumental actions) and communicating intent (belief-directed actions). For this purpose, we will exploit behavior cloning approaches based on variational auto-encoders and/or diffusion policies [Lee-2024; Liang-2024; Caselles-2022].

The specific objectives are:

– Develop forward and inverse models to encode and decode instrumental and belief-directed actions.

– Design machine learning algorithms to integrate these dimensions into robot behavior.

– Test these models in tasks where robots are instructed through combined instrumental and belief-based goals.

Profile:

– Level: Master 2 / Engineer school

– Skills: Python, Machine Learning, Robotics, and Cognitive Science

– Duration: 5-6 months

Contact:

– Mohamed Chetouani

– ISIR – CNRS UMR7222 Sorbonne Université

– mohamed.chetouani@sorbonne-universite.fr

Download this offer

Internship topic: Multimodal and Privacy-Preserving Machine Learning for Human-Behavior Analysis

Context:

Understanding human behavior is critical for developing intuitive, personalized AI systems, particularly in healthcare [Driss-2020]. However, analyzing human behavior involves sensitive data (e.g., audio, video, wearable sensors) that pose privacy challenges, especially in mental healthcare applications like stress detection and mood recognition [Aigrain-2018]. Current machine learning approaches often rely on centralized data collection, leading to limited applicability across tasks and raising ethical concerns [Guerra-Manzanares-2023]. Privacy regulations such as GDPR and the proposed AI Act emphasize the need for transparent, privacy-compliant solutions. This calls for innovative methods that balance privacy protection with the utility of predictive models while supporting diverse tasks through transferable multimodal representations [Zhao-2020].

Objectives:

This internship focuses on advancing privacy-preserving multimodal machine learning for human behavior analysis. The research will explore methods such as adversarial training, deep auto-encoders, and multimodal foundation models, aiming to achieve robust privacy-utility trade-offs and ethical AI deployment in healthcare [Guerra-Manzanares-2023]. A possible research direction will consider the generation of synthetic data using machine learning.

The specific objectives include:

– Develop generative AI models to learn intrinsic multimodal representations of human behavior while preserving privacy.

– Generate synthetic, privacy-compliant data that maintains utility for predictive tasks.

– Evaluate models on publicly available datasets (e.g., audio, video, and physiological data) for tasks like mental state detection and diagnosis.

This thesis is conducted within a collaborative effort between ISIR (SU) and TICLab (International University of Rabat, IUR, Morocco), which is a strategic partner of Sorbonne University.

Profile:

– Level: Master 2 / Engineer school

– Skills: Python, Machine Learning, Robotics, and Cognitive Science

– Duration: 5-6 months

Contact:

– Mohamed Chetouani

– ISIR – CNRS UMR7222 Sorbonne Université

– mohamed.chetouani@sorbonne-universite.fr

Download this offer

Sujet de stage : Minimizing expected cumulative cost of actions during interaction by solving the 20 questions game

Résumé :

Le jeu des 20 questions est un jeu de devinettes dans lequel la personne qui pose les questions à 20 questions pour déterminer l’objet auquel pense le répondant. D’autre part, de nombreuses formes d’interaction consistent à transmettre l’objectif d’un utilisateur à l’ordinateur, par exemple localiser le bon fichier ou sélectionner une commande. Il existe un lien entre les actions qu’un utilisateur exécute pour signifier son objectif à l’ordinateur, et le jeu des 20 questions. Dans ce stage, nous essayons de renforcer ce lien, avec la promesse que nous pourrons ensuite exploiter des algorithmes connus pour améliorer l’interaction.

Objectifs du stage :

Le jeu des 20 questions comporte de nombreuses variantes, selon les restrictions aux questions potentielles qui peuvent être posées (toute question est-elle recevable ? On considère par exemple les questions de comparaison, qui divisent l’ensemble ordonné en deux, ou les questions de taille restreinte. Un autre cas important est si l’on considère que la personne qui répond peut faire des erreurs ou mentir. Nous disposons de résultats préliminaires qui établissent l’équivalence entre l’équilibrage des poids dans les arbres alphabétiques pour les questions de comparaison et une technique d’interaction connue sous le nom de Bayesian Information Gain (BIG) lorsque l’utilisateur ne fait pas d’erreurs.

Les tâches du stagiaire seront les suivantes :

– sur la base d’un examen des interactions existantes, dresser la liste de tous les types de questions possibles (comparaison, intervalle, arbitraire, etc.), et de déterminer la stratégie de questionnement optimale dans l’état de l’art.

– adapter les algorithmes existants pour minimiser soit le nombre attendu d’actions, soit le coût cumulé attendu des actions.

– établir un lien avec BIG chaque fois que possible

– prendre en compte le cas où l’utilisateur fait des erreurs, ce qui inclut le travail sur la modélisation de l’utilisateur

– mettre en œuvre un démonstrateur pour un type de question, par exemple des questions de comparaison

– mener une expérience contrôlée pour montrer que l’objectif (minimiser les actions, minimiser le temps d’interaction) a bien été atteint.

En fonction du profil du candidat, le travail peut être plus axé sur l’aspect théorique ou sur la réalisation d’expériences.

Profil recherché :

Nous recherchons un stagiaire de M2 en informatique ou dans un domaine connexe, intéressé par le travail sur des sujets appliqués et théoriques car ce stage requiert les deux. La connaissance du codage de source/canal et de l’informatique théorique sera un avantage, de même qu’un intérêt pour la modélisation informatique du comportement humain.

Ce sujet pourrait être approfondi dans le cadre d’un doctorat, pour lequel nous avons déjà obtenu un financement.

Informations complémentaires :

– Encadrant·e·s : Julien Gori

– Date de début du stage : Janvier -Mars 2025

– Durée du stage : 5-6 mois

– Niveau d’études souhaité : Master 2

– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

– Julien Gori

– Email : gori@isir.upmc.fr

– Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.

Télécharger l’offre de stage

Sujet de stage : TargetFinder – Developing an External Access System for Widget Information in Graphical User Interfaces

Résumé :

Dans la plupart des applications graphiques, les utilisateurs interagissent avec divers éléments, comme des boutons, des menus et des barres de titre, appelés widgets. Les informations sur ces widgets (telles que leur taille, leur emplacement et leurs étiquettes) ne sont généralement accessibles qu’au sein de l’application elle-même. L’objectif de ce stage est de développer des méthodes permettant d’accéder à ces informations depuis l’extérieur de l’application, pour permettre des nouvelles utilisations, comme l’analyse de l’interface utilisateur et l’amélioration de l’accessibilité.

Objectifs du stage :

Ce projet s’inscrit dans le cadre d’une collaboration entre Sorbonne Université et l’Université de Lille. Au cours de ce stage, l’étudiant travaillera à la conception d’un système capable de recueillir des informations sur les widgets d’interfaces utilisateurs graphiques (GUI). L’étudiant s’appuiera sur un démonstrateur existant qui permet d’identifier l’emplacement et la taille d’une cible unique. Le démonstrateur s’appuie sur un réseau de détection d’objets pré-entraîné YOLOv8. Le premier objectif de ce projet est d’améliorer le démonstrateur pour qu’il puisse identifier plusieurs emplacements et tailles de cibles en même temps, ainsi que de déterminer leurs label. Pour ce faire, le stagiaire appliquera des techniques existantes de traitement d’images pour pré- étiqueter un ensemble de données existant qui, après vérification, sera utilisé pour ré-entraîner le réseau existant. Le deuxième objectif de ce projet est de mettre en œuvre une technique d’interaction existante qui exploite les informations sur la cible, par exemple le pointage sémantique ou le bubble cursor, afin de montrer les possibilités offertes par ce projet.

Profil recherché :

Nous recherchons une personne ayant une formation en informatique, avec des compétences en apprentissage automatique / vision par ordinateur / traitement d’images. La connaissance de Python est requise, la connaissance de C++ n’est pas nécessaire mais est appréciée.

Informations complémentaires :

– Encadrant·e·s : Julien Gori

– Date de début du stage : Janvier – Mars 2025

– Durée du stage : 5-6 mois

– Niveau d’études souhaité : Master 2

– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

– Julien Gori

– Email : gori@isir.upmc.fr

– Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.

Télécharger l’offre de stage