Home » Nous rejoindre » Opportunités

Opportunités

Offres de thèse

Subject: From tactile sensing to compliant control of robotic hands for manipulation of soft objects in agricultural scenarios 

Objective:

The objective of this research topic is to improve robotic capacity in the manipulation of soft objects such as fruits and vegetables in agricultural scenarios. This research aims to propose a framework for sensing and controlling robotic hands; more specifically, a framework that relies on tactile sensing for perception and compliant control for physical manipulation. From the application point of view, the focus will be on robotic capacities such as grasping, manipulating, and releasing soft objects with high dexterity and accuracy, while also ensuring safety during human-robot interaction. By improving such capacities through compliant interaction, this proposed Ph.D. thesis aims to improve productivity, reduce the arduousness of certain jobs, respond to the lack of manpower, and reduce waste in the agricultural industry. The research will also contribute to the development of robotic technologies in other domains such as manufacturing, healthcare, and assistive robotics. The automation of agricultural processes has become increasingly important due to the demand for sustainable food production and the shortage of agricultural labor. Mobile manipulation using compliant robotic hands offers a promising solution for handling delicate agricultural products, such as fruits and vegetables. However, the control and design of such systems pose significant challenges due to the need for dexterity, adaptability, and robustness. Traditional robotic hands and grippers are typically controlled for forceful power-grasping strategies. While in the context of real-world applications, the use of tactile sensing and compliance control becomes crucial to enable existing robotic hands to handle delicate objects safely and effectively. In this proposed Ph.D. thesis, we will develop strategies based on machine learning techniques to learn effective control policies that enable closing the loops from tactile sensing to impedance control of a robotic hand.

Methodology:

The research will involve a combination of theoretical analysis, simulation, and experimental validation. First, a thorough review of the state-of-the-art in robotic hand control will be conducted, with a focus on soft and fragile object manipulation. Then, a novel robotic hand control approach will be proposed based on tactile sensing and impedance control. This control framework will be developed based on a combination of model-based and data-driven approaches, with a focus on machine learning techniques such as reinforcement learning and learning from demonstration. In particular, we will tackle problems such as in-hand object localization, slippage detection, and manipulation in scenarios including picking, placing, stacking, and insertion. The proposed control approach will be evaluated through extensive experiments using real robotic hands and collaborative safe manipulators.

Requirements:

The candidate must have a Masters’s degree (or equivalent) in Engineering or Computer Sciences. Interests and experiences in Robotics, Control systems, and AI are preferable. Furthermore, the necessary qualifications are:

– Strong background in robotics and control with excellent knowledge of Math – Proficient programming skills and experience in C++ or Python

– English proficiency and communication skills (written and oral)

– Ability and motivation to work both independently and collaboratively

– Hands-on skills in ROS and Matlab are highly expected

General information:

– Supervisor: Faiz Ben Amar

– Possible co-supervision: Mahdi Khoramshahi

– Thesis collaborators: Andrea Cherubini, Philippe Fraisse (LIRMM, University of Montpellier)

– Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

How to apply:

The candidate should send an email to mahdi.khoramshahi@isir.upmc.fr AND faiz.benamar@isir.upmc.fr with the following documents:

– CV

– Motivation letter

– Recommendation letters (or/and contact details of references)

– Academic transcripts for the master’s degree (or equivalent grades for the last two years).

Application deadline: 30/06/2023

Only shortlisted candidates will be contacted for online or in-person interviews.

Download this offer

Titre de la thèse : Traduction automatique de documents: le cas des documents scientifiques

Contexte :

La thèse se déroule dans le cadre du projet ANR-MaTOS (https://www.anr-matos.fr). Le candidat sera co-encadré par François Yvon (DR CNRS) au sein de l’équipe MLIA de l’Institut des Systèmes Intelligents et de Robotique (https://isir.upmc.fr) et Rachel Bawden, CR Inria, dans l’équipe Almanach du Centre Inria Paris (https://www.inria.fr/fr/centre-inria-de-paris) et inscrit dans [l’école doctorale informatique, télécommunication et électronique (EDITE)](https://www.edite-de-paris.fr/) de Paris.

Le ou la candidate recruté-e bénéficiera d’un contrat doctoral de Sorbonne Université, et aura, si il ou elle le souhaite, l’opportunité de réaliser des missions d’enseignement au sein de l’Université.

Description du projet :

La plupart des systèmes de traduction automatique (TA) dits « neuronaux » modélisent le processus de génération d’un document cible $y$ à partir d’un document source $x$ en décomposant ce processus phrase par phrase, chaque phrase étant traduite indépendamment des phrases voisines. Le modèle probabiliste sous-jacent est alors de la forme $P(y|x; \theta)$, où $\theta$ représente l’ensemble des paramètres du modèle (par exemple un modèle Transformer [Vas17]). Une fois $\theta$ appris, la génération d’une traduction repose sur la recherche de la traduction la plus probable réalisant: $\arg \max_{y} P(y|x; \theta)$.

Cette modélisation est naïve et ignore les multiples dépendances qui existent entre les phrases au sein d’un même document. Pour pallier cette déficience, de nombreuses architectures alternatives ont été proposées pour intégrer un contexte discursif $c$ au modèle, conduisant à des modèles de la forme $P(y|x, c; \theta)$. Selon les implantations, le contexte $c$ représente quelques phrases précédent $x$, ou bien tout le document source, ou bien également le début de la traduction (les phrases précédant $y$). Plusieurs manières d’encoder $c$ (avec un encodeur dédié, ou bien en utilisant le même encodeur que pour $x$) ont été proposées dans la litérature. Les principales architectures de ce type, dédiées à la TA de documents (TAD), sont décrites dans [Mar21].

Deux obstacles principaux rendent cette extension difficile à implanter : (a) les ressources computationnelles (mémoire et calcul) nécesssaires à l’encodage d’un contexte étendu croissent de manière quadratique avec la longueur du contexte (pour les architectures Transformer); (b) l’apprentissage des dépendances entre $y$ et $c$ est rendu difficile par la relative rareté des mots pour lesquels le contexte étendu $c$ est utile. La plupart des études dans le cadre de la TAD s’intéressent au problème (a) et considèrent soit des approximations du calcul de l’attention (voir [Tay21] pour un état des lieux récent), soit des architectures alternatives au modèle Transformer (par exemple [Gu21]) pour encoder des séquences.

Objectif scientifique :

Le travail de thèse proposé s’intéresse au problème de la traduction de documents complets, en se focalisant sur un type de documents particulier, à savoir les écrits académiques (articles, communications, rapports de recherche). Il s’agit de documents relativement longs, qui sont régis par des principes d’organisation et de présentation rigides et propres à ce genre textuel – organisation en sections en sous-sections -, ainsi que par des stratégies argumentatives propres à ce genre de textes: introduction de concepts et de définititions, raisonnements explicites devant venir à l’appui de démonstrations et de conclusions précises, etc.

L’objectif principal de la thèse est de parvenir à assurer que les documents générés par traduction automatique (a) reproduisent correctement la structure générale du texte d’entrée; (b) manifestent le même niveau de cohésion et de cohérence, en particulier dans le choix des termes, que le texte source; (c) reproduisent fidèlement les stratégies argumentatives (prémisses, déductions, conclusions) qui sont présentes dans le texte source, et (d) énoncent dans la langue cible les mêmes conclusions générales que dans la langue source. Parmi les autres difficultés de la tâche, qui pourront faire l’objet d’une attention particulière, mentionnons: la présence de nombreux extra-lexicaux (chiffres, symboles mathématiques, noms propres) et de parties non-textuelles (formules, équations, tableaux, graphiques). Notons enfin que les méthodes considérées devront être adaptées à une situation où les données monolingues sont abondantes, mais les données parallèles sont extrêmement rares: ce contexte est propice à l’utilisation de grands modèles de langue pré-entrainés.

Pour parvenir à ces fins, on s’intéressera par exemple aux architectures, déjà évoquées ci-dessus, qui exploitent un contexte discursif étendu, que ce soit pour la traduction automatique ou pour le résumé de longs documents [Koh22], ou encore aux méthodes de planification également utilisées pour la génération automatique de textes [Pup22]. L’enjeu principal de cet axe sera de rechercher les meilleurs compromis entre la complexité algorithmique du traitement de grands contextes (à l’apprentissage et à l’inférence) et le bénéfice tangible de ces efforts mesuré par de l’accomplissement des objectifs (a-d).

Un second axe de travail s’intéressera à la modélisation des stratégies discursives et des objectifs de communication associés à chacune des parties du document: une manière simple d’approximer ces objectifs s’appuie sur la structure interne des documents, mais des approches plus sophistiquées, utilisant des modèles à données latentes, devront également être considérées.

Profil recherché :

Master en Informatique ou Mathématiques Appliquées avec une spécialisation en Intelligence Artificielle, Apprentisage Automatique, Traitement des Langues, ou diplôme équivalent).

Compétences requises :

– Solides compétences en programmation (PyTorch),

– Communication en anglais écrit et parlé,

– Créativité et capacité à formuler et à résoudre des problèmes de manière autonome.

Informations générales : 

– Directrice ou directeur de thèse : François Yvon

– Co-direction éventuelle : Rachel Bawden (Inria Paris)

– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

– François YVON

– Email : yvon(at)isir.upmc.fr

– Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV et une lettre de motivation.

Télécharger l’offre de thèse

Subject: Physics-aware deep learning for modeling spatio-temporal dynamics

Context:

Physics-aware deep learning is an emerging research field aiming at investigating the potential of AI methods to advance scientific research for the modeling of complex natural phenomena. This research topic investigates how to leverage prior knowledge of first principles (physics) together with the ability of machine learning at extracting information from data. This is a fast-growing field with the potential to boost scientific progress and to change the way we develop research in a whole range of scientific domains. An area where this idea raises high hopes is the modeling of complex dynamics characterizing natural phenomena occurring in domains as diverse as climate science, earth science, biology, fluid dynamics, etc. This will be the focus of the PhD project.

Research Directions:

The direct application of state-of-the-art deep learning (DL) methods for modeling and solving physical dynamics occurring in nature is limited by the complexity of the underlying phenomena, the need for large amounts of data and their inability to learn physically consistent laws. This has motivated the recent exploration of physics-aware methods incorporating prior knowledge, by researchers from different communities (Willard et al. 2020, Thuerey et al. 2021). Although promising and rapidly developing, this research field faces several challenges. For this PhD project we will address two main challenges, namely the construction of hybrid models for integrating physics with DL and generalization issues which condition the usability of DL for physics.

– Integrating DL and physics for spatio-temporal dynamics forecasting and solving PDEs

In physics and many related fields, partial differential equations (PDEs) are the main tool for modeling and characterizing the dynamics underlying complex phenomena. Combining PDE models with ML is then a natural idea when building physics-aware DL models and it is one of the key challenges in the field. For now, this has been explored for two main directions: (i) augmenting low resolution solvers with ML in order to reach the accuracy of high-fidelity models at a reduced computational cost (Belbute-Perez et al. 2020, Kochkov et al. 2021, Um et al. 2020), and (ii) complementing incomplete physical models with ML by integrating observation data through machine learning (Yin et al. 2021a, Dona et al. 2022). The former topic is crucial for the entire field of numerical simulation while the latter allows for explorations beyond the current limits of numerical models. Simultaneously, the recent advances in neural operators (Li et al. 2021, Lu et al. 2021, Li et al. 2022, Yin et al. 2023) offer new methods for learning and modeling dynamics at different resolutions in space and time, providing the possibility of combining and learning multiple spatio-temporal scales within a unified formalism, a challenge in ML. A first direction of the PhD will then be to investigate physics-aware ML models by exploring the potential developments of hybrid models together with neural operators.

– Domain generalization for deep learning based dynamical models

Explicit physical models come with guarantees and can be used in any context (also called domain or environment) where the model is valid. These models reflect explicit causality relations between the different variables involved in the model. This is not the case for DL: statistical models learn correlations from sample observations, their validity is usually limited to the context of the training domain, and we have no guarantee that they extrapolate to new physical environments. This is a critical issue for the adoption of ML for modeling the physical world. Models of real-world dynamics should account for a wide range of contexts resulting from different forces, different initial and boundary conditions or different prior parameters conditioning the phenomenon. Ensuring generalization to these different contexts and environments is critical for real world applications. Surprisingly, only a few works have explored this challenging direction. In relation with the construction of hybrid models as described above, one will investigate this issue along two main directions. The first one exploits ideas from learning from multiple environments through task decomposition as in (Yin et al. 2021b, Kirchmeyer et al. 2022). This is a purely data-based approach. The second one, takes a dual perspective, relying on prior physical knowledge of the system equations and directly targets the problem of solving parametric PDEs (Huang 2022), exploiting ideas from meta-learning (Finn 2016).

Required Profile:

Master degree in computer science or applied mathematics, Engineering school. Background and experience in machine learning. Good technical skills in programming.

More information:

  • Supervisor: Patrick Gallinari
  • Collaboration within the framework of the thesis: INRIA team Ange, Paris; Inria team Epione, Sophia; Institut d’Alembert, Sorbonne University.
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.
  • Start date: October/November 2023
  • Note: The research topic is open and depending on the candidate profile could be oriented more on the theory or on the application side
  • Keywords: deep learning, physics-aware deep learning, climate data, fluid dynamics, earth science

Contact:

  • Patrick Gallinari
  • Email : patrick.gallinari(at)sorbonne-universite.fr
  • Please send a cv, motivation letter, grades obtained in master, recommendation letters when possible to patrick.gallinari(at)sorbonne-universite.fr
  • Application deadline: 15/12/2023

Download this offer

Résumé du projet de thèse

Nos sens sont constamment stimulés par de nombreux signaux différents qui doivent nous aider à former une perception cohérente du monde. Dans ce contexte, nous voulons explorer comment le sens tactile opère lors de tâches haptiques de manipulation d’objets tangibles en réalité virtuelle. Ces tâches auront pour objectif d’être représentatives d’interactions multisensorielles complexes telles que l’interactions avec une interface professionnelle ou le geste sportif dont elles pourront varier les stimulations dans chaque modalité sensorielle. Ce projet de thèse vise à mieux comprendre les mécanismes cognitifs de l’intégration multisensorielle d’objets dans un environnement virtuel (VR) et plus précisément à quel point des objets spécifiques peuvent être reproduits par des formes et des textures génériques à travers les effets intermodaux et l’intégration multimodale qui se produisent lors de la perception visio-haptique d’objets en VR. La thèse vise aussi à développer de nouveaux algorithmes pour créer un environnement tangible riche en VR qui se base sur un ensemble minimal d’objets et d’indices.

Thématiques Domaine 

Our knowledge of the tactile sense has largely improved in the recent years and there is accumulating evidence that the different types of tactile cues (vibrations, friction, indentation…) undergo complex cortical integration to generate the high-level tactile sensation [1]. This rich tactile information is then fused with the other sensory channels to shape the multimodal sensation of our environment. In a major study, Ernst and Banks showed that psychophysical perception of simultaneous visual and haptic cues by healthy participants followed the prediction of a maximum-likelihood integrator, which means that visuo-haptic integration was performed in a statistically optimal manner [2]. This observation was a major progress for the understanding of multimodal perception since it was first considered that the visual sense was dominant compared to touch due to its prominence [3] until evidence gradually showed that both sensory channels undergo complex integration. Moreover, multisensory integration can also transfer perceptual biases across senses. It was recently shown that perceptual illusions can transfer in both directions between the tactile and visual sense. Repeated exposure to visual motion in a given direction consequently produces the illusion of tactile motion on the fingertip in the opposite direction. Similarly, prior tactile motion produces the illusion of visual motion in the opposite direction [4]. These evidence that cross-modal effects take place between touch and the other senses have triggered the development of new research directions in Human Computer Interaction that aim at expanding the capabilities of a limited virtual environment by redirecting the user [5] or creating encounter type virtual experiences [6,7] in which a small number of tangible objects are used to recreate a richer virtual environment. However, these research trends are recent and little is known about the extent to which the user can be fooled by these sensory illusions as well as the underlying neural and cognitive mechanisms that make these illusions possible.

Objectif et contexte

– Understand the limits of current state-of-the art visuo-haptic illusions for increasing the range of tangible objects that can embedded in a VR environment.

– Define the core tactile dimensions that make visuo-haptic matching feel discrepant when a generic object is mapped into a different visual representation.

– Design HCI studies in which a small number of tangible objects create a much richer virtual environment.

Our knowledge of the tactile sense has largely improved in the recent years and there is accumulating evidence that the different types of tactile cues (vibrations, friction, indentation…) undergo complex cortical integration to generate the high-level tactile sensation [1]. This rich tactile information is then fused with the other sensory channels to shape the multimodal sensation of our environment. In a major study, Ernst and Banks showed that psychophysical perception of simultaneous visual and haptic cues by healthy participants followed the prediction of a maximum-likelihood integrator, which means that visuo-haptic integration was performed in a statistically optimal manner [2]. This observation was a major progress for the understanding of multimodal perception since it was first considered that the visual sense was dominant compared to touch due to its prominence [3] until evidence gradually showed that both sensory channels undergo complex integration. Moreover, multisensory integration can also transfer perceptual biases across senses. It was recently shown that perceptual illusions can transfer in both directions between the tactile and visual sense. Repeated exposure to visual motion in a given direction consequently produces the illusion of tactile motion on the fingertip in the opposite direction. Similarly, prior tactile motion produces the illusion of visual motion in the opposite direction [4]. These evidence that cross-modal effects take place between touch and the other senses have triggered the development of new research directions in Human Computer Interaction that aim at expanding the capabilities of a limited virtual environment by redirecting the user [5] or creating encounter type virtual experiences [6,7] in which a small number of tangible objects are used to recreate a richer virtual environment. However, these research trends are recent and little is known about the extent to which the user can be fooled by these sensory illusions as well as the underlying neural and cognitive mechanisms that make these illusions possible.

Profil et compétences recherchées

 – Le profil recherché requiert un diplôme de master en informatique, neuroscience, ou dans une discipline reliée. Nous recherchons particulièrement un profil orienté réalité virtuelle et psychophysique.

– Compétences désirées: expérience en programmation (Unity, et/ou Python, et/ou C/C++)

– Une curiosité pour la recherche interdisciplinaire et la robotique est nécessaire pour aborder le sujet de thèse.

– Niveau d’anglais requis: Avancé: Vous pouvez parler la langue de manière plus complexe, spontanée et sur des sujets variés.

Informations générales :

  • Etablissement : Sorbonne Université SIM (Sciences, Ingénierie, Médecine)
  • École doctorale : Sciences Mécaniques, Acoustique, Electronique et Robotique de Paris
  • Spécialité : Interaction Humain Machine
  • Equipe : Interactions Multi-Echelles
  • Unité de recherche : Institut des Systèmes Intelligents et de Robotique
  • Encadrement de la thèse : Gilles BAILLY
  • Co-Encadrant : David GUEORGUIEV
  • Début de la thèse : le 1 octobre 2023
  • Date limite de candidature (à 23h59) : 15 mai 2023

Lien vers l’annonce et modalités de candidature

Résumé du projet de thèse

Cette thèse vise à développer un nouvel instrument scientifique pour des applications en biologie expérimentale, notamment pour la manipulation, la caractérisation et analyse des objets de type cellules isolées, des neurones, ou encore des organes intracellulaires. Utilisant le principe des pinces optiques, des rayons lasers sont commandés pour agir directement sur des échantillons, ou pour actionner des microrobots télécommandés dans n environnement microfluidique. Ces microrobots pourront intégrer des capacités d’analyse et des capteurs bio-actives permettant ainsi un retour d’information rapide vers l’opérateur. Il s’agit d’une technologie nouvelle capable de soutenir et d’accélérer considérablement plusieurs études en biologies. Des collaborations sont démarrés avec des équipes de l’Institut Curie et Pasteur autour du cancer et des mécanismes intracellulaires.

Thématiques Domaine 

La thématique scientifique principale est la microrobotique, avec un appui fort de la physique et l’optique. Les problématiques de positionnement d’objets et de commande en effort en 6D avec une résolution et une précision microscopiques (nanomètres et picoNewtons) sont au cœur du travail. D’un point de vue de l’interaction, les solutions existantes sont généralement difficiles à appréhender pour l’utilisateur et les approches IHM est un moyen original d’y parvenir. L’immersion de l’utilisateur est en effet un atout pour s’affranchir de lois de commandes et de systèmes de planification complexes. Les pinces optiques sont une technique permettant de manipuler des objets microscopiques en utilisant un rayon laser focalisé. Ils permettent en effet d’agir sur des échantillons en solution par une action sans contact. L’ISIR a développé un système de piège laser robotisé capable de manipuler les échantillons sur 3 dimensions tout en mesurant les efforts d’interaction en temps-réel. Néanmoins, la difficulté de prise en main de ces dispositifs reste une étape importante à franchir, notamment lorsque cela concerne des objets en dehors du plan image.

Objectif et contexte

Développer un nouvel instrument de manipulation et de caractérisation des échantillons biologiques in-vitro, en utilisant les technologies microrobotiques et microfluiduques. Les performances actuelles du système de pince optiques développé à l’ISIR montrent qu’il est possible de piéger et de déplacer simultanément plusieurs particules avec une résolution en effort proche de 10pN. Utilisant ces principes, des microrobots mobiles ont été réalisés. Actionnés par les lasers, ces ‘optobots’ d’une taille de quelques micromètres, seront utilisés pour effectuer des opérations sur des échantillons biologiques, comme la caractérisation mécanique, mesure des interactions, ou encore injection génétiques et analyses électriques. Cependant, atteindre de telles performances s’est fait au détriment de la simplicité d’utilisation. Ceci est dû notamment à la conception du chemin optique et aux lois de commandes complexes utilisées.

Méthode

L’approche proposée concerne le développement d’un système microrobotique intuitif, combinant des phases téléopéré et automatique, en utilisant des microrobots mobiles et le contrôle de flux dans un circuit microfluidique. En collaboration avec des biologistes, on s’attachera à développer des expériences d’analyse des mécanismes d’interaction cellulaire à travers ce nouveau système, pouvant fonctionner de façon semi-autonome sous la supervision d’un technicien.

Résultats attendus

L’objectif de ce projet est tout d’abord de développer des applications en biologie expérimentale pour démontrer les avantages de ce système et l’imposer comme un nouvel instrument scientifique. Une collaboration est établie avec des équipes de l’Institut Pasteur et de l’Institut Curie pour exploiter ces possibilités dans la recherche autour des cancers et des études sur les mécanismes intracellulaires. Dans ce cadre, il est nécessaire d’optimiser interactivité pour que l’utilisateur soit en mesure de planifier des trajectoires complexes pour piéger et déplacer des objets, automatiser les opérations et relever des résultats. On s’intéressera aussi aux modalités d’interaction Humain/Machine: les interfaces haptiques dédiées, notamment parmi les réalisations précédentes du labo comme le ‘FishTank’ sont des candidats prometteurs pour développer une chaîne d’interaction transéchelle, multi-modale.

Profil et compétences recherchées

Profil Ingénieur Généraliste / Robotique ou Physique appliquée ou Instrumentation Scientifique. Des connaissances en biologie expérimentale ou optique laser seront appréciées.

Informations générales :

  • Etablissement : Sorbonne Université SIM (Sciences, Ingénierie, Médecine)
  • École doctorale : Sciences Mécaniques, Acoustique, Electronique et Robotique de Paris
  • Spécialité : Robotique
  • Equipe : Interactions Multi-Echelles
  • Unité de recherche : Institut des Systèmes Intelligents et de Robotique
  • Encadrement de la thèse : Sinan HALIYO
  • Co-Encadrant : Stéphane REGNIER
  • Début de la thèse : le 1 octobre 2023
  • Date limite de candidature (à 23h59) : 22 mai 2023

Lien vers l’annonce et modalités de candidature

Titre de la thèse : Efficient interaction through information maximization

Contexte :

La conception d’interfaces est un processus itératif. En général, un concepteur propose une interface à partir d’intuitions, de ses connaissances, et la soumet aux commentaires des utilisateurs pour en modifier la conception initiale. Ce cycle peut se répéter un certain nombre de fois jusqu’à ce que l’interface soit jugée appropriée. Cette approche présente plusieurs inconvénients et l’ensemble du processus est généralement long car il nécessite plusieurs allers-retours entre le(s) concepteur(s) et les utilisateurs. Des approches informatiques de la conception d’interfaces ont été récemment proposées. Dans la première étape du processus de conception, l’interface résulte de la maximisation d’une fonction de coût bien choisie. La principale difficulté de ce type d’approche est que la solution n’est qu’aussi bonne que la fonction de coût, qui doit être conçue à la main pour chaque problème. Cette thèse propose d’étudier des approches génériques de la conception d’interfaces qui exploitent des fonctions de coût « universelles » basées sur des mesures d’information (entropie).

Description du projet :

Cette thèse propose d’étudier des approches génériques de la conception d’interfaces qui exploitent des fonctions de coût « universelles » basées sur des mesures d’information (entropie), comme BIG.
Ces dernières présentent quelques inconvénients: impossibilité de tenir compte de la valeur de certains états, aucune garantie sur la proximalité de l’interaction, nécessité d’information à priori sur l’utilisateur, et, en général, une démonstration que sur des problèmes de taille réduite.

Le but de la thèse est de remédier à ces problèmes, en se basant notamment sur des techniques existantes d’estimation et de maximisation d’information mutuelle connues en informatique et en théorie de l’information.
Le candidat devra notamment évaluer empiriquement les techniques mises en œuvre, et leur efficacité pour l’interaction avec des sujets humains, au moyen d’expériences contrôlées.

Objectif scientifique :

Le doctorant devra:
1. Examiner et comparer les mesures d’information mutuelle mentionnées avant sur des bases analytiques et empiriques.
2. Solutionner les lacunes de BIG dans un cadre théorique, puis démontrer l’efficacité de la solution de manière empirique. A ce stade, le candidat devra implémenter un logiciel qui dépasse le cadre du prototype, par exemple un clavier intelligent avec plusieurs fonctionnalités.
3. Développer et maintenir une bibliothèque logicielle mettant en œuvre les algorithmes nécessaires à la maximisation et à l’inférence de l’information mutuelle utilisés par le candidat.

Profil recherché :

Le candidat devra faire preuve d’un intérêt pour la modélisation et les techniques d’apprentissage Bayesienne. L’intérêt et les connaissances préalables en matière de recherche expérimentale et de programmation de logiciels, et une connaissance des notions de base de la théorie de l’information seront appréciées.

Informations générales : 

  • Directeur de thèse : Gilles Bailly
  • Co-direction éventuelle : Julien Gori
  • Collaboration dans le cadre de la thèse : Olivier Rioul (Institut Polytechnique de Paris)
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

  • Julien Gori
  • Email : gori(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV, les relevés de notes M1/M2, et une lettre de motivation.
  • Date limite de dépôt de la candidature : 15 mai 2023

Télécharger l’offre de thèse

 

Thesis subject : Learning and making decisions with GUI: A computational neuroscience approach

Context

The figure illustrates a common phenomenon in Human-Computer Interaction (HCI) where users have the choice between two ways to accomplish a task. The beginners’ one (e.g. Menu) is easy to learn, but only allows a low level of performance. The experts’ one (e.g. shortcut) is more difficult to learn but provides a higher final level of performance.

A major problem in HCI is that most users stick to the beginners’ mode due to the performance dip they experience when attempting to switch to the experts’ mode: They continue to use the beginner’s mode and do not adopt the expert mode. This is true at the command level (e.g., using Copy & Paste instead of Duplicate), at the method level (using menu instead of shortcut) or the application level (e.g., using a simple software instead of the corresponding powerful one).

The team has proposed a first computational model [1], based on reinforcement learning techniques commonly used to study decision-making in neuroscience [3,7]. It identified a number of essential characteristics (explicit and implicit learning, memory decay, planning and behavioral persistence) to explain the learning dynamics of human subject using a GUI with menus and shortcuts. It did not, however, model the automatization of behavior into habituals [6].

Project description

The objective of this project is twofold. First, it consists of understanding why and when users switch or do not switch to expert methods. To achieve this, the candidate will build a computational model of user behavior to explain and predict expert methods adoption, extending the already published one.

Second, it consists of designing interventions (feedback, feedforward, notifications) to motivate and assist the users in the transition from beginners to experts behavior. To achieve this, the system will use the actual user behavior as well the computational model to trigger the best intervention at the right time.

One originality of this project is to build on existing theories, models and methods in computational neurosciences (e.g., computational rationality) to address challenging problems in HCI.

Required profile and required skills

Applications with a strong academic record in HCI and/or Cognitive sciences/Neuroscience.

Interest and/or experience in computational user modeling; Reinforcement Learning (RL).

Thesis environment

The project is part of the ANR NeuroHCI involving researchers both in HCI and Neuroscience. The Ph.D. candidate will integrate a multi-disciplinary environment that provides a unique and healthy research environment, with many other fellow Ph.D. students working in a wide variety of topics, including: robotics, HCI, machine learning, perception, cognitive science, haptics and social interaction. We strive to provide fertile ground for personal and academic growth through regular team and individual meetings, giving students the chance to explore their own interests and exchange freely with fellow students. The development and the success of our students from bachelor to Ph.D. is our highest priority. Through regular and personal guidance, we ensure that students lead successful research projects and are prepared for a future academic or industrial job.

Informations générales : 

  • Directeur de thèse : Gilles BAILLY
  • Co-direction éventuelle : Benoît GIRARD
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Gilles BAILLY
  • Email : gilles.bailly(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 1 Juillet 2023

Télécharger l’offre de thèse

Thesis subject : Designing interaction for remote collaboration in the operating room

Context

To perform surgery, surgeons typically work in collaboration with a team of experts, for example a more senior surgeon advising on a surgical technique, a radiologist interpreting an x-ray or ct- scan, or an anatomic-pathologist interpreting microscopic images of tissue to diagnose cancer. These experts are typically not present in the Operating Room (OR), and therefore the surgeon conducts remote consultations through phone calls. Our hypothesis is that existing tools for remote collaboration are not effective nor easy to use when working in the OR because they lack effective interaction mechanisms. The challenges of interacting with a collaborative system are that the primary task, performing surgery, is cognitively demanding, but also physically demanding, as both hands of the surgeon are busy handling instruments (Avellino et al., 2021). Moreover, the hands of surgeons are sterile, and using classic means of interaction (mouse or keyboard) requires breaking sterility and re-sterilizing before going back to the patient. Previous works in Human–Computer Interaction (HCI) and Computer Supported Collaborative Work (CSCW) have studied interaction techniques in the OR, for example controlling imaging systems through voice and gesture (Feng et al., 2021; Mentis et al., 2015) or a combination of gaze and feet (Hatscher et al., 2017), and a robotic endoscope using a multimodal technique that combines several input mechanisms (Avellino et al., 2020). Nonetheless, these techniques (1) have not been studied in the context of remote collaboration, but rather individual work in the OR, and (2) they have not been adopted in real surgical work thus far, pointing to a partial support of the wide variety of needs during surgery. So far, research has been able to conduct studies where the remote expert interacts, such as studying the benefits of remote pointing (Mentis et al., 2020; Semsar et al., 2019, 2020). This project will open the door for a large body of work that can study the benefits and challenges of remote collaboration where both parties can interact with systems.

Objectives and Contributions

1. The first objective is empirical: it consists of understanding the constraints of the work in the OR for interaction, (2) current practices for using interactive systems, and (3) the needs of surgeons while conducting remote consultations with colleagues. This will be studied through field studies, and the contributions will include guidelines and implications for the design of interaction techniques in the OR.

2. The second objective is technological: it consists of designing and implementing interaction techniques for remote collaboration in the OR. These can include for example the use of AV/VR (Gasques et al., 2021). Then, evaluating the techniques through lab experiments and field studies in the OR.

Impacts

Enabling interaction with remote surgeons, will favour jointly navigating pre-operative images for co-interpretation, to joint decision making when it comes to determining the next steps of the surgery. Moreover, it will open new opportunities for learning surgical techniques, an area that is in need of improvement given the growing number of medical students (Berman et al., 2008).

Seeked Profile

We are seeking candidates with a master degree in one of the following topic areas: Human– Computer Interaction (HCI), Computer Supported Cooperative Work (CSCW), Cognitive Science or Healthcare Technology. Candidates from other fields are encouraged to apply given they have an interest in interaction and surgery. We require an interest in reading and writing academic research, as well as having a good academic record. Lastly, candidates should be fluent in English.

Please keep in mind that a Ph.D. student is exactly that: a student. Thus, we do not expect candidates to have a full set of skills when applying to this position. What we expect is to have the motivation to learn and develop certain skills throughout this thesis. So please reflect on what skills you bring and want to develop further, and what new skills you want to acquire when applying. As supervisors, we will do our best to support you in developing them and becoming a successful Ph.D!

Double Mentoring Funding and Thesis Environment

The double mentoring of the Institut Universitaire d’Ingénierie en Santé funding, by a researcher and a practitioner, will provide a unique opportunity for the Ph. D. student, as they will work in an engineering lab as well as in a teaching hospital, having access to both technical knowledge, high- end materials and experimental rooms, as well as clinical knowledge, the possibility to observe surgery, and the chance to develop a network of clinicians that can participate in studies.

The Ph.D. candidate will integrate a multi-disciplinary environment that provides a unique and healthy research environment, with many other fellow Ph.D. students working in a wide variety of topics, including: robotics, HCI, machine learning, perception, cognitive science, haptics and social interaction. We strive to provide fertile ground for personal and academic growth through regular team and individual meetings, giving students the chance to explore their own interests and exchange freely with fellow students. The development and the success of our students from bachelor to Ph.D. is our highest priority. Through regular and personal guidance, we ensure that students lead successful research projects and are prepared for a future academic or industrial job.

Informations générales : 

  • Directrice ou directeur de thèse : Gilles Bailly
  • Co-direction éventuelle : Dr. Geoffroy Canlorbe, Ignacio Avellino
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

  • Ignacio Avellino
  • Tel: +33144276217
  • Email : ignacio.avellino(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 15 Mai 2023

Télécharger l’offre de thèse

Offres d’emploi

Intitulé du poste : Post-doc en haptique et interactions humain-machine multisensorielles

Contexte :

Ce post-doc s’inscrit dans le cadre du projet ANR NeuroHCI. L’objectif global de NeuroHCI est d’améliorer la prise de décision humaine dans les mondes physique et numérique dans des contextes en interaction. Il existe différents scénarios dans lesquels un humain prend une décision avec un système interactif. La décision peut concerner un choix complexe du monde réel assisté par un ordinateur (par exemple, un traitement médical), le choix d’une méthode pour réaliser une tâche numérique (par exemple, retoucher une photo avec l’outil préféré), ou la manière dont nous décidons de la meilleure façon. pour effectuer une interaction haptique.

Missions :

L’approche scientifique envisagée reposera sur l’optimisation du retour haptique fourni à l’utilisateur en ce qui concerne la vision et l’audition en tirant parti de modèles informatiques d’intégration multisensorielle. Ainsi, les activités scientifiques du projet s’articuleront autour des questions suivantes:

– Comment s’assurer que les incohérences entre ce que l’utilisateur voit et ce qu’il ressent ne brisent pas l’illusion et comment atténuer leurs effets sur l’expérience utilisateur ?

– Comment les incohérences visuo-haptiques influencent les stratégies des utilisateurs (par exemple, avec quels objets ils décideront d’interagir) et la prise de décision de haut niveau

Profil recherché :

Le candidat idéal doit être titulaire d’un doctorat et d’une solide expérience en interaction homme-machine et/ou en sciences cognitives.

Compétences requises :

– Expérience en haptique désirée ;

– Solides compétences en Python, Matlab ou équivalent ;

– Bonne connaissance de la conception expérimentale, de la psychophysique et des statistiques ;

– Excellent dossier de publication ;

– Volonté de travailler dans une équipe multidisciplinaire ;

– Bonnes compétences en communication;

Information générale :

– Date de début de contrat : au plus tard le 01/06/2024
– Durée du contrat : 24 mois
– Quotité de travail : 100%
– Expérience souhaitée : Débutant à 4 ans
– Niveau d’études souhaité : Doctorat
– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

– David Gueorguiev ; david.gueorguiev(at)sorbonne-universite.fr

– Envoyer votre candidature par mail, avec [nom de l’offre] en objet, un CV et une lettre de motivation.

Télécharger l’offre d’emploi

Intitulé du poste : Ingénieur-e en CDD (24 mois) en IA explicable pour l’onco-immunologie

Contexte : Projet collaboratif XOMX entre l’ISIR et l’Institut Curie

Missions : Développement et application d’approches d’IA explicables pour l’onco-immunologie.

Le projet s’inscrit dans le cadre d’une collaboration entre l’ISIR et l’équipe de Joshua Waterfall (https://institut-curie.org/team/waterfall/) de l’Institut Curie à Paris (https://www.isir.upmc.fr/) et impliquera des interactions actives avec les deux équipes.

L’objectif principal sera de contribuer au développement de la suite d’outils XOMX (https://github.com/perrin-isir/xomx) pour des approches d’IA interprétables dans l’analyse d’ensembles de données de profilage moléculaire à haut débit. Les applications spécifiques comprennent le diagnostic du cancer à partir du profilage de l’ADN/ARN, l’analyse du séquençage à cellule unique et l’immunopeptidomique. Le candidat retenu travaillera dans un environnement de collaboration étroite entre les deux laboratoires, en lien également avec des biologistes et des cliniciens.

Profil recherché :

Nous attendons principalement des candidats ayant une solide formation en informatique et en apprentissage machine, et une motivation pour apprendre l’onco-immunologie.

Compétences requises :

– Une expérience en python est essentielle et d’autres langages (par exemple R) et gestionnaires de pipeline (nextflow, snakemake, kedro) sont les bienvenus ;

– Une expérience avec des ensembles de données biologiques (en particulier des données de séquençage à haut débit) est un plus ;

– Aptitude à travailler sur des clusters de calcul ;

– Motivation personnelle et capacité à collaborer avec des biologistes et des cliniciens ;

– Présentation et communication des résultats.

Information générale :

– Date de début de contrat : dès que possible
– Durée du contrat : 24 mois
– Quotité de travail : 100%
– Expérience souhaitée : Débutant à 10 ans
– Niveau d’études souhaité : Master 2
– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

– Nicolas Perrin-Gilbert ; perrin(at)isir.upmc.fr

– Envoyer votre candidature par mail, avec [nom de l’offre] en objet, un CV et une lettre de motivation.

– Date limite de dépôt de la candidature : 15/10/2023

Télécharger l’offer d’emploi

Assistant-e en gestion financière et comptable

Catégorie : A

Corps : CDD de 2 ans niveau ASI (Assistant-e Ingénieur-e)

BAP : J

Mission :

Il s’git d’un contrat à durée déterminée de 2 ans pour réaliser des fonctions financières au sein du service financier du service administratif de l’ISIR. L’assistant-e doit assurer la gestion financière et comptable des dépenses et/ou recettes dans le respect des techniques, des règles et des procédures applicables au domaine de la gestion financière et/ou comptable

Activités principales :

  • Assurer l’ensemble des opérations financières (achats, missions, suivi des coûts de recrutement) dans le respect des règles du domaine en utilisant les systèmes d’information des tutelles (SIFAC/GESLAB/NEO/SIMBAD/CADROL…) pour plusieurs équipes de recherche et services de l’unité.
  • Réaliser le suivi des crédits et conventions pour les porteurs de projets en coordination avec les autres gestionnaires financières du laboratoire pour plusieurs équipes de recherche de l’unité.
  • Participer à l’établissement des états et bilans comptables et/ou financiers et les tableaux de bord nécessaires au suivi de l’activité, à partir des systèmes d’information des tutelles.
  • Participer à la mise en oeuvre de la politique d’achat.
  • Transmettre les informations pratiques sur les procédures administratives, financières et/ou comptables, sur l’évolution de la législation et de ses conséquences.
  • Suivre l’évolution des règles, directives et procédures financières et/ou comptables.
  • Classer et archiver les justificatifs des opérations financières et/ou comptables.
  • Répondre aux audits des tutelles

Autres activités :

  • Participer à l’activité du service administratif pour assurer la continuité de service.

Conduite de projets : Non

Encadrement : Non

Connaissances transversales requises :

  • Règles et techniques de la comptabilité
  • Comptabilité analytique
  • Systèmes d’information budgétaires et financiers
  • Connaissances budgétaires générales et des règles en matière de gestion financière publique appréciées
  • Organisation et fonctionnement de la recherche et de l’enseignement supérieur en France
  • Organisation et fonctionnement de Sorbonne Université et du CNRS
  • Langue anglaise : B1 (cadre européen commun de référence pour les langues)

Savoir-faire :

  • Appliquer des règles financières
  • Analyser les données comptables et financières
  • Maîtriser l’outil informatique généraliste (traitement de texte, tableur, navigateur…)
  • Utiliser les logiciels spécifiques comptables (SIFAC / GESLAB appréciés)

Savoir-être :

  • Bon relationnel et sens du travail en équipe
  • Confidentialité
  • Esprit d’initiative et d’équipe
  • Disponibilité et réactivité
  • Organisé
  • Sens du service public

Pour candidater : 

Les candidat-e-s intéressé-e-s peuvent envoyer leur candidature par email à direction(at)isir.upmc.fr avec un CV et une lettre de motivation. Pour tout renseignement complémentaire, vous pouvez contacter Adela Kabaklija – Assistante de direction (01 44 27 52 09) ou Yves Germain – Secrétaire général (01 44 27 51 97).

Télécharger la fiche de poste

Post-doc position « Manipulation in robotics with model-free model-based hybrid approaches »

Research activity:

The goal of the PostDoc is to advance the state-of-the-art in robotic manipulation regarding industrial and agricultural applications in the context of EU projects PILLAR and EuRobin. The main objective will be to develop control strategies to accomplish manipulation tasks. For this purpose, we will explore hybrid approaches benefiting from both model-based (such as optimal control, model predictive control, and model-based RL) and model-free ones (such as learning from demonstration, and model-free RL). The majority of the research activity for this position will be dedicated to formulating, developing, programming, validating, and finally integrating such control strategies into the dedicated robotic platforms; i.e., integrating with perception, planning, natural language, and cognitive modules that are being developed in the EU projects. The robotic platform used for developing algorithms consists of two 7-axis Franka Emika collaborative arms. The manipulation capacities targetted in these projects are diverse: pulling/pushing sliders and drawers, opening/closing doors, cleaning and tidying up working stations, handing-over objects, using tools, probing, manipulating soft objects such as cables, etc.

The research activities will be supervised by Prof. Stephan Doncieux and Prof. Mahdi Khoramshahi in collaboration with the other researchers at ISIR involved in PILLAR-robots and EuRobin projects.

The position:

This is a one-year full-time PostDoc position. A second-year contract will be granted upon completion of the first year and the satisfaction of both parties. The position will be paid according to the French salary regulations for postdoctoral scholars considering the level of experience of the candidate.

The required Skills:

The applicants should ideally have:

1) a Ph.D. in robotics and Control Systems,

2) good experience with programming (C++, Python under ROS1 and ROS2), and experience with robotic simulation environments (e.g., Gazebo and Bullet) will also be appreciated,

3) a clear publication record in the major robotics conferences/journals (e.g., ICRA, IROS, RSS, RAL, TRO, IJRR),

4) Strong interest in scientific research: both theoretical (e.g., physical human-robot interaction, intention recognition, manipulation, and grasping) and experimental (design and implementation of experiments with integrated systems and robots),

5) Ability to collaborate with high autonomy and self-responsibility

6) Availability to travel to project meetings with partners.

The PILLAR-robots project:

The EU-funded PILLAR-Robots project is developing a new generation of robots that can build on the experience acquired during the robots’ lifetime to fulfill the wishes of their human designers/users in real-life applications. Researchers will operationalize the concept of « purpose, » drawn from the cognitive sciences, to increase robot autonomy and domain independence during autonomous learning. The goal is to provide the robots with the knowledge and skills needed to operate under targeted applications. The project will use purposeful intrinsically motivated cognitive architecture in agri-food, edutainment, and unstructured industrial/retail field demonstrations.

https://cordis.europa.eu/project/id/101070381

euROBIN: A European network of excellence in robotics:

The euROBIN (European ROBotics and AI Network) project is an initiative funded by the European Union to create a network of excellence in robotics and artificial intelligence (AI). This network brings together leading researchers, institutions, and industrial partners in the field of robotics and AI, to develop innovative European technologies and solutions. The vision of euROBIN is to create a European ecosystem of robots capable of sharing their data and knowledge, exploiting their diversity to jointly learn to perform an infinite variety of tasks in human environments. The euROBIN project aims to make significant progress in four key scientific areas: Interaction with the environment, Transfer of learned knowledge, Transferable knowledge representation, and Human-centred knowledge transfer. The euROBIN project will demonstrate the relevance of its scientific results in four promising areas of application: personal robots, industrial robotics, robotics for the circular economy, and robots for quality of life and well-being.

The euROBIN network includes 31 partners from 14 countries, with leading research institutions and industrial partners in the field of robotics and AI.

https://www.eurobin-project.eu/

Information générale :

  • Date de début de contrat : à partir de septembre 2023
  • Durée du contrat : 12 mois
  • Quotité de travail : 100%
  • Expérience souhaitée : 1 à 10 ans
  • Niveau d’études souhaité : Doctorat
  • Montant rémunération : sur grille
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Pour candidater :

Les candidat-e-s intéressé-e-s peuvent contacter le professeur Mahdi Khoramshahi [mahdi.khoramshahi@isir.upmc.fr] ET le professeur Stéphane Doncieux [stephane.doncieux@sorbonne-universite.fr], avec pour objet « [CANDIDAT AU POSTDOC] », en fournissant leur CV et une lettre de motivation décrivant brièvement leur parcours et leur plan de carrière. Le poste reste ouvert jusqu’à ce qu’un candidat satisfaisant soit trouvé.

Télécharger l’offre de postdoc

Position title: Human-Aware situation assessment for joint action

The PIRoS (Perception, Interaction and Robotique Sociales) team of the Institute for Intelligent Systems and Robotics (ISIR) at Sorbonne University (Paris) is looking for a for a highly motivated and ambitious postdoctoral researcher to conduct research on human-robot interaction & machine learning.

Description

Communication is a key factor to achieve successful coordination during a joint huma-robot action. Humans and robots communicate and coordinate during the execution of the joint action using multimodal cues such as speech, gaze and gestures.  By doing so humans build a mental model of the robot. Mental models enable humans to infer a robot’s intention, anticipate actions, establish a common ground and share goals. However, endowing robots with similar models is challenging.

This post-doc position will be focused on the development of new computational models of human-robot communication. These human-aware models will be built by continuously observing human activities and environment and aim to infer human mental states. Human-Centered Machine Learning techniques will be developed to explicitly take into account human specificities in the prediction of multiple mental states such as beliefs, intentions, preferences, competence and rationality. Following a Human-Centered approach, the post-doc position will also consider ethical issues in both modeling (e.g. biases) and experimental (e.g. with human participants) parts of the research work.

Human-Aware situation assessment systems will be evaluated in collaborative tasks such as human-robot handovers using both quantitative (e.g., task efficiency) and qualitative metrics (fluency, trust). The candidate will have the opportunity to conduct experiments with various robots (Franka Emika, Pepper, Mobile Manipulators) as well as ISIR’s robots partners.

She/He will work in collaboration with PhD students, post-docs and public/private partners of ISIR. In particular, the position is part of the euRobin network, which aims to advance AI tools, software, architectures, and hardware components in a reproducible approach (European Network of Excellence Centres in Robotics (RIA)). This position is for 18 months contract, but there is a possibility to be extended depending on the performance and circumstances.

Requirements 

The ideal candidate must have a PhD degree and a strong background in machine learning, robotics or cognitive science/neuroscience.
The successful candidate should have:

  • Experience in robotics
  • Good knowledge of Machine Learning Techniques
  • Good knowledge of experimental design and statistics
  • Excellent publication record
  • Strong skills in Python
  • Willing to work in multi-disciplinary and international teams
  • Good communication skills

Application 

Interested candidates should submit the following by email in a single PDF file to: mohamed.chetouani[@]sorbonne-universite.fr with the subject: Application Post-Doc HRI-ML

  1. Curriculum vitae with 2 references (recommendation letters are also welcome)
  2. One-page summary of research background and interests
  3. At least three papers (either published, accepted for publication, or pre-prints) demonstrating expertise in one or more of the areas mentioned above
  4. Doctoral dissertation abstract and the expected date of graduation (for those who are currently pursuing a Ph.D)

Application’s deadline: May 15, 2023.

General Information: 

  • Contract start date: from July 2023
  • Duration of the contract : 18 months
  • Working hours: 100% of the time
  • Desired experience: 1 to 10 years
  • Desired level of studies: PhD thesis
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Contact person:

  • Mohamed Chetouani
  • Tel:+33144276308
  • Email : mohamed.chetouani(at)sorbonne-universite.fr

Download this offer

Position title: Learning multimodal behavior representations for personalized human-machine interaction

The PIRoS (Perception, Interaction and Robotique Sociales) team of the Institute for Intelligent Systems and Robotics (ISIR) at Sorbonne University (Paris) is looking for a for a highly motivated and ambitious postdoctoral researcher to conduct research on human-machine interaction & machine learning.

Description

Personalized Human-Machine Interaction systems provide experiences that are tailored to the human partner’s individual needs and preferences. For this purpose, they require user models that are usually inferred from a user profile and/or from the observation of human’s actions. The ability to adapt to changing contexts or individuals is important and poses numerous challenges concerning multimodal data collection and interpretation, privacy, and transparency. There is a need to develop new human behavior representations able to reflect heterogeneity between users, while preserving privacy.

This post-doc will be focused on the development of human-centered machine learning techniques for personalized adaptation. These techniques will result in the computation of human behavior representations from multimodal data using pragmatic reasoning in order to improve interpretation of context-dependent components of human-behaviors. Pragmatic reasoning will equip human-machine interaction systems (robots, serious games) with a greater degree of human partner awareness enabling them to account for latent intent or state. Following a Human-Centered approach, the post-doc position will also consider ethical issues in both modeling (e.g. biases, privacy) and experimental (e.g. with vulnerable participants) parts of the research work.

To evaluate the effect of computational models on the personalization of human-interaction systems, experiments will be conducted with robots/serious games with different profiles (children, adults, seniors). The candidate will have the opportunity to take advantage of experimental settings of the team, including a Neuro-Development Living & Learning Lab s (LiLLab).

This position is for 18 months contract, but there is a possibility to be extended depending on the performance and circumstances.

Requirements

The ideal candidate must have a PhD degree and a strong background in machine learning, human-machine interaction or cognitive science/neuroscience.

The successful candidate should have:

  • Experience in human-machine interaction
  • Good knowledge of Machine Learning Techniques
  • Good knowledge of experimental design and statistics
  • Excellent publication record
  • Strong skills in Python
  • Willing to work in multi-disciplinary and international teams
  • Good communication skills

Application

Interested candidates should submit the following by email in a single PDF file to: mohamed.chetouani[@]sorbonne-universite.fr with the subject: Application Post-Doc Multimodal Representation
1. Curriculum vitae with 2 references (recommendation letters are also welcome)
2. One-page summary of research background and interests
3. At least three papers (either published, accepted for publication, or pre-prints)
demonstrating expertise in one or more of the areas mentioned above
4. Doctoral dissertation abstract and the expected date of graduation (for those who are
currently pursuing a Ph.D)

Application’s deadline: May 15, 2023.

General Information: 

  • Contract start date: from July 2023
  • Duration of the contract : 18 months
  • Working hours: 100% of the time
  • Desired experience: 1 to 10 years
  • Desired level of studies: PhD thesis
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Contact person: 

  • Mohamed Chetouani
  • Tel:+33144276308
  • Email : mohamed.chetouani(at)sorbonne-universite.fr

Download this offer

Mission

Assurer la conception et la réalisation des projets d’instruments en fonction des besoins scientifiques et/ou fait évoluer ceux déjà existants

Famille d’activité professionnelle 

Instrumentation et expérimentation

Correspondance statutaire 

Ingénieur de recherche

Famille d’activité professionnelle REME 

Enseignement supérieur – Recherche

Emploi-type de rattachement (REME) 

Ingénieur

Activités principales 

  • Analyser les besoins scientifiques et les traduire en spécifications techniques
  • Proposer un concept d’instrument
  • Rédiger un cahier des charges techniques et la matrice de performance
  • Concevoir l’instrument, assurer sa réalisation et garantir sa sûreté de fonctionnement
  • Planifier le développement de l’instrument
  • Concevoir les plans d’intégration, de recettes et de tests
  • Piloter et contrôler les intégrations des systèmes et sous-systèmes
  • Valider et qualifier l’instrument à ses différentes étapes
  • Gérer l’ensemble des ressources humaines, techniques et financières
  • Structurer une veille technologique
  • Présenter, diffuser et valoriser les réalisations
  • Faire appliquer les règles de sécurité
  • Conseiller dans son domaine d’expertise
  • Valider, en relation avec les cellules administratives compétentes, la structure des consortiums dans les cas de projets internationaux

Compétences principales 

Connaissances 

  • Techniques et sciences de l’ingénieur (optique, automatisme, micro-informatique, mécanique) (connaissance approfondie)
  • Outils et logiciels spécifiques au domaine : conception, modélisation… (connaissance approfondie)
  • Méthodes de Calcul (connaissance approfondie)
  • Instrumentation et mesure (rayonnements, matière, thermodynamique… )
  • Environnement et réseaux professionnels
  • Techniques de présentation écrite et orale
  • Langue anglaise : B2 (cadre européen commun de référence pour les langues)

Compétences opérationnelles 

  • Anticiper les évolutions fonctionnelles et techniques
  • Piloter un projet
  • Encadrer / Animer une équipe
  • Animer une réunion
  • Conduire une négociation
  • Appliquer les procédures d’assurance qualité
  • Appliquer les règles d’hygiène et de sécurité
  • Gérer un budget
  • Appliquer la réglementation des marchés publics
  • Assurer une veille

Compétences comportementales 

  • Curiosité intellectuelle
  • Sens critique
  • Sens de l’organisation

Diplôme réglementaire exigé – Formation professionnelle si souhaitable 

  • Doctorat, diplôme d’ingénieur
  • Domaine de formation souhaité : Sciences physiques
  • Expérience souhaitable : en R&D dans une industrie

Lien vers l’offre pour le poste d’ingénieur-e de recherche.

Post-doc : Apprentissage en robotique, avec application à la saisie d’objets

Contexte :

Dans le cadre du projet FET Proactive DREAM (http://dream.isir.upmc.fr/), une approche de la robotique adaptative basée sur l’apprentissage ouvert a été définie. L’objectif principal est de permettre à un robot d’apprendre sans nécessiter une préparation minutieuse par un expert. Cette approche soulève de nombreux défis, notamment l’apprentissage avec des récompenses rares, l’apprentissage de représentations (pour les états et les actions), l’apprentissage et l’exploitation de modèles, le transfert d’apprentissage, le méta apprentissage et la généralisation. Ces sujets sont considérés en simulation, mais aussi sur des plateformes robotiques réelles, notamment dans le contexte de la saisie d’objets.

Missions :

Ce poste vise à contribuer à ces sujets dans le cadre de plusieurs projets européens, en particulier SoftManBot, Corsmal, INDEX et Learn2Grasp. S’appuyant sur les travaux antérieurs de l’équipe de recherche, les approches proposées devront être facilement adaptables à différentes plateformes robotiques et seront donc appliquées à différents robots (bras Panda de Franka-Emika, Baxter, PR2 ou TIAGO, par exemple).

Profil recherché :

Les candidats à ce poste doivent être titulaires d’un doctorat en apprentissage machine ou dans un domaine connexe dans lequel des applications robotiques (simulées ou réelles) ont été considérées.

Compétences requises :

Une excellente formation est attendue en apprentissage machine ainsi qu’une expérience en robotique. D’excellentes compétences en programmation en Python sont attendues.

Plus d’informations : 

  • Type de poste : Chercheuse / Chercheur post-doctoral
  • Durée du contrat : 24 mois
  • Niveau d’études souhaité : Doctorat
  • Montant rémunération : Rémunération en fonction de l’expérience
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Stéphane Doncieux
  • stephane.doncieux(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [nom de l’offre] en objet, un CV et une lettre de motivation.

Télécharger l’offre d’emploi

Offres de doctorat, postdoctorat ou d’ingénieur·e de recherche pour le groupe HCI Sorbonne (Human Computer Interaction)

Contexte :

Nous avons plusieurs postes pour un postdoctorat ou en tant qu’ingénieur·e de recherche dans le groupe HCI Sorbonne (https://hci.isir.upmc.fr) à Sorbonne Université, Paris, France.

Missions :

Nous cherchons des personnes curieuses qui souhaitent réaliser des projets de recherche à l’intersection de l’IHM et neuroscience avec (au choix) la RV, l’haptique, la robotique ou l’IA. Des sujets possibles sont :

  • Nouvelles techniques d’interaction en RV,
  • RV et Haptique pour le jeux et/ou l’apprentissage,
  • Modèles computationnels pour l’apprentissage, la prise de décision et la performance humaine,
  • Systèmes de recommandation s’appuyant sur l’IA.

Exemples de travaux récents dans ces domaines :

Profil recherché : 

Pour un post-doctorat, un doctorat en IHM ou un domaine en lien avec l’IHM est nécessaire.

Compétences requises :

  • Compétences solides en programmation et analyse strong programming and analytical skills,
  • Solide expérience dans au moins un de ces domaines : IHM, RV, Haptique, Robotique, IA.

Plus d’informations : 

  • Type de poste : Postdoctorat ou Ingénieure de Recherche
  • Date de début de contrat : dès que possible
  • Durée du contrat : 1 à 2ans
  • Niveau d’études souhaité : Master 2 (pour ingénieur), doctorat (pour post-doc)
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personnes à contacter : 

  • Gilles Bailly et Sinan Haliyo
  • Email : gilles.bailly(at)sorbonne-universite.fr ; sinan.haliyo(at)sorbonne-universite.fr
  • Candidature : Envoyer votre candidature par mail, avec un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : Aucune

Télécharger la fiche de poste

Offres de stage

Il n’y a pas d’offres de stage pour le moment.