Home » Nous rejoindre » Opportunités

Opportunités

Offres de thèse

Subject: From tactile sensing to compliant control of robotic hands for manipulation of soft objects in agricultural scenarios 

Objective:

The objective of this research topic is to improve robotic capacity in the manipulation of soft objects such as fruits and vegetables in agricultural scenarios. This research aims to propose a framework for sensing and controlling robotic hands; more specifically, a framework that relies on tactile sensing for perception and compliant control for physical manipulation. From the application point of view, the focus will be on robotic capacities such as grasping, manipulating, and releasing soft objects with high dexterity and accuracy, while also ensuring safety during human-robot interaction. By improving such capacities through compliant interaction, this proposed Ph.D. thesis aims to improve productivity, reduce the arduousness of certain jobs, respond to the lack of manpower, and reduce waste in the agricultural industry. The research will also contribute to the development of robotic technologies in other domains such as manufacturing, healthcare, and assistive robotics. The automation of agricultural processes has become increasingly important due to the demand for sustainable food production and the shortage of agricultural labor. Mobile manipulation using compliant robotic hands offers a promising solution for handling delicate agricultural products, such as fruits and vegetables. However, the control and design of such systems pose significant challenges due to the need for dexterity, adaptability, and robustness. Traditional robotic hands and grippers are typically controlled for forceful power-grasping strategies. While in the context of real-world applications, the use of tactile sensing and compliance control becomes crucial to enable existing robotic hands to handle delicate objects safely and effectively. In this proposed Ph.D. thesis, we will develop strategies based on machine learning techniques to learn effective control policies that enable closing the loops from tactile sensing to impedance control of a robotic hand.

Methodology:

The research will involve a combination of theoretical analysis, simulation, and experimental validation. First, a thorough review of the state-of-the-art in robotic hand control will be conducted, with a focus on soft and fragile object manipulation. Then, a novel robotic hand control approach will be proposed based on tactile sensing and impedance control. This control framework will be developed based on a combination of model-based and data-driven approaches, with a focus on machine learning techniques such as reinforcement learning and learning from demonstration. In particular, we will tackle problems such as in-hand object localization, slippage detection, and manipulation in scenarios including picking, placing, stacking, and insertion. The proposed control approach will be evaluated through extensive experiments using real robotic hands and collaborative safe manipulators.

Requirements:

The candidate must have a Masters’s degree (or equivalent) in Engineering or Computer Sciences. Interests and experiences in Robotics, Control systems, and AI are preferable. Furthermore, the necessary qualifications are:

– Strong background in robotics and control with excellent knowledge of Math – Proficient programming skills and experience in C++ or Python

– English proficiency and communication skills (written and oral)

– Ability and motivation to work both independently and collaboratively

– Hands-on skills in ROS and Matlab are highly expected

General information:

– Supervisor: Faiz Ben Amar

– Possible co-supervision: Mahdi Khoramshahi

– Thesis collaborators: Andrea Cherubini, Philippe Fraisse (LIRMM, University of Montpellier)

– Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

How to apply:

The candidate should send an email to mahdi.khoramshahi@isir.upmc.fr AND faiz.benamar@isir.upmc.fr with the following documents:

– CV

– Motivation letter

– Recommendation letters (or/and contact details of references)

– Academic transcripts for the master’s degree (or equivalent grades for the last two years).

Application deadline: 30/06/2023

Only shortlisted candidates will be contacted for online or in-person interviews.

Titre de la thèse : Traduction automatique de documents: le cas des documents scientifiques

Contexte :

La thèse se déroule dans le cadre du projet ANR-MaTOS (https://www.anr-matos.fr). Le candidat sera co-encadré par François Yvon (DR CNRS) au sein de l’équipe MLIA de l’Institut des Systèmes Intelligents et de Robotique (https://isir.upmc.fr) et Rachel Bawden, CR Inria, dans l’équipe Almanach du Centre Inria Paris (https://www.inria.fr/fr/centre-inria-de-paris) et inscrit dans [l’école doctorale informatique, télécommunication et électronique (EDITE)](https://www.edite-de-paris.fr/) de Paris.

Le ou la candidate recruté-e bénéficiera d’un contrat doctoral de Sorbonne Université, et aura, si il ou elle le souhaite, l’opportunité de réaliser des missions d’enseignement au sein de l’Université.

Description du projet :

La plupart des systèmes de traduction automatique (TA) dits « neuronaux » modélisent le processus de génération d’un document cible $y$ à partir d’un document source $x$ en décomposant ce processus phrase par phrase, chaque phrase étant traduite indépendamment des phrases voisines. Le modèle probabiliste sous-jacent est alors de la forme $P(y|x; \theta)$, où $\theta$ représente l’ensemble des paramètres du modèle (par exemple un modèle Transformer [Vas17]). Une fois $\theta$ appris, la génération d’une traduction repose sur la recherche de la traduction la plus probable réalisant: $\arg \max_{y} P(y|x; \theta)$.

Cette modélisation est naïve et ignore les multiples dépendances qui existent entre les phrases au sein d’un même document. Pour pallier cette déficience, de nombreuses architectures alternatives ont été proposées pour intégrer un contexte discursif $c$ au modèle, conduisant à des modèles de la forme $P(y|x, c; \theta)$. Selon les implantations, le contexte $c$ représente quelques phrases précédent $x$, ou bien tout le document source, ou bien également le début de la traduction (les phrases précédant $y$). Plusieurs manières d’encoder $c$ (avec un encodeur dédié, ou bien en utilisant le même encodeur que pour $x$) ont été proposées dans la litérature. Les principales architectures de ce type, dédiées à la TA de documents (TAD), sont décrites dans [Mar21].

Deux obstacles principaux rendent cette extension difficile à implanter : (a) les ressources computationnelles (mémoire et calcul) nécesssaires à l’encodage d’un contexte étendu croissent de manière quadratique avec la longueur du contexte (pour les architectures Transformer); (b) l’apprentissage des dépendances entre $y$ et $c$ est rendu difficile par la relative rareté des mots pour lesquels le contexte étendu $c$ est utile. La plupart des études dans le cadre de la TAD s’intéressent au problème (a) et considèrent soit des approximations du calcul de l’attention (voir [Tay21] pour un état des lieux récent), soit des architectures alternatives au modèle Transformer (par exemple [Gu21]) pour encoder des séquences.

Objectif scientifique :

Le travail de thèse proposé s’intéresse au problème de la traduction de documents complets, en se focalisant sur un type de documents particulier, à savoir les écrits académiques (articles, communications, rapports de recherche). Il s’agit de documents relativement longs, qui sont régis par des principes d’organisation et de présentation rigides et propres à ce genre textuel – organisation en sections en sous-sections -, ainsi que par des stratégies argumentatives propres à ce genre de textes: introduction de concepts et de définititions, raisonnements explicites devant venir à l’appui de démonstrations et de conclusions précises, etc.

L’objectif principal de la thèse est de parvenir à assurer que les documents générés par traduction automatique (a) reproduisent correctement la structure générale du texte d’entrée; (b) manifestent le même niveau de cohésion et de cohérence, en particulier dans le choix des termes, que le texte source; (c) reproduisent fidèlement les stratégies argumentatives (prémisses, déductions, conclusions) qui sont présentes dans le texte source, et (d) énoncent dans la langue cible les mêmes conclusions générales que dans la langue source. Parmi les autres difficultés de la tâche, qui pourront faire l’objet d’une attention particulière, mentionnons: la présence de nombreux extra-lexicaux (chiffres, symboles mathématiques, noms propres) et de parties non-textuelles (formules, équations, tableaux, graphiques). Notons enfin que les méthodes considérées devront être adaptées à une situation où les données monolingues sont abondantes, mais les données parallèles sont extrêmement rares: ce contexte est propice à l’utilisation de grands modèles de langue pré-entrainés.

Pour parvenir à ces fins, on s’intéressera par exemple aux architectures, déjà évoquées ci-dessus, qui exploitent un contexte discursif étendu, que ce soit pour la traduction automatique ou pour le résumé de longs documents [Koh22], ou encore aux méthodes de planification également utilisées pour la génération automatique de textes [Pup22]. L’enjeu principal de cet axe sera de rechercher les meilleurs compromis entre la complexité algorithmique du traitement de grands contextes (à l’apprentissage et à l’inférence) et le bénéfice tangible de ces efforts mesuré par de l’accomplissement des objectifs (a-d).

Un second axe de travail s’intéressera à la modélisation des stratégies discursives et des objectifs de communication associés à chacune des parties du document: une manière simple d’approximer ces objectifs s’appuie sur la structure interne des documents, mais des approches plus sophistiquées, utilisant des modèles à données latentes, devront également être considérées.

Profil recherché :

Master en Informatique ou Mathématiques Appliquées avec une spécialisation en Intelligence Artificielle, Apprentisage Automatique, Traitement des Langues, ou diplôme équivalent).

Compétences requises :

– Solides compétences en programmation (PyTorch),

– Communication en anglais écrit et parlé,

– Créativité et capacité à formuler et à résoudre des problèmes de manière autonome.

Informations générales : 

– Directrice ou directeur de thèse : François Yvon

– Co-direction éventuelle : Rachel Bawden (Inria Paris)

– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

– François YVON

– Email : yvon(at)isir.upmc.fr

– Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV et une lettre de motivation.

Télécharger l’offre de thèse

Subject: Physics-aware deep learning for modeling spatio-temporal dynamics

Context:

Physics-aware deep learning is an emerging research field aiming at investigating the potential of AI methods to advance scientific research for the modeling of complex natural phenomena. This research topic investigates how to leverage prior knowledge of first principles (physics) together with the ability of machine learning at extracting information from data. This is a fast-growing field with the potential to boost scientific progress and to change the way we develop research in a whole range of scientific domains. An area where this idea raises high hopes is the modeling of complex dynamics characterizing natural phenomena occurring in domains as diverse as climate science, earth science, biology, fluid dynamics, etc. This will be the focus of the PhD project.

Research Directions:

The direct application of state-of-the-art deep learning (DL) methods for modeling and solving physical dynamics occurring in nature is limited by the complexity of the underlying phenomena, the need for large amounts of data and their inability to learn physically consistent laws. This has motivated the recent exploration of physics-aware methods incorporating prior knowledge, by researchers from different communities (Willard et al. 2020, Thuerey et al. 2021). Although promising and rapidly developing, this research field faces several challenges. For this PhD project we will address two main challenges, namely the construction of hybrid models for integrating physics with DL and generalization issues which condition the usability of DL for physics.

– Integrating DL and physics for spatio-temporal dynamics forecasting and solving PDEs

In physics and many related fields, partial differential equations (PDEs) are the main tool for modeling and characterizing the dynamics underlying complex phenomena. Combining PDE models with ML is then a natural idea when building physics-aware DL models and it is one of the key challenges in the field. For now, this has been explored for two main directions: (i) augmenting low resolution solvers with ML in order to reach the accuracy of high-fidelity models at a reduced computational cost (Belbute-Perez et al. 2020, Kochkov et al. 2021, Um et al. 2020), and (ii) complementing incomplete physical models with ML by integrating observation data through machine learning (Yin et al. 2021a, Dona et al. 2022). The former topic is crucial for the entire field of numerical simulation while the latter allows for explorations beyond the current limits of numerical models. Simultaneously, the recent advances in neural operators (Li et al. 2021, Lu et al. 2021, Li et al. 2022, Yin et al. 2023) offer new methods for learning and modeling dynamics at different resolutions in space and time, providing the possibility of combining and learning multiple spatio-temporal scales within a unified formalism, a challenge in ML. A first direction of the PhD will then be to investigate physics-aware ML models by exploring the potential developments of hybrid models together with neural operators.

– Domain generalization for deep learning based dynamical models

Explicit physical models come with guarantees and can be used in any context (also called domain or environment) where the model is valid. These models reflect explicit causality relations between the different variables involved in the model. This is not the case for DL: statistical models learn correlations from sample observations, their validity is usually limited to the context of the training domain, and we have no guarantee that they extrapolate to new physical environments. This is a critical issue for the adoption of ML for modeling the physical world. Models of real-world dynamics should account for a wide range of contexts resulting from different forces, different initial and boundary conditions or different prior parameters conditioning the phenomenon. Ensuring generalization to these different contexts and environments is critical for real world applications. Surprisingly, only a few works have explored this challenging direction. In relation with the construction of hybrid models as described above, one will investigate this issue along two main directions. The first one exploits ideas from learning from multiple environments through task decomposition as in (Yin et al. 2021b, Kirchmeyer et al. 2022). This is a purely data-based approach. The second one, takes a dual perspective, relying on prior physical knowledge of the system equations and directly targets the problem of solving parametric PDEs (Huang 2022), exploiting ideas from meta-learning (Finn 2016).

Required Profile:

Master degree in computer science or applied mathematics, Engineering school. Background and experience in machine learning. Good technical skills in programming.

More information:

  • Supervisor: Patrick Gallinari
  • Collaboration within the framework of the thesis: INRIA team Ange, Paris; Inria team Epione, Sophia; Institut d’Alembert, Sorbonne University.
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.
  • Start date: October/November 2023
  • Note: The research topic is open and depending on the candidate profile could be oriented more on the theory or on the application side
  • Keywords: deep learning, physics-aware deep learning, climate data, fluid dynamics, earth science

Contact:

  • Patrick Gallinari
  • Email : patrick.gallinari(at)sorbonne-universite.fr
  • Please send a cv, motivation letter, grades obtained in master, recommendation letters when possible to patrick.gallinari(at)sorbonne-universite.fr
  • Application deadline: 15/12/2023

Download this offer

Résumé du projet de thèse

Nos sens sont constamment stimulés par de nombreux signaux différents qui doivent nous aider à former une perception cohérente du monde. Dans ce contexte, nous voulons explorer comment le sens tactile opère lors de tâches haptiques de manipulation d’objets tangibles en réalité virtuelle. Ces tâches auront pour objectif d’être représentatives d’interactions multisensorielles complexes telles que l’interactions avec une interface professionnelle ou le geste sportif dont elles pourront varier les stimulations dans chaque modalité sensorielle. Ce projet de thèse vise à mieux comprendre les mécanismes cognitifs de l’intégration multisensorielle d’objets dans un environnement virtuel (VR) et plus précisément à quel point des objets spécifiques peuvent être reproduits par des formes et des textures génériques à travers les effets intermodaux et l’intégration multimodale qui se produisent lors de la perception visio-haptique d’objets en VR. La thèse vise aussi à développer de nouveaux algorithmes pour créer un environnement tangible riche en VR qui se base sur un ensemble minimal d’objets et d’indices.

Thématiques Domaine 

Our knowledge of the tactile sense has largely improved in the recent years and there is accumulating evidence that the different types of tactile cues (vibrations, friction, indentation…) undergo complex cortical integration to generate the high-level tactile sensation [1]. This rich tactile information is then fused with the other sensory channels to shape the multimodal sensation of our environment. In a major study, Ernst and Banks showed that psychophysical perception of simultaneous visual and haptic cues by healthy participants followed the prediction of a maximum-likelihood integrator, which means that visuo-haptic integration was performed in a statistically optimal manner [2]. This observation was a major progress for the understanding of multimodal perception since it was first considered that the visual sense was dominant compared to touch due to its prominence [3] until evidence gradually showed that both sensory channels undergo complex integration. Moreover, multisensory integration can also transfer perceptual biases across senses. It was recently shown that perceptual illusions can transfer in both directions between the tactile and visual sense. Repeated exposure to visual motion in a given direction consequently produces the illusion of tactile motion on the fingertip in the opposite direction. Similarly, prior tactile motion produces the illusion of visual motion in the opposite direction [4]. These evidence that cross-modal effects take place between touch and the other senses have triggered the development of new research directions in Human Computer Interaction that aim at expanding the capabilities of a limited virtual environment by redirecting the user [5] or creating encounter type virtual experiences [6,7] in which a small number of tangible objects are used to recreate a richer virtual environment. However, these research trends are recent and little is known about the extent to which the user can be fooled by these sensory illusions as well as the underlying neural and cognitive mechanisms that make these illusions possible.

Objectif et contexte

– Understand the limits of current state-of-the art visuo-haptic illusions for increasing the range of tangible objects that can embedded in a VR environment.

– Define the core tactile dimensions that make visuo-haptic matching feel discrepant when a generic object is mapped into a different visual representation.

– Design HCI studies in which a small number of tangible objects create a much richer virtual environment.

Our knowledge of the tactile sense has largely improved in the recent years and there is accumulating evidence that the different types of tactile cues (vibrations, friction, indentation…) undergo complex cortical integration to generate the high-level tactile sensation [1]. This rich tactile information is then fused with the other sensory channels to shape the multimodal sensation of our environment. In a major study, Ernst and Banks showed that psychophysical perception of simultaneous visual and haptic cues by healthy participants followed the prediction of a maximum-likelihood integrator, which means that visuo-haptic integration was performed in a statistically optimal manner [2]. This observation was a major progress for the understanding of multimodal perception since it was first considered that the visual sense was dominant compared to touch due to its prominence [3] until evidence gradually showed that both sensory channels undergo complex integration. Moreover, multisensory integration can also transfer perceptual biases across senses. It was recently shown that perceptual illusions can transfer in both directions between the tactile and visual sense. Repeated exposure to visual motion in a given direction consequently produces the illusion of tactile motion on the fingertip in the opposite direction. Similarly, prior tactile motion produces the illusion of visual motion in the opposite direction [4]. These evidence that cross-modal effects take place between touch and the other senses have triggered the development of new research directions in Human Computer Interaction that aim at expanding the capabilities of a limited virtual environment by redirecting the user [5] or creating encounter type virtual experiences [6,7] in which a small number of tangible objects are used to recreate a richer virtual environment. However, these research trends are recent and little is known about the extent to which the user can be fooled by these sensory illusions as well as the underlying neural and cognitive mechanisms that make these illusions possible.

Profil et compétences recherchées

 – Le profil recherché requiert un diplôme de master en informatique, neuroscience, ou dans une discipline reliée. Nous recherchons particulièrement un profil orienté réalité virtuelle et psychophysique.

– Compétences désirées: expérience en programmation (Unity, et/ou Python, et/ou C/C++)

– Une curiosité pour la recherche interdisciplinaire et la robotique est nécessaire pour aborder le sujet de thèse.

– Niveau d’anglais requis: Avancé: Vous pouvez parler la langue de manière plus complexe, spontanée et sur des sujets variés.

Informations générales :

  • Etablissement : Sorbonne Université SIM (Sciences, Ingénierie, Médecine)
  • École doctorale : Sciences Mécaniques, Acoustique, Electronique et Robotique de Paris
  • Spécialité : Interaction Humain Machine
  • Equipe : Interactions Multi-Echelles
  • Unité de recherche : Institut des Systèmes Intelligents et de Robotique
  • Encadrement de la thèse : Gilles BAILLY
  • Co-Encadrant : David GUEORGUIEV
  • Début de la thèse : le 1 octobre 2023
  • Date limite de candidature (à 23h59) : 15 mai 2023

Lien vers l’annonce et modalités de candidature

Résumé du projet de thèse

Cette thèse vise à développer un nouvel instrument scientifique pour des applications en biologie expérimentale, notamment pour la manipulation, la caractérisation et analyse des objets de type cellules isolées, des neurones, ou encore des organes intracellulaires. Utilisant le principe des pinces optiques, des rayons lasers sont commandés pour agir directement sur des échantillons, ou pour actionner des microrobots télécommandés dans n environnement microfluidique. Ces microrobots pourront intégrer des capacités d’analyse et des capteurs bio-actives permettant ainsi un retour d’information rapide vers l’opérateur. Il s’agit d’une technologie nouvelle capable de soutenir et d’accélérer considérablement plusieurs études en biologies. Des collaborations sont démarrés avec des équipes de l’Institut Curie et Pasteur autour du cancer et des mécanismes intracellulaires.

Thématiques Domaine 

La thématique scientifique principale est la microrobotique, avec un appui fort de la physique et l’optique. Les problématiques de positionnement d’objets et de commande en effort en 6D avec une résolution et une précision microscopiques (nanomètres et picoNewtons) sont au cœur du travail. D’un point de vue de l’interaction, les solutions existantes sont généralement difficiles à appréhender pour l’utilisateur et les approches IHM est un moyen original d’y parvenir. L’immersion de l’utilisateur est en effet un atout pour s’affranchir de lois de commandes et de systèmes de planification complexes. Les pinces optiques sont une technique permettant de manipuler des objets microscopiques en utilisant un rayon laser focalisé. Ils permettent en effet d’agir sur des échantillons en solution par une action sans contact. L’ISIR a développé un système de piège laser robotisé capable de manipuler les échantillons sur 3 dimensions tout en mesurant les efforts d’interaction en temps-réel. Néanmoins, la difficulté de prise en main de ces dispositifs reste une étape importante à franchir, notamment lorsque cela concerne des objets en dehors du plan image.

Objectif et contexte

Développer un nouvel instrument de manipulation et de caractérisation des échantillons biologiques in-vitro, en utilisant les technologies microrobotiques et microfluiduques. Les performances actuelles du système de pince optiques développé à l’ISIR montrent qu’il est possible de piéger et de déplacer simultanément plusieurs particules avec une résolution en effort proche de 10pN. Utilisant ces principes, des microrobots mobiles ont été réalisés. Actionnés par les lasers, ces ‘optobots’ d’une taille de quelques micromètres, seront utilisés pour effectuer des opérations sur des échantillons biologiques, comme la caractérisation mécanique, mesure des interactions, ou encore injection génétiques et analyses électriques. Cependant, atteindre de telles performances s’est fait au détriment de la simplicité d’utilisation. Ceci est dû notamment à la conception du chemin optique et aux lois de commandes complexes utilisées.

Méthode

L’approche proposée concerne le développement d’un système microrobotique intuitif, combinant des phases téléopéré et automatique, en utilisant des microrobots mobiles et le contrôle de flux dans un circuit microfluidique. En collaboration avec des biologistes, on s’attachera à développer des expériences d’analyse des mécanismes d’interaction cellulaire à travers ce nouveau système, pouvant fonctionner de façon semi-autonome sous la supervision d’un technicien.

Résultats attendus

L’objectif de ce projet est tout d’abord de développer des applications en biologie expérimentale pour démontrer les avantages de ce système et l’imposer comme un nouvel instrument scientifique. Une collaboration est établie avec des équipes de l’Institut Pasteur et de l’Institut Curie pour exploiter ces possibilités dans la recherche autour des cancers et des études sur les mécanismes intracellulaires. Dans ce cadre, il est nécessaire d’optimiser interactivité pour que l’utilisateur soit en mesure de planifier des trajectoires complexes pour piéger et déplacer des objets, automatiser les opérations et relever des résultats. On s’intéressera aussi aux modalités d’interaction Humain/Machine: les interfaces haptiques dédiées, notamment parmi les réalisations précédentes du labo comme le ‘FishTank’ sont des candidats prometteurs pour développer une chaîne d’interaction transéchelle, multi-modale.

Profil et compétences recherchées

Profil Ingénieur Généraliste / Robotique ou Physique appliquée ou Instrumentation Scientifique. Des connaissances en biologie expérimentale ou optique laser seront appréciées.

Informations générales :

  • Etablissement : Sorbonne Université SIM (Sciences, Ingénierie, Médecine)
  • École doctorale : Sciences Mécaniques, Acoustique, Electronique et Robotique de Paris
  • Spécialité : Robotique
  • Equipe : Interactions Multi-Echelles
  • Unité de recherche : Institut des Systèmes Intelligents et de Robotique
  • Encadrement de la thèse : Sinan HALIYO
  • Co-Encadrant : Stéphane REGNIER
  • Début de la thèse : le 1 octobre 2023
  • Date limite de candidature (à 23h59) : 22 mai 2023

Lien vers l’annonce et modalités de candidature

Titre de la thèse : Efficient interaction through information maximization

Contexte :

La conception d’interfaces est un processus itératif. En général, un concepteur propose une interface à partir d’intuitions, de ses connaissances, et la soumet aux commentaires des utilisateurs pour en modifier la conception initiale. Ce cycle peut se répéter un certain nombre de fois jusqu’à ce que l’interface soit jugée appropriée. Cette approche présente plusieurs inconvénients et l’ensemble du processus est généralement long car il nécessite plusieurs allers-retours entre le(s) concepteur(s) et les utilisateurs. Des approches informatiques de la conception d’interfaces ont été récemment proposées. Dans la première étape du processus de conception, l’interface résulte de la maximisation d’une fonction de coût bien choisie. La principale difficulté de ce type d’approche est que la solution n’est qu’aussi bonne que la fonction de coût, qui doit être conçue à la main pour chaque problème. Cette thèse propose d’étudier des approches génériques de la conception d’interfaces qui exploitent des fonctions de coût « universelles » basées sur des mesures d’information (entropie).

Description du projet :

Cette thèse propose d’étudier des approches génériques de la conception d’interfaces qui exploitent des fonctions de coût « universelles » basées sur des mesures d’information (entropie), comme BIG.
Ces dernières présentent quelques inconvénients: impossibilité de tenir compte de la valeur de certains états, aucune garantie sur la proximalité de l’interaction, nécessité d’information à priori sur l’utilisateur, et, en général, une démonstration que sur des problèmes de taille réduite.

Le but de la thèse est de remédier à ces problèmes, en se basant notamment sur des techniques existantes d’estimation et de maximisation d’information mutuelle connues en informatique et en théorie de l’information.
Le candidat devra notamment évaluer empiriquement les techniques mises en œuvre, et leur efficacité pour l’interaction avec des sujets humains, au moyen d’expériences contrôlées.

Objectif scientifique :

Le doctorant devra:
1. Examiner et comparer les mesures d’information mutuelle mentionnées avant sur des bases analytiques et empiriques.
2. Solutionner les lacunes de BIG dans un cadre théorique, puis démontrer l’efficacité de la solution de manière empirique. A ce stade, le candidat devra implémenter un logiciel qui dépasse le cadre du prototype, par exemple un clavier intelligent avec plusieurs fonctionnalités.
3. Développer et maintenir une bibliothèque logicielle mettant en œuvre les algorithmes nécessaires à la maximisation et à l’inférence de l’information mutuelle utilisés par le candidat.

Profil recherché :

Le candidat devra faire preuve d’un intérêt pour la modélisation et les techniques d’apprentissage Bayesienne. L’intérêt et les connaissances préalables en matière de recherche expérimentale et de programmation de logiciels, et une connaissance des notions de base de la théorie de l’information seront appréciées.

Informations générales : 

  • Directeur de thèse : Gilles Bailly
  • Co-direction éventuelle : Julien Gori
  • Collaboration dans le cadre de la thèse : Olivier Rioul (Institut Polytechnique de Paris)
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

  • Julien Gori
  • Email : gori(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV, les relevés de notes M1/M2, et une lettre de motivation.
  • Date limite de dépôt de la candidature : 15 mai 2023

Télécharger l’offre de thèse

 

Thesis subject : Learning and making decisions with GUI: A computational neuroscience approach

Context

The figure illustrates a common phenomenon in Human-Computer Interaction (HCI) where users have the choice between two ways to accomplish a task. The beginners’ one (e.g. Menu) is easy to learn, but only allows a low level of performance. The experts’ one (e.g. shortcut) is more difficult to learn but provides a higher final level of performance.

A major problem in HCI is that most users stick to the beginners’ mode due to the performance dip they experience when attempting to switch to the experts’ mode: They continue to use the beginner’s mode and do not adopt the expert mode. This is true at the command level (e.g., using Copy & Paste instead of Duplicate), at the method level (using menu instead of shortcut) or the application level (e.g., using a simple software instead of the corresponding powerful one).

The team has proposed a first computational model [1], based on reinforcement learning techniques commonly used to study decision-making in neuroscience [3,7]. It identified a number of essential characteristics (explicit and implicit learning, memory decay, planning and behavioral persistence) to explain the learning dynamics of human subject using a GUI with menus and shortcuts. It did not, however, model the automatization of behavior into habituals [6].

Project description

The objective of this project is twofold. First, it consists of understanding why and when users switch or do not switch to expert methods. To achieve this, the candidate will build a computational model of user behavior to explain and predict expert methods adoption, extending the already published one.

Second, it consists of designing interventions (feedback, feedforward, notifications) to motivate and assist the users in the transition from beginners to experts behavior. To achieve this, the system will use the actual user behavior as well the computational model to trigger the best intervention at the right time.

One originality of this project is to build on existing theories, models and methods in computational neurosciences (e.g., computational rationality) to address challenging problems in HCI.

Required profile and required skills

Applications with a strong academic record in HCI and/or Cognitive sciences/Neuroscience.

Interest and/or experience in computational user modeling; Reinforcement Learning (RL).

Thesis environment

The project is part of the ANR NeuroHCI involving researchers both in HCI and Neuroscience. The Ph.D. candidate will integrate a multi-disciplinary environment that provides a unique and healthy research environment, with many other fellow Ph.D. students working in a wide variety of topics, including: robotics, HCI, machine learning, perception, cognitive science, haptics and social interaction. We strive to provide fertile ground for personal and academic growth through regular team and individual meetings, giving students the chance to explore their own interests and exchange freely with fellow students. The development and the success of our students from bachelor to Ph.D. is our highest priority. Through regular and personal guidance, we ensure that students lead successful research projects and are prepared for a future academic or industrial job.

Informations générales : 

  • Directeur de thèse : Gilles BAILLY
  • Co-direction éventuelle : Benoît GIRARD
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Gilles BAILLY
  • Email : gilles.bailly(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 1 Juillet 2023

Thesis subject : Designing interaction for remote collaboration in the operating room

Context

To perform surgery, surgeons typically work in collaboration with a team of experts, for example a more senior surgeon advising on a surgical technique, a radiologist interpreting an x-ray or ct- scan, or an anatomic-pathologist interpreting microscopic images of tissue to diagnose cancer. These experts are typically not present in the Operating Room (OR), and therefore the surgeon conducts remote consultations through phone calls. Our hypothesis is that existing tools for remote collaboration are not effective nor easy to use when working in the OR because they lack effective interaction mechanisms. The challenges of interacting with a collaborative system are that the primary task, performing surgery, is cognitively demanding, but also physically demanding, as both hands of the surgeon are busy handling instruments (Avellino et al., 2021). Moreover, the hands of surgeons are sterile, and using classic means of interaction (mouse or keyboard) requires breaking sterility and re-sterilizing before going back to the patient. Previous works in Human–Computer Interaction (HCI) and Computer Supported Collaborative Work (CSCW) have studied interaction techniques in the OR, for example controlling imaging systems through voice and gesture (Feng et al., 2021; Mentis et al., 2015) or a combination of gaze and feet (Hatscher et al., 2017), and a robotic endoscope using a multimodal technique that combines several input mechanisms (Avellino et al., 2020). Nonetheless, these techniques (1) have not been studied in the context of remote collaboration, but rather individual work in the OR, and (2) they have not been adopted in real surgical work thus far, pointing to a partial support of the wide variety of needs during surgery. So far, research has been able to conduct studies where the remote expert interacts, such as studying the benefits of remote pointing (Mentis et al., 2020; Semsar et al., 2019, 2020). This project will open the door for a large body of work that can study the benefits and challenges of remote collaboration where both parties can interact with systems.

Objectives and Contributions

1. The first objective is empirical: it consists of understanding the constraints of the work in the OR for interaction, (2) current practices for using interactive systems, and (3) the needs of surgeons while conducting remote consultations with colleagues. This will be studied through field studies, and the contributions will include guidelines and implications for the design of interaction techniques in the OR.

2. The second objective is technological: it consists of designing and implementing interaction techniques for remote collaboration in the OR. These can include for example the use of AV/VR (Gasques et al., 2021). Then, evaluating the techniques through lab experiments and field studies in the OR.

Impacts

Enabling interaction with remote surgeons, will favour jointly navigating pre-operative images for co-interpretation, to joint decision making when it comes to determining the next steps of the surgery. Moreover, it will open new opportunities for learning surgical techniques, an area that is in need of improvement given the growing number of medical students (Berman et al., 2008).

Seeked Profile

We are seeking candidates with a master degree in one of the following topic areas: Human– Computer Interaction (HCI), Computer Supported Cooperative Work (CSCW), Cognitive Science or Healthcare Technology. Candidates from other fields are encouraged to apply given they have an interest in interaction and surgery. We require an interest in reading and writing academic research, as well as having a good academic record. Lastly, candidates should be fluent in English.

Please keep in mind that a Ph.D. student is exactly that: a student. Thus, we do not expect candidates to have a full set of skills when applying to this position. What we expect is to have the motivation to learn and develop certain skills throughout this thesis. So please reflect on what skills you bring and want to develop further, and what new skills you want to acquire when applying. As supervisors, we will do our best to support you in developing them and becoming a successful Ph.D!

Double Mentoring Funding and Thesis Environment

The double mentoring of the Institut Universitaire d’Ingénierie en Santé funding, by a researcher and a practitioner, will provide a unique opportunity for the Ph. D. student, as they will work in an engineering lab as well as in a teaching hospital, having access to both technical knowledge, high- end materials and experimental rooms, as well as clinical knowledge, the possibility to observe surgery, and the chance to develop a network of clinicians that can participate in studies.

The Ph.D. candidate will integrate a multi-disciplinary environment that provides a unique and healthy research environment, with many other fellow Ph.D. students working in a wide variety of topics, including: robotics, HCI, machine learning, perception, cognitive science, haptics and social interaction. We strive to provide fertile ground for personal and academic growth through regular team and individual meetings, giving students the chance to explore their own interests and exchange freely with fellow students. The development and the success of our students from bachelor to Ph.D. is our highest priority. Through regular and personal guidance, we ensure that students lead successful research projects and are prepared for a future academic or industrial job.

Informations générales : 

  • Directrice ou directeur de thèse : Gilles Bailly
  • Co-direction éventuelle : Dr. Geoffroy Canlorbe, Ignacio Avellino
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

  • Ignacio Avellino
  • Tel: +33144276217
  • Email : ignacio.avellino(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 15 Mai 2023

Télécharger l’offre de thèse

Offres d’emploi

Position title: Human-Aware situation assessment for joint action

The PIRoS (Perception, Interaction and Robotique Sociales) team of the Institute for Intelligent Systems and Robotics (ISIR) at Sorbonne University (Paris) is looking for a for a highly motivated and ambitious postdoctoral researcher to conduct research on human-robot interaction & machine learning.

Description

Communication is a key factor to achieve successful coordination during a joint huma-robot action. Humans and robots communicate and coordinate during the execution of the joint action using multimodal cues such as speech, gaze and gestures.  By doing so humans build a mental model of the robot. Mental models enable humans to infer a robot’s intention, anticipate actions, establish a common ground and share goals. However, endowing robots with similar models is challenging.

This post-doc position will be focused on the development of new computational models of human-robot communication. These human-aware models will be built by continuously observing human activities and environment and aim to infer human mental states. Human-Centered Machine Learning techniques will be developed to explicitly take into account human specificities in the prediction of multiple mental states such as beliefs, intentions, preferences, competence and rationality. Following a Human-Centered approach, the post-doc position will also consider ethical issues in both modeling (e.g. biases) and experimental (e.g. with human participants) parts of the research work.

Human-Aware situation assessment systems will be evaluated in collaborative tasks such as human-robot handovers using both quantitative (e.g., task efficiency) and qualitative metrics (fluency, trust). The candidate will have the opportunity to conduct experiments with various robots (Franka Emika, Pepper, Mobile Manipulators) as well as ISIR’s robots partners.

She/He will work in collaboration with PhD students, post-docs and public/private partners of ISIR. In particular, the position is part of the euRobin network, which aims to advance AI tools, software, architectures, and hardware components in a reproducible approach (European Network of Excellence Centres in Robotics (RIA)). This position is for 18 months contract, but there is a possibility to be extended depending on the performance and circumstances.

Requirements 

The ideal candidate must have a PhD degree and a strong background in machine learning, robotics or cognitive science/neuroscience.
The successful candidate should have:

  • Experience in robotics
  • Good knowledge of Machine Learning Techniques
  • Good knowledge of experimental design and statistics
  • Excellent publication record
  • Strong skills in Python
  • Willing to work in multi-disciplinary and international teams
  • Good communication skills

Application 

Interested candidates should submit the following by email in a single PDF file to: mohamed.chetouani[@]sorbonne-universite.fr with the subject: Application Post-Doc HRI-ML

  1. Curriculum vitae with 2 references (recommendation letters are also welcome)
  2. One-page summary of research background and interests
  3. At least three papers (either published, accepted for publication, or pre-prints) demonstrating expertise in one or more of the areas mentioned above
  4. Doctoral dissertation abstract and the expected date of graduation (for those who are currently pursuing a Ph.D)

Application’s deadline: May 15, 2023.

General Information: 

  • Contract start date: from July 2023
  • Duration of the contract : 18 months
  • Working hours: 100% of the time
  • Desired experience: 1 to 10 years
  • Desired level of studies: PhD thesis
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Contact person:

  • Mohamed Chetouani
  • Tel:+33144276308
  • Email : mohamed.chetouani(at)sorbonne-universite.fr

Download this offer

Position title: Learning multimodal behavior representations for personalized human-machine interaction

The PIRoS (Perception, Interaction and Robotique Sociales) team of the Institute for Intelligent Systems and Robotics (ISIR) at Sorbonne University (Paris) is looking for a for a highly motivated and ambitious postdoctoral researcher to conduct research on human-machine interaction & machine learning.

Description

Personalized Human-Machine Interaction systems provide experiences that are tailored to the human partner’s individual needs and preferences. For this purpose, they require user models that are usually inferred from a user profile and/or from the observation of human’s actions. The ability to adapt to changing contexts or individuals is important and poses numerous challenges concerning multimodal data collection and interpretation, privacy, and transparency. There is a need to develop new human behavior representations able to reflect heterogeneity between users, while preserving privacy.

This post-doc will be focused on the development of human-centered machine learning techniques for personalized adaptation. These techniques will result in the computation of human behavior representations from multimodal data using pragmatic reasoning in order to improve interpretation of context-dependent components of human-behaviors. Pragmatic reasoning will equip human-machine interaction systems (robots, serious games) with a greater degree of human partner awareness enabling them to account for latent intent or state. Following a Human-Centered approach, the post-doc position will also consider ethical issues in both modeling (e.g. biases, privacy) and experimental (e.g. with vulnerable participants) parts of the research work.

To evaluate the effect of computational models on the personalization of human-interaction systems, experiments will be conducted with robots/serious games with different profiles (children, adults, seniors). The candidate will have the opportunity to take advantage of experimental settings of the team, including a Neuro-Development Living & Learning Lab s (LiLLab).

This position is for 18 months contract, but there is a possibility to be extended depending on the performance and circumstances.

Requirements

The ideal candidate must have a PhD degree and a strong background in machine learning, human-machine interaction or cognitive science/neuroscience.

The successful candidate should have:

  • Experience in human-machine interaction
  • Good knowledge of Machine Learning Techniques
  • Good knowledge of experimental design and statistics
  • Excellent publication record
  • Strong skills in Python
  • Willing to work in multi-disciplinary and international teams
  • Good communication skills

Application

Interested candidates should submit the following by email in a single PDF file to: mohamed.chetouani[@]sorbonne-universite.fr with the subject: Application Post-Doc Multimodal Representation
1. Curriculum vitae with 2 references (recommendation letters are also welcome)
2. One-page summary of research background and interests
3. At least three papers (either published, accepted for publication, or pre-prints)
demonstrating expertise in one or more of the areas mentioned above
4. Doctoral dissertation abstract and the expected date of graduation (for those who are
currently pursuing a Ph.D)

Application’s deadline: May 15, 2023.

General Information: 

  • Contract start date: from July 2023
  • Duration of the contract : 18 months
  • Working hours: 100% of the time
  • Desired experience: 1 to 10 years
  • Desired level of studies: PhD thesis
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Contact person: 

  • Mohamed Chetouani
  • Tel:+33144276308
  • Email : mohamed.chetouani(at)sorbonne-universite.fr

Download this offer

Mission

Assurer la conception et la réalisation des projets d’instruments en fonction des besoins scientifiques et/ou fait évoluer ceux déjà existants

Famille d’activité professionnelle 

Instrumentation et expérimentation

Correspondance statutaire 

Ingénieur de recherche

Famille d’activité professionnelle REME 

Enseignement supérieur – Recherche

Emploi-type de rattachement (REME) 

Ingénieur

Activités principales 

  • Analyser les besoins scientifiques et les traduire en spécifications techniques
  • Proposer un concept d’instrument
  • Rédiger un cahier des charges techniques et la matrice de performance
  • Concevoir l’instrument, assurer sa réalisation et garantir sa sûreté de fonctionnement
  • Planifier le développement de l’instrument
  • Concevoir les plans d’intégration, de recettes et de tests
  • Piloter et contrôler les intégrations des systèmes et sous-systèmes
  • Valider et qualifier l’instrument à ses différentes étapes
  • Gérer l’ensemble des ressources humaines, techniques et financières
  • Structurer une veille technologique
  • Présenter, diffuser et valoriser les réalisations
  • Faire appliquer les règles de sécurité
  • Conseiller dans son domaine d’expertise
  • Valider, en relation avec les cellules administratives compétentes, la structure des consortiums dans les cas de projets internationaux

Compétences principales 

Connaissances 

  • Techniques et sciences de l’ingénieur (optique, automatisme, micro-informatique, mécanique) (connaissance approfondie)
  • Outils et logiciels spécifiques au domaine : conception, modélisation… (connaissance approfondie)
  • Méthodes de Calcul (connaissance approfondie)
  • Instrumentation et mesure (rayonnements, matière, thermodynamique… )
  • Environnement et réseaux professionnels
  • Techniques de présentation écrite et orale
  • Langue anglaise : B2 (cadre européen commun de référence pour les langues)

Compétences opérationnelles 

  • Anticiper les évolutions fonctionnelles et techniques
  • Piloter un projet
  • Encadrer / Animer une équipe
  • Animer une réunion
  • Conduire une négociation
  • Appliquer les procédures d’assurance qualité
  • Appliquer les règles d’hygiène et de sécurité
  • Gérer un budget
  • Appliquer la réglementation des marchés publics
  • Assurer une veille

Compétences comportementales 

  • Curiosité intellectuelle
  • Sens critique
  • Sens de l’organisation

Diplôme réglementaire exigé – Formation professionnelle si souhaitable 

  • Doctorat, diplôme d’ingénieur
  • Domaine de formation souhaité : Sciences physiques
  • Expérience souhaitable : en R&D dans une industrie

Lien vers l’offre pour le poste d’ingénieur-e de recherche.

Post-doc : Apprentissage en robotique, avec application à la saisie d’objets

Contexte :

Dans le cadre du projet FET Proactive DREAM (http://dream.isir.upmc.fr/), une approche de la robotique adaptative basée sur l’apprentissage ouvert a été définie. L’objectif principal est de permettre à un robot d’apprendre sans nécessiter une préparation minutieuse par un expert. Cette approche soulève de nombreux défis, notamment l’apprentissage avec des récompenses rares, l’apprentissage de représentations (pour les états et les actions), l’apprentissage et l’exploitation de modèles, le transfert d’apprentissage, le méta apprentissage et la généralisation. Ces sujets sont considérés en simulation, mais aussi sur des plateformes robotiques réelles, notamment dans le contexte de la saisie d’objets.

Missions :

Ce poste vise à contribuer à ces sujets dans le cadre de plusieurs projets européens, en particulier SoftManBot, Corsmal, INDEX et Learn2Grasp. S’appuyant sur les travaux antérieurs de l’équipe de recherche, les approches proposées devront être facilement adaptables à différentes plateformes robotiques et seront donc appliquées à différents robots (bras Panda de Franka-Emika, Baxter, PR2 ou TIAGO, par exemple).

Profil recherché :

Les candidats à ce poste doivent être titulaires d’un doctorat en apprentissage machine ou dans un domaine connexe dans lequel des applications robotiques (simulées ou réelles) ont été considérées.

Compétences requises :

Une excellente formation est attendue en apprentissage machine ainsi qu’une expérience en robotique. D’excellentes compétences en programmation en Python sont attendues.

Plus d’informations : 

  • Type de poste : Chercheuse / Chercheur post-doctoral
  • Date de début de contrat : octobre 2022
  • Durée du contrat : 24 mois
  • Niveau d’études souhaité : Doctorat
  • Montant rémunération : Rémunération en fonction de l’expérience
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Stéphane Doncieux
  • stephane.doncieux(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [nom de l’offre] en objet, un CV et une lettre de motivation.

Télécharger l’offre d’emploi

Offres de doctorat, postdoctorat ou d’ingénieur·e de recherche pour le groupe HCI Sorbonne (Human Computer Interaction)

Contexte :

Nous avons plusieurs postes pour un postdoctorat ou en tant qu’ingénieur·e de recherche dans le groupe HCI Sorbonne (https://hci.isir.upmc.fr) à Sorbonne Université, Paris, France.

Missions :

Nous cherchons des personnes curieuses qui souhaitent réaliser des projets de recherche à l’intersection de l’IHM et neuroscience avec (au choix) la RV, l’haptique, la robotique ou l’IA. Des sujets possibles sont :

  • Nouvelles techniques d’interaction en RV,
  • RV et Haptique pour le jeux et/ou l’apprentissage,
  • Modèles computationnels pour l’apprentissage, la prise de décision et la performance humaine,
  • Systèmes de recommandation s’appuyant sur l’IA.

Exemples de travaux récents dans ces domaines :

Profil recherché : 

Pour un post-doctorat, un doctorat en IHM ou un domaine en lien avec l’IHM est nécessaire.

Compétences requises :

  • Compétences solides en programmation et analyse strong programming and analytical skills,
  • Solide expérience dans au moins un de ces domaines : IHM, RV, Haptique, Robotique, IA.

Plus d’informations : 

  • Type de poste : Postdoctorat ou Ingénieure de Recherche
  • Date de début de contrat : dès que possible
  • Durée du contrat : 1 à 2ans
  • Niveau d’études souhaité : Master 2 (pour ingénieur), doctorat (pour post-doc)
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personnes à contacter : 

  • Gilles Bailly et Sinan Haliyo
  • Email : gilles.bailly(at)sorbonne-universite.fr ; sinan.haliyo(at)sorbonne-universite.fr
  • Candidature : Envoyer votre candidature par mail, avec un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : Aucune

Offres de stage

Sujet du stage : Etude de signaux de parole pour la caractérisation de l’encéphalopathie hépatique

Résumé :

L’encéphalopathie hépatique (EH) désigne l’ensemble des symptômes neurologiques causés par une pathologie du foie. Son diagnostic peut être particulièrement difficile, notamment lorsque d’autres pathologies associées à la maladie peuvent également engendrer des troubles cognitifs (consommation excessive d’alcool, diabète, hypertension, obésité). L’objectif de ce projet de recherche est de caractériser les anomalies de la parole chez des patients atteints d’EH.

Objectifs du stage :

L’objectif de ce stage est de caractériser le signal de la parole chez les patients cirrhotiques avec ou sans encéphalopathie hépatique minime. Pour cela on développera des techniques de traitement du signal, d’analyse spectrale et d’extraction de caractéristiques des signaux de parole.

Dans un premier temps on s’intéressera plus particulièrement à l’étude de :

  • La vitesse de lecture / d’élocution: nombre de voyelles/syllabes/phonèmes par minute
  • La prosodie: fréquence fondamentale, énergie, durée des sons voisés, jitter, taux de distorsion harmonique
  • L’acoustique: spectre, formants, rapport alpha (rapport entre des énergies 50-1000Hz / 1- 5kHz)

Dans un second temps on extraira les différents jeux de caractéristiques acoustiques et prosodiques à partir du signal de parole. Plusieurs jeux de caractéristiques ont été proposés dans la littérature (Schuller et al., 2019) (LPC, MFCC, PLP, …). Une méthode largement utilisée par la communauté scientifique consiste à extraire des caractéristiques bas niveau (low-level features) telles que l’énergie dans des bandes spectrales ou la fréquence fondamentale. Cette extraction est réalisée à l’échelle d’une fenêtre d’analyse (environ de 20 ms) et combinée à l’échelle d’une phrase ou d’un tour de parole d’un locuteur par le biais de fonctionnelles (statistiques). Cette méthode appelée “brute force” a été largement utilisée pour le traitement de dimensions paralinguistiques pour la reconnaissance d’émotions et marqueurs de pathologie [1,2,3].

Le challenge ComPare (Computational Paralinguistics ChallengE) propose régulièrement à la communauté internationale des données de parole et des tâches en lien avec la clinique: détection de la maladie de Parkinson, intelligibilité de la parole de patients atteints de cancer, autisme et troubles du langage, émotion et vieillissement et plus récemment parole et COVID-19. L’ISIR a co- organisé l’édition 2013 en proposant des tâches de détection automatique de marqueurs de troubles du neurodéveloppement [4,5,6].

Profil recherché : Master ou Ecole d’Ingénieur en Traitement du signal ou Robotique ou Systèmes intelligents.

Compétences requises : Traitement du signal, Programmation Matlab et/ou python, Notion en reconnaissance des formes/classification.

Informations complémentaires : 

  • Encadrants : Pr Mohamed Chetouani, SU, ISIR, (mohamed.chetouani(at)sorbonne-universite.fr) ; Pr Jean-Luc Zarader, SU, ISIR (jean-luc.zarader(at)sorbonne-univeriste.fr)
  • Date de début du stage : dès que possible
  • Duréedustage : 3 à 5 mois
  • Niveau d’études souhaité : M1 ou M2
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Jean-luc ZARADER
  • Tel:+33144275478
  • Email : jean-luc.zarader(at)sorbonne-univeriste.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : avril 2023

Télécharger l’offre de stage

Sujet du stage : Apprentissage d’un mouvement de redressement avec un robot bipède à roues

Résumé :

L’objectif de ce stage de 6 mois (M2) est d’utiliser l’apprentissage par renforcement pour apprendre un mouvement complexe de redressement avec le robot bipède à roues Upkie. Dans un premier temps, un mouvement robuste sera appris dans un simulateur avec une métode de « domain randomization », et d’éventuelles modifications physiques du robot seront identifiées afin de rendre le mouvement de redressement plus simple. Ensuite, le robot sera construit avec les éventuelles modifications identifiées, et l’objectif principal du stage sera de concevoir une méthode pratique pour transférer efficacement la compétence apprise sur le robot réel, et pour relever les défis spécifiques liées à ce transfert dans le contexte de la locomotion bipède, c’est-à- dire un type de locomotion dans lequel l’équilibre est toujours instable.

Objectifs du stage :

Upkie [1] est un robot bipède à roues développé par Stéphane Caron, chercheur à l’Inria Paris. Avec seulement quelques capteurs, Upkie peut effectuer des mouvements complexes comme conserver l’équilibre sur deux roues. Cependant, s’il tombe, il ne peut pour l’instant pas se relever. Pour trouver un moyen d’accomplir cette tâche, nous commencerons par utiliser l’apprentissage par renforcement en simulation pour à la fois apprendre un mouvement de redressement et pour identifier des modifications physiques du robot qui rendraient un tel mouvement plus facile. Ensuite, le robot sera entièrement reconstruit avec les modifications identifiées (heureusement, il y a des directives claires pour cela car Upkie est un robot « do-it-yourself » [1]).

Le stage sera divisé en 3 phases :

  • Phase 1 : Appliquer des algorithmes d’apprentissage par renforcement pour qu’Upkie soit capable de se relever dans un environnement de simulation. Si nécessaire, identifier de petites modifications d’Upkie qui faciliteraient le mouvement de redressement (par exemple, changer la longueur des jambes, etc.).
  • Phase 2 : Construire Upkie, en intégrant les modifications définies dans la phase 1.
  • Phase 3 : Concevoir une méthode pour transférer le mouvement de redressement au robot réel. Nous appliquerons des méthodes de l’état de l’art, et nous envisagerons également l’idée de concevoir un curriculum spécifique, c’est-à-dire une série de tâches d’apprentissage de difficulté croissante, basé sur le mouvement appris en simulation.

Si le stage est une réussite et qu’il permet à Upkie de se redresser efficacement, nous soumettrons le résultat de ce travail à une conférence internationale de robotique.
Enfin, si le mouvement de redressement s’avère trop difficile, nous simplifierons le problème, par exemple, en envisageant de se redresser à partir d’une position intermédiaire, ou en aidant le robot en le tirant légèrement à la verticale avec un câble.

[1] Upkie (2022), https://hackaday.io/project/185729-upkie-homemade-wheeled-biped-robot

Profil recherché :

Ce stage de recherche nécessite une expérience en apprentissage profond, mais aussi un intérêt pour le travail avec un vrai robot. La première phase du stage sera entièrement réalisée en simulation, mais l’objectif est de commencer rapidement à construire et tester diverses approches sur le robotréel. Le stage est donc particulièrement adapté aux étudiants de M2 qui veulent s’amuser à travailler avec un vrai robot et veulent également apprendre les diverses compétences utiles en conception et expérimentation robotique. Le stage est pour vous si vous avez un intérêt marqué pour l’apprentissage par renforcement, ainsi qu’un intérêt au moins aussi marqué pour la construction, la réparation et la mise en œuvre de tests sur le robot.

Compétences requises : Une expérience de programmation est requise (principalement en Python, et un peu en C++).

Informations complémentaires : 

  • Encadrant : Nicolas Perrin-Gilbert
  • Date de début du stage : Mars ou Avril 2023
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : M2
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

  • Nicolas Perrin-Gilbert
  • Email : perrin(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 31 Mars 2023

Télécharger l’offre de stage

Sujet du stage : Évaluation automatique des capacités motrices et d’interaction du bébé pour l’identification précoce des troubles du neurodéveloppement

Résumé :

Ce stage s’intègre au sein du projet TECH-TOYS (EraPermed 2021) qui vise à développer une solution technique innovante matérialisé par un baby-gym pour faciliter la détection précoce des Troubles de NeuroDéveloppement (TNDs) chez le bébé. Ladite plateforme sensorisée, déployable à domicile, permettra d’acquérir de façon quantitative des données relatives à l’activité motrice et à l’interaction parents-bébé. Cette récolte de données a pour but d’aider les cliniciens à identifier les individus à risque de développer des TNDs et de prévoir, si nécessaire, une série d’interventions visant à réduire l’impact des troubles sur la future vie de l’individu. TECH-TOYS fait suite au projet CareToys mené par la Fondazione Stella Maris (Pise, Italie).

Issu d’une collaboration pluridisciplinaire débutée en 2022 entre six institutions européennes, le projet TECH-TOYS réunit des experts en psychiatrie, robotique, intelligence artificielle et éthique. L’ISIR est impliqué dans trois tâches majeures du projet ; a) le développement d’une nouvelle plateforme d’acquisition de données, b) le développement d’un modèle d’apprentissage de représentations pour l’identification de marqueurs numériques et, c) le développement d’un modèle de précision. Le présent stage se focalise sur cette dernière tâche.  La médecine de précision désigne le processus de définition d’une pathologie au moyen de techniques génomiques ou encore computationnelles, permettant un ciblage plus précis des différentes formes de ladite pathologie. Dans le cadre du projet TECH-TOYS, un outil de médecine de précision numérique sera mis en place afin d’assister les cliniciens dans l’observation et la prise de décision au regard de la détection précoce.

Objectifs du stage :

1) Définition des signaux d’intérêts et préparation des données CareToys :

Un ensemble de signaux d’intérêts devront être définis sur la base de la littérature clinique et d’ingénierie tout en tenant compte de la nature des données CareToys. Une phase de pré-processing suivie d’une étape d’analyse préliminaire des données devra être menée.

2) Choix des modèles et tests préliminaires :

La seconde partie du stage consistera à prendre en main les méthodes préalablement identifiées en les appliquant sur des jeux de données simplifiés et/ou similaires au jeu de données CareToys, en veillant à intégrer les contraintes et hypothèses identifiées durant la première partie du stage.

3) Déploiement des modèles et évaluation :

La dernière étape du stage se focalisera sur le déploiement des modèles sur les données CareToys, avec potentiellement quelques adaptations, ainsi que sur leurs validations. Cela nécessitera notamment d’annoter une partie de données et de définir un ensemble de métriques pour valider les modèles.

Profil recherché :

Etudiant.e en Master 1 (ou équivalent école d’ingénieur). Spécialité Robotique / Sciences Cognitives / Informatique.

Compétences requises :

Traitement du signal, Programmation (Python / C++), Anglais.

Compétences souhaitées :

Machine Learning, Intérêt pour le traitement du signal social et ses applications cliniques.

Informations complémentaires : 

  • Encadrant : Mohamed Chetouani – Professeur, ISIR Sorbonne Université
  • Co-encadrant : Louis Simon – Doctorant, ISIR Sorbonne Université
  • Date de début du stage : Avril 2023
  • Duréedustage : 3 à 4mois
  • Niveau d’études souhaité : Master 1 ou équivalent
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Mohamed Chetouani
  • Tel:+330144276308
  • Email : mohamed.chetouani(at)sorbonne-universite.fr | louis.simon(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 28 février 2023

Télécharger l’offre de stage

 

 

 

 

 

Sujet du stage : Interface Web pour la création d’environnements d’apprentissage vidéo 3D

Résumé :

Ce stage s’appuie sur un outil d’apprentissage développé dans notre laboratoire, où des étudiants en médecine peuvent apprendre à travers des vidéos 3D à l’aide d’un visiocasque (Head-Mounted Display ou HMD). La figure ci-dessous montre ce que voit l’apprenant : au centre une vidéo immersive 3D, à gauche un gros plan de la vidéo, et à droite un schéma.

Objectifs du stage :

Développer un système interactif basé sur le Web où les instructeurs peuvent créer l’environnement d’apprentissage que l’apprenant visualise. Cela impliquera trois étapes :

  1. Développer un outil Web où un instructeur peut créer des projets en éditant des vidéos (par exemple, découper, segmenter), en synchronisant des vidéos avec d’autres médias (par exemple, des images anatomiques, du son) et en définissant une navigation interactive de leur vidéo (par exemple, la sélection du niveau de détail du contenu),
  2. Une fonction d’export permettant d’importer le projet par une application existante. Cette application montre le projet dans un casque VR. Le stagiaire aura accès à cette application,
  3. Enfin, réaliser des tests avec des chirurgiens pour itérer sur la conception de l’outil.

Profil recherché :

Un étudiant·e en master s’intéressant aux domaines de l’Interaction Humain–Machine (IHM) et / ou du travail coopératif assisté par ordinateur (CSCW). Le candidat doit avoir de solides compétences en programmation web et javascript, en particulier nous apprécierons une expérience antérieure dans la conception d’interfaces interactives avec des vidéo.

IMPORTANT : Le financement de ce projet nécessite que l’étudiant soit inscrit dans un programme de master au sein de l’Alliance Sorbonne Université, qui implique les établissements suivants : Sorbonne Université, Le Muséum national d’Histoire naturelle (MNHN), L’Insead, L’université de technologie de Compiègne (UTC), Le pôle supérieur d’enseignement artistique Paris Boulogne-Billancourt (PSPBB), France Education International (anciennement Ciep).

Compétences requises :

Développement web (HTML, JS, CSS). Les compétences supplémentaires qui seront valorisées comprennent : les compétences de codage unitaire, la maîtrise de l’anglais et de la rédaction académique.

Informations complémentaires : 

  • Encadrant : Ignacio Avellino
  • Date de début du stage : Mars ou Avril 2023
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : M1, actuellement en M2
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Ignacio Avellino
  • Tel : +33 1 44 27 62 17
  • Email : ignacio.avellino@sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.

Télécharger l’offre de stage

Sujet du stage : Deep learning pour l’analyse automatique de l’interaction acoustique enfant-thérapeute dans des contextes cliniques non contraints

Résumé :

Ce stage vise à développer une solution technique innovante dans le cadre de l’intervention clinique chez les enfants préscolaires autistes et, plus généralement, dans les contextes cliniques.

Le projet a pour but de développer un système d’intelligence artificielle, complètement non-invasif permettant l’analyse automatique et quantitative des données relatives à l’interaction enfant-therapeut dans un échantillon longitudinal pour évaluer l’impact des aspects interpersonnels sur les trajectoires de réponse au traitement. Le projet est en collaboration avec l’Université de Trento (Italie) et se situe dans un cadre des compétences multidisciplinaires entre les aspects cliniques et computationnelles. Il s’agit de la validation et de la mise en place des réseaux neuraux artificielles travaillant sur les spectrogrammes de l’interaction entre enfant et clinicien pour l’application des algorithmes pour mesurer la synchronie et intégrer des features de l’interaction dans des modèles prédictifs longitudinaux  de la trajectoire de réponse.

Dans la recherche sur l’Autisme les aspects quantitatifs sont fondamentaux pour développer des méthodes d’intervention basées sur l’évidence scientifique et pour développer des traitements personnalisés [1,2]. En fait, la recherche scientifique a montré qu’il y a une variabilité interindividuelle importante au niveau de l’efficacité des différents modèles d’intervention. Dans ce cadre, les aspects liés aux mécanismes de changement et, en général, aux médiateurs de la réponse, sont sous-investigués principalement à cause de l’absence des instruments dédiés qui en permettant l’étude quantitative [3,4]. Dans la recherche développementale avec les enfants, et surtout dans le contextes cliniques, les méthodologies observationnelles sont l’instrument d’investigation principal [5]. Par contre, ce type de recherche nécessite beaucoup de travail humain, notamment pour annoter les données avant de pouvoir faire des analyses statistiques ou utiliser des techniques computationnelles. Souvent, ces limitations empêchent l’utilisation de ces méthodes dans les contextes cliniques, spécialement dans la santé publique [6]. Le projet a comme objectif de réduire l’écart entre la recherche et la pratique clinique en automatisant l’annotation des données dans le domaine acoustique. Un premier système d’intelligence artificielle a été validé avec des résultats prometteurs. Le système est basé sur une architecture siamese qui travaille sur des spectrogrammes pour apprendre des similarités entre des segments acoustiques en termes de (1) présence de la voix humaine et (2) différencier-les entre enfant et clinicien. Le projet vise à affiner la phase de validation et l’utiliser sur un échantillon clinique des enfants préscolaires autistes suivis dans un centre de recherche clinique à l’Université de Trento (Italie) et faisant un intervention naturalistic developmental et comportemental. Le deuxième objectif sera l’utilisation des algorithmes pour mesurer la synchronie interpersonnelle et la prosodie de la communication en relation à la réponse à l’intervention [7].

Le stage se concentre sur des méthodologies d’intelligence artificielle avec des modèles de deep learning, en particulier avec l’utilisation des réseaux neuraux convolutifs en travaillant sur des spectrogrammes des signaux acoustiques extraits par des contextes cliniques avec bruit des données élevé. Des techniques state-of-the-art dans le domaine seront utilisées, comme l’auto-attention et les architectures transformers, en plus des modèles siamois. Les variables de l’interaction seront ensuite intégrées dans des modèles de régression linéaire pour prédire les trajectoires de réponse au traitement de façon longitudinale.

Objectifs du stage :

  1. Validation et raffinement du système d’intelligence artificielle siamois,
  2. Mise en place de méthodes d’analyse automatique quantitatives sur un échantillon clinique longitudinal pour évaluer l’interaction social enfant-thérapeute en termes de synchronie interpersonnelle, prosodie et communication émotionnelle,
  3. Utilisation des features de l’interaction dans des modèles prédictifs de la réponse à l’intervention.

Profil recherché :

Etudiant.e en Master 1 (ou équivalent école d’ingénieur).

Spécialité Sciences du calcul et des données / Sciences Cognitives / Informatique / Robotique.

Compétences requises :

  • Machine Learning,
  • Deep Learning,
  • Modèles prédictifs,
  • Statistique,
  • Traitement du signal,
  • Programmation (Python),
  • Anglais.

Compétences souhaitées :

  • Intérêt pour le traitement des signaux sociaux,
  • Intérêt pour les aspects de recherche multidisciplinaire et clinique,
  • Intérêt pour la médecine de précision.

Informations complémentaires :

  • Encadrants : David Cohen – Professeur, AP-HP Département de Psychiatrie de l’Enfant et de l’Adolescent ; ISIR Sorbonne Université / Mohamed Chetouani – Professeur, ISIR Sorbonne Université
  • Co-encadrant : Giulio Bertamini – Postdoc, AP-HP Département de Psychiatrie de l’Enfant et de l’Adolescent ; ISIR, Sorbonne Université
  • Date de début du stage : Avril 2023
  • Durée du stage : 3 à 4 mois
  • Niveau d’études souhaité : Master 1 ou équivalent
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris / APHP Pitié-Salpêtrière, Département de Psychiatrie de l’Enfant et de l’Adolescent, 47-83 Boulevard de l’Hôpital, 75013, Paris

Personnes à contacter : 

  • Mohamed Chetouani
  • Tél : +33 01 44 27 63 08
  • Email : mohamed.chetouani(at)sorbonne-universite.fr ; giulio.bertamini(at)unitn.it
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 31 janvier 2023

Télécharger l’offre de stage

Sujet du stage : Interfaces gestuelles « coopératives », développement et évaluation

Résumé : Les interfaces intelligentes sont capables de « coopérer » avec les utilisateurs ; les interfaces pour saisir du texte qui proposent des autocomplétions, des corrections etc. sont un exemple bien connu, mais il en existe de nombreuses autres. Concevoir ces interfaces peut-être compliqué, et demande potentiellement une expertise en ingénierie logicielle, en modélisation du comportement humain, et en algorithmie. Nous développons actuellement une librairie Python pour faciliter la conception d’interfaces intelligentes, notamment en proposant des outils pour découpler ces expertises (https://jgori-ouistiti.github.io/CoopIHC/branch/dev/).

Dans ce stage, on s’intéresse plus particulièrement aux interfaces qui exploitent des modèles de l’utilisateur. Ces interfaces sont développés par des approches de simulation où on couple une interface avec un modèle d’utilisateur (synthétique), et non un vrai utilisateur. Par contre, il faut pouvoir évaluer ces interfaces avec des vrais utilisateurs in fine. Le but du stage est de permettre à l’utilisateur de la librairie de partir d’une interface conçue pour un modèle d’utilisateur synthétique et de l’évaluer contre un vrai utilisateur.

Objectifs du stage :

Concrètement, on a déjà une preuve de concept qui fonctionne où l’utilisateur échange avec une interface via un navigateur web, dont la partie intelligente à été entraînée face à un modèle, puis s’exécute dans un environnement Python via le protocole WebSocket, mais l’interface Web est minimaliste, et on ne couvre qu’un cas d’usage limité côté librairie. L’ étudiant partira de cette base pour implémenter un cas d’usage complet d’interaction gestuelle assistée.

Profil recherché :

L’étudiant·e recherché aura des connaissances solides en développement web / Python.

Informations complémentaires : 

  • Encadrant : Julien Gori
  • Date de début du stage : dès que possible
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : en Master 2 ou dernière année d’École d’Ingénieur·e
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personnes à contacter : 

  • Julien Gori
  • Tel : +33 6 51 40 64 04
  • Email : gori(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV, des relevés de notes de M1/M2, et une lettre de motivation.
  • Date limite de dépôt de la candidature : fin janvier 2023

Télécharger l’offre de stage

Sujet du stage : Étude de terrain sur le pointage grâce à la vision par ordinateur

Résumé :

La sélection de cibles à l’aide d’un curseur (pointage), par exemple avec une souris, est l’une des interactions les plus fréquentes pour un utilisateur. Pourtant, étonnamment, l’utilisateur typique pointe toujours comme il y a 30 ans, malgré de nombreuses avancées publiées dans les recherches sur le pointage dans le domaine de l’interaction homme-machine (IHM) — certaines prédisant des gains de performance de plus de 30%. Qu’est-ce qui peut expliquer cela ? À mon avis, il y a un décalage entre les travaux de recherche actuels sur le pointage, qui sont uniquement basés sur des études contrôlées en laboratoire, et le pointage « réel ».  On ne sait qu’évaluer la performance de nouvelles méthodes de pointage à travers des expériences contrôlées parce qu’on ne sait pas observer les grandeurs dont on a besoin pour les caractériser (ni en général implémenter ces méthodes) sur des vrais systèmes.

Le but de ce stage est d’instrumenter un ordinateur pour pouvoir acquérir les données nécessaires, particulièrement les tailles et positions des cibles sélectionnées par l’utilisateur, pour caractériser le pointage directement dans l’environnement de ce dernier. On utilise souvent une loi, dite loi de Fitts, pour décrire le pointage dans un cadre d’expérience contrôlée. Une des questions à laquelle on répondra est de savoir si cette description est toujours pertinente en dehors du cadre contrôlé. Ce travail servira aussi de première étape pour l’implémentation future de techniques d’interaction qui nécessitent de connaître les caractéristiques de cibles pour fonctionner.

Objectifs du stage :

Concrètement, l’étudiant exploitera les API d’accessibilités qui sont disponibles pour certaines applications. Par exemple, l’environnement Gnome (disponible sur Linux, et par exemple standard sur Ubuntu) expose des informations de taille et position de certaines icônes à travers l’interface AT-SPI. Ceci implique que pour un nombre donné d’applications, on est capable de récupérer les informations sur les cibles, nécessaires à l’évaluation de la loi de Fitts. En même temps, on peut faire une capture d’écran ; on peut donc constituer une base de données, avec des captures d’écran de différentes interfaces et en correspondance des informations sur les cibles de cette interface. A partir de cette base de donnée, on peut alors utiliser de l’apprentissage supervisé pour extraire automatiquement d’une capture d’écran les cibles potentielles. L’étudiant·e constituera le jeu de donné et réalisera l’apprentissage supervisé et son évaluation.

Profil recherché :

L’étudiant·e recherché aura des connaissances en programmation (C ou C ++ ou Python), et Linux. Des connaissances de bases en apprentissage supervisé sont aussi demandées.

Des connaissances en détection d’objets, en programmation d’interfaces utilisateurs et en Xlib/Wayland seront particulièrement appréciées.

Informations générales : 

  • Encadrant : Julien Gori
  • Date de début du stage : dès que possible
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : en Master 2 ou dernière année d’École d’Ingénieur·e
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

  • Julien Gori
  • Tel : +33 6 51 40 64 04
  • Email : gori(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : fin janvier 2023

Télécharger l’offre de stage

Sujet de stage : Modélisation de l’expressivité du comportement non verbal pour un agent virtuel 3D

Résumé :

Ce stage s’intègre dans le projet ANR ENHANCER qui vise à développer une plateforme d’agent conversationnel animé pour interagir avec des personnes saines et des personnes souffrant de schizophrénie.

Les agents conversationnels animés peuvent prendre une apparence humaine et peuvent communiquer de manière verbale ou non verbale (Lugrin et al., 2021). Ils peuvent être utilisés comme interface dans une interaction homme-machine en jouant plusieurs rôles tels qu’assistant, enseignant, guide ou compagnon. Ils ont des capacités de communication, c’est-à-dire qu’ils peuvent interagir avec les humains par des moyens de communication verbaux et non verbaux.

Le comportement non verbal peut être caractérisé par sa forme (par exemple, une expression faciale, une forme de la main), ses trajectoires (linéaire, sinusoïdale), son timing (en corrélation avec la parole) et son mode d’exécution (vitesse du mouvement, accélération). Ce dernier point est appelé l’expressivité du comportement. L’annotation Laban (Laban et Ullmann, 1988) décrit les mouvements de danse expressifs selon quatre dimensions (temps, poids, espace et flux). Plusieurs de ces caractéristiques comportementales sont utilisées pour développer des modèles computationnels contrôlant des agents virtuels. Le modèle de Laban a été implémenté dans des agents virtuels (Durupinar et al., 2017). D’autre part, pour caractériser les mouvements corporels émotionnels, Wallbott et Scherer (1986) ont défini un ensemble de six paramètres d’expressivité à savoir : l’étendue spatiale, l’étendue temporelle, la fluidité, la puissance, la répétition et l’activation globale. Ces paramètres ont été mis en œuvre pour contrôler la qualité dynamique du comportement des agents virtuels (Hartmann et al., 2005). Une extension a été proposée par (Huang et al., 2012). Dernièrement, l’approche guidée par les données a été appliquée pour modéliser le regard et la démarche expressifs (Randhavane et al., 2019), l’expression faciale des émotions (Festl & McDonnell, 2018) et les gestes (Neff, 2016).

Objectifs du stage :

L’objectif de ce stage est de manipuler l’expressivité comportemental de l’agent virtuel. L’agent sera capable d’effectuer des comportements non verbaux avec différentes expressivités pendant toute l’interaction. L’expressivité agit sur la dynamique et l’amplitude des comportements ainsi que sur leur nombre d’occurrences. Cela permettra de créer des agents faisant peu de comportements avec une faible expressivité ou faisant plus de comportements avec une expressivité plus élevée. Pour cela plusieurs étapes sont prévues :

  • étendre le modèle actuel d’expressivité des comportements où 6 paramètres sont implémentés (Huang&Pelachaud, 2012), afin qu’il puisse agir globalement sur l’ensemble de l’interaction ou sur un laps de temps spécifique,
  • utiliser la base de données de mouvements expressifs Emilya (Fourati&Pelachaud, 2016) qui contient des données de capture de mouvement de mouvements effectués par 11 personnes réalisant 7 actions avec 8 émotions, pour caractériser les valeurs des paramètres d’expressivité du comportement.

Profil recherché : étudiant·e en Master d’ingénierie ou d’informatique, étudiant·e en ingénierie.

Compétences requises : Java, animation 3D

Candidatures : Envoyer votre candidature par mail, avec [sujet du stage] en objet, votre CV, vos notes de M1 et M2, les noms de vos référent·e·s et une lettre de motivation à catherine.pelachaud(at)upmc.fr

Plus d’informations :  

  • Encadrante : Catherine Pelachaud
  • Date de début du stage : Mars-Avril 2023
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : Master 2
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Catherine Pelachaud
  • Email : catherine.pelachaud(at)upmc.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, votre CV, vos notes de M1 et M2, les noms de vos référent·e·s et une lettre de motivation.
  • Date limite de dépôt de la candidature : janvier 2023

Télécharger l’offre de stage