Home » Nous rejoindre » Opportunités

Opportunités

Offres de thèse

Sujet de thèse : Apprentissage profond basé sur la physique pour la modélisation de la dynamique complexe. Applications au climat

Contexte :

L’apprentissage profond commence à être développé pour le calcul scientifique dans des domaines traditionnellement dominés par les modèles physiques comme les sciences de la terre, les sciences du climat, les sciences biologiques, etc. Il est particulièrement prometteur pour les problèmes impliquant des processus qui ne sont pas complètement compris ou qui sont trop complexes pour être modélisés analytiquement. Des chercheurs de différentes communautés ont commencé à explorer (i) comment intégrer les connaissances physiques et les données pour la modélisation de phénomènes complexes, et (ii) comment repousser les limites des méthodes et de la théorie actuelles de l’apprentissage automatique pour ces problèmes de modélisation, deux directions stimulantes. Nous considérons ici les approches d’apprentissage profond pour la modélisation de systèmes dynamiques complexes caractérisant les phénomènes naturels, un sujet de recherche récent et en pleine expansion (Willard et al. 2020, Thuerey et al. 2021). Des problèmes et des applications motivants seront issus de la science du climat (de Bezenac et al. 2018, Ayed et al. 2020).

Objectifs scientifiques :

L’objectif global de la thèse est le développement de nouveaux modèles exploitant des données d’observation ou de simulation pour la modélisation de dynamiques spatio-temporelles complexes caractérisant des phénomènes physiques tels que ceux qui sous-tendent les observations en sciences de la terre et du climat.  Les outils classiques de modélisation de ces dynamiques en physique et en mathématiques appliquées reposent sur les équations aux dérivées partielles (EDP). Malgré leurs succès dans différents domaines, les approches apprentissage actuelles sont nettement insuffisantes pour de tels problèmes. Utiliser l’apprentissage pour la physique soulève de nouveaux problèmes qui exigent de repenser les idées à la base de l’apprentissage.

Axes de recherche :

  • Systèmes hybrides – Intégrer la physique et l’apprentissage profond,
  • Généralisation de domaine pour l’apprentissage de dynamiques,
  • Apprentissage à plusieurs échelles.

Profil recherché : Master en informatique ou en mathématiques appliquées, ou école d’ingénieur·e·s.  Formation et expérience en apprentissage automatique. Bonnes compétences techniques en programmation.

Information générale :

  • Directeur de thèse : Patrick Gallinari
  • Co-encadrements de la thèse : M. Levy et S. Thiria du laboratoire LOCEAN
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.
  • Début de la thèse : octobre / novembre 2022
  • Le sujet de recherche est ouvert et, selon le profil du candidat, il peut être orienté davantage vers la théorie ou vers l’application.

Personne à contacter : 

  • Prénom Nom : Patrick Gallinari
  • Email : patrick.gallinari(at)sorbonne-universite.fr.
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV, une lettre de motivation, les notes obtenues en master, et lettres de recommandation si possible.

Télécharger l’offre de thèse

Sujet de thèse : Modèles computationnels pour prédire les trajectoires d’utilisateur dans des environnements dynamiques 

Contexte :

Atteindre un objet (par exemple sélectionner un objet 3D en Réalité virtuelle (RV) ou une icône sur le bureau) est l’une des tâches les plus fondamentales de l’interaction homme-machine (IHM). En IHM, la loi de Fitts a été largement utilisée pour prédire le temps de pointage en fonction de la distance et de la taille de cible (objet). Elle a été utilisée pour comparer différents appareils, ainsi que pour développer des techniques d’interaction avancées. Cependant, la loi de Fitts reste un modèle comportemental fournissant peu d’explications sur les processus cognitifs et donc il n’explique/prédit pas comment les utilisateurs adaptent leur comportement dans des environnements dynamiques impliquant des forces externes ou des transductions entre mouvements virtuels et physiques.

Un modèle qui prédirait les trajectoires produites par l’homme dans des environnements dynamiques éclairerait la conception de nombreuses transductions d’entrée-sortie non statiques (comme par exemple, les souris adaptatives, des techniques de RV qui manipulent l’affichage), permettant ainsi une conception basée sur des raisonnement contrefactuels.

Description du projet :

Dans cette thèse, on cherche à décrire la façon dont les utilisateurs produisent et adaptent leurs trajectoires dans un environnement nouveau et/ou dynamique. Nous adoptons une vision où la formation de trajectoire s’appuie sur les prédictions d’un modèle du monde extérieur interne à l’utilisateur, conformément au cadre mis au point par Todorov, qui exploite des résultats en contrôle optimal. Dans ce cadre classique, le modèle interne est statique et identifié au préalable.

Nous faisons l’hypothèse que, plutôt que d’ être statique, ce modèle interne doit être continuellement mis à jour, à la lumière des conflits entre les prédictions de ce dernier et les informations sensorielles que l’utilisateur reçoit. Le problème ouvert que nous abordons est de modéliser et d’intégrer ce processus d’apprentissage dans le cadre du contrôle optimal. Pour y parvenir, nous adapterons le modèle classique de Todorov, en estimant dynamiquement les paramètres du modèle interne. Cette inférence sera obtenue progressivement, en mettant à jour le modèle interne obsolète d’origine, à partir d’un signal d’erreur entre les prévisions et les observations. Les taux de mise à jour (à quelle fréquence les paramètres du modèle sont mis à jour et dans quelle mesure) seront déterminés à partir de données empiriques.

Objectif scientifique :

Les objectifs de cette thèse sont :

  • adapter le modèle de contrôle optimal de Todorov pour les mouvements ciblés, en ajoutant un mécanisme d’apprentissage qui met à jour le modèle interne de l’utilisateur,
  • étendre ce modèle avec des mécanismes feedforward, là où le modèle de Todorov est purement feedback,
  • valider et calibrer les nouveaux modèles sur des données empiriques,
  • mise en place d’une technique d’interaction exploitant les nouveaux modèles (démonstrateur).

Profil recherché : Des candidats avec un solide parcours académique en IHM, un domaine lié au mouvement humain, ou en théorie du contrôle sont encouragés à candidater.

Compétences requises : On attend du candidat qu’il sache manipuler des modèles computationnels. Une capacité à mener des expériences et/ou à piloter des systèmes de RV est un plus.

 

Informations générales : 

  • Directeur de thèse : Gilles Bailly
  • Laboratoire daccueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Julien Gori
  • Tel : +33 1 44 27 51 21
  • Email : gori(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 15/05/2022

Télécharger l’offre de thèse

Lien vers l’offre sur le site de l’Ecole Doctorale

Offres d’emploi

Post-doc : Apprentissage en robotique, avec application à la saisie d’objets

Contexte :

Dans le cadre du projet FET Proactive DREAM (http://dream.isir.upmc.fr/), une approche de la robotique adaptative basée sur l’apprentissage ouvert a été définie. L’objectif principal est de permettre à un robot d’apprendre sans nécessiter une préparation minutieuse par un expert. Cette approche soulève de nombreux défis, notamment l’apprentissage avec des récompenses rares, l’apprentissage de représentations (pour les états et les actions), l’apprentissage et l’exploitation de modèles, le transfert d’apprentissage, le méta apprentissage et la généralisation. Ces sujets sont considérés en simulation, mais aussi sur des plateformes robotiques réelles, notamment dans le contexte de la saisie d’objets.

Missions :

Ce poste vise à contribuer à ces sujets dans le cadre de plusieurs projets européens, en particulier SoftManBot, Corsmal, INDEX et Learn2Grasp. S’appuyant sur les travaux antérieurs de l’équipe de recherche, les approches proposées devront être facilement adaptables à différentes plateformes robotiques et seront donc appliquées à différents robots (bras Panda de Franka-Emika, Baxter, PR2 ou TIAGO, par exemple).

Profil recherché :

Les candidats à ce poste doivent être titulaires d’un doctorat en apprentissage machine ou dans un domaine connexe dans lequel des applications robotiques (simulées ou réelles) ont été considérées.

Compétences requises :

Une excellente formation est attendue en apprentissage machine ainsi qu’une expérience en robotique. D’excellentes compétences en programmation en Python sont attendues.

Plus d’informations : 

  • Type de poste : Chercheuse / Chercheur post-doctoral
  • Date de début de contrat : octobre 2022
  • Durée du contrat : 24 mois
  • Niveau d’études souhaité : Doctorat
  • Montant rémunération : Rémunération en fonction de l’expérience
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Stéphane Doncieux
  • stephane.doncieux(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [nom de l’offre] en objet, un CV et une lettre de motivation.

Télécharger l’offre d’emploi

Post-doctorat en manipulation robotique

Contexte :

L’ISIR a une longue histoire en manipulation robotique dextre depuis le projet européen HANDLE (2009-2013) qu’il a coordonné. L’ISIR est encore partenaire actuellement de trois projets européens sur ce sujet : CORSMAL, INDEX et SOFTMANBOT (https://www.isir.upmc.fr/projets/?team=syroco&project-type=all-projects-fr).
L’équipe projet « Manipulation robotique » au sein de l’équipe SYROCO de l’ISIR qui participe à ces projets est composée d’une dizaine de chercheurs (3 professeurs, 1 maître de conférences, 5 doctorants, 1 ingénieur et des stagiaires). Les solutions développées sont intégrées soit sur une main Shadow, une main Allegro, un robot Panda Franka Emika ou un robot Baxter.

Missions :

L’ISIR recrute un chercheur ou une chercheuse postdoctoral(e) pour s’investir dans le développement et la mise en œuvre de solutions qui contribueront à la réalisation des objectifs des projets européens. Il/elle aidera à coordonner les activités de recherche menées au sein des projets par une équipe de doctorant·e·s, participera aux réunions des projets, contribuera aux développements scientifiques, et soutiendra l’intégration et l’expérimentation des solutions obtenues. Le chercheur ou la chercheuse postdoctoral(e) mènera également ses propres recherches. En particulier, l’équipe souhaite renforcer les activités sur la manipulation bimanuelle d’objets déformables.

Profil recherché : Les candidat·e·s au poste doivent être titulaires d’un doctorat en robotique ou domaine connexe.

Compétences requises : Expertise en perception (la détection tactile serait un atout), optimisation, planification et contrôle, ainsi qu’une bonne expérience dans la mise en œuvre sous ROS.

Informations générales : 
  • Type de poste : Chercheuse / Chercheur post-doctoral
  • Date de début de contrat : dès que possible
  • Durée du contrat : 1 an renouvelable
  • Niveau d’études souhaité : Doctorat en robotique ou domaine connexe
  • Montant rémunération : Rémunération en fonction de l’expérience
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Véronique Perdereau 
  • veronique.perdereau(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec un CV comprenant une liste complète des publications, une lettre de motivation, les relevés de notes et les certificats de diplômes, ainsi que trois références académiques. Les candidatures incomplètes ne seront pas prises en compte.

Télécharger l’offre d’emploi

Gestionnaire financier-e et comptable

Mission : Au sein du service administratif de l’ISIR, le ou la gestionnaire financier-e et comptable réalisera des actes de gestion administrative dans le respect des techniques, des règles et des procédures applicables au domaine de la gestion financière et/ou comptable.

Activités principales :

–  Procéder aux opérations liées aux commandes d’achats et de ventes et en assurer le suivi sur les logiciels de gestion de Sorbonne Université et du CNRS (SIFAC et Geslab),

–  Gérer les ordres de mission et assurer le suivi des déplacements professionnels avec les outils dédiés de Sorbonne Université et du CNRS (Globeo, SIFAC et SIMBAD (FCM-RYDOO), Geslab),

–  Assurer le suivi de projets subventionnés sur le plan comptable en lien avec leurs responsables (tableau de bord / reporting) et permettre le suivi dans le cadre du dialogue budgétaire,

–  S’informer et suivre l’évolution de la réglementation dans son domaine d’activité,

–  Classer et archiver les justificatifs des opérations financières et/ou comptables,

–  Répondre aux audits des tutelles,

–  Participer à l’activité du service pour assurer la continuité de service.

 

Informations générales :

  • Lieu de travail : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris
  • Typer de contrat : CDD
  • Durée du contrat : 12 mois
  • Contact : Yves Germain, Secrétaire Général de l’ISIR, yves.germain(at)isir.upmc.fr

Lien vers la fiche de poste

Offres de doctorat, postdoctorat ou d’ingénieur·e de recherche pour le groupe HCI Sorbonne (Human Computer Interaction)

Contexte :

Nous avons plusieurs postes pour un postdoctorat ou en tant qu’ingénieur·e de recherche dans le groupe HCI Sorbonne (https://hci.isir.upmc.fr) à Sorbonne Université, Paris, France.

Missions :

Nous cherchons des personnes curieuses qui souhaitent réaliser des projets de recherche à l’intersection de l’IHM et neuroscience avec (au choix) la RV, l’haptique, la robotique ou l’IA. Des sujets possibles sont :

  • Nouvelles techniques d’interaction en RV,
  • RV et Haptique pour le jeux et/ou l’apprentissage,
  • Modèles computationnels pour l’apprentissage, la prise de décision et la performance humaine,
  • Systèmes de recommandation s’appuyant sur l’IA.

Exemples de travaux récents dans ces domaines :

Profil recherché : 

Pour un post-doctorat, un doctorat en IHM ou un domaine en lien avec l’IHM est nécessaire.

Compétences requises :

  • Compétences solides en programmation et analyse strong programming and analytical skills,
  • Solide expérience dans au moins un de ces domaines : IHM, RV, Haptique, Robotique, IA.

Plus d’informations : 

  • Type de poste : Postdoctorat ou Ingénieure de Recherche
  • Date de début de contrat : dès que possible
  • Durée du contrat : 1 à 2ans
  • Niveau d’études souhaité : Master 2 (pour ingénieur), doctorat (pour post-doc)
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personnes à contacter : 

  • Gilles Bailly et Sinan Haliyo
  • Email : gilles.bailly(at)sorbonne-universite.fr ; sinan.haliyo(at)sorbonne-universite.fr
  • Candidature : Envoyer votre candidature par mail, avec un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : Aucune

Offres de stage

Sujet du stage : Modèle computationnel de l’hippocampe par des approches sensorimotrices de la perception

Résumé :

L’hippocampe des vertébrés est connu pour contenir des neurones dont l’activité est corrélée à la position de l’animal dans l’espace, nommés les cellules de lieu [1], et qui ont été source d’inspiration pour de nombreux travaux de neuro-robotique centrés sur la navigation spatiale. Les modèles computationnels des cellules de lieu des années 2000 utilisaient des techniques d’apprentissage non-supervisé pour projeter les entrées sensorielles multi-dimensionnelles dans des espaces à deux dimensions, mais s’appuyaient sur des spécificités des relations entre les entrées sensorielles exteroceptives (vision, etc.) et interoceptives (déplacements propres) dans le cadre de la navigation, et ne pouvaient donc donner naissance qu’à ce type de représentation (voir par exemple [2]). Depuis, il a été montré que l’hippocampe n’est pas nécessairement dédié qu’à la construction de cartes 2D, puisqu’un neurone codant pour un lieu dans une tâche de navigation spatiale, peut, dans un autre contexte, coder pour une distance, un temps écoulé [3], voire une étape dans le déroulement d’une séquence [4]. Il a donc peut-être un rôle plus général de détection de régularités et d’interdépendances dans le flux des données d’entrée, lui permettant de projeter des données de grandes dimensions dans des espaces de plus petites dimensions pertinents dans un contexte donné.

Objectifs du stage :

  • une prise en main du contexte et du sujet ;
  • une prise en main de la formalisation théorique du problème ;
  • l’adaptation du formalisme existant à la situation souhaitée ; cela requerra de relaxer un certain nombre d’hypothèses initiales, dont il faudra identifier la portée ;
  • générer des données sensorimotrices pour un agent simple simulé ;
  • extraire des données obtenues une représentation adaptée à la tâche (elle sera certainement spatiale, mais pourrait aussi prendre la forme d’un graphe d’actions de l’agent) ;
  • analyser les résultats obtenus et valider s’ils permettent la modélisation de la fonction générale de l’hippocampe.

Profil recherché : stage de M1 ou 2ème année d’école d’ingénieur·e.

Compétences requises :

  • un goût prononcé pour les travaux mêlant une approche fondamentale et une démarche expérimentale ;
  • programmation Python. Des connaissances de base en ROS sont un plus ;
  • idéalement, de bonnes capacités en mathématiques appliquées, et un attrait pour l’apprentissage et la reconnaissance de formes utilisées dans un contexte de robotique développementale ;
  • bonne maîtrise de l’anglais.

Informations complémentaires : 

  • Encadrants : Benoît Girard et Sylvain Argentieri
  • Date de début du stage : courant printemps 2023
  • Durée du stage : 3 mois
  • Niveau d’études souhaité : stage de M1 ou 2ème année d’école d’ingénieur·e
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris

Personne à contacter : 

  • Benoît Girard et Sylvain Argentieri
  • Email : benoit.girard(at)sorbonne-universite.fr ; sylvain.argentieri(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation

Télécharger l’offre de stage

Sujet du stage : Système de vision pour la reconstruction 3D d’un manipulateur souple

Résumé :

La robotique agricole est actuellement en plein développement pour répondre aux enjeux environnementaux et de souveraineté alimentaire face aux manques de mains d’œuvre. Dans le cadre d’un projet de développement d’un manipulateur souple pour la cueillette de fruits fragiles, on cherche à reconstituer en temps réel la forme du manipulateur avec un système de vision externe. Cette reconstruction est nécessaire pour le contrôle en boucle fermée de la forme du manipulateur et pour ajuster sa configuration à la pose de l’objet à saisir.

Objectifs du stage :

Le stage consiste à mettre en place un système de vision fixe pour la reconstruction 3D d’un manipulateur souple. Le manipulateur a la forme d’une trompe actionnée par des câbles et des moteurs déportés. Le stagiaire aura pour missions d’étudier les différents capteurs existants pour la perception, sélectionner et mettre en place une solution et enfin évaluer ses performances. Parmi les solutions envisagées, on peut citer celles utilisant une ou plusieurs caméras RGB-D, un banc de stéréovision, ou des QR code, voire un tag cube. Un autre système de capture de mouvement est disponible pour la calibration et la validation du système de perception développé.

Profil recherché : roboticien ou roboticienne avec un intérêt pour la perception et le contrôle.

Compétences requises : programmation, traitement d’image, prototypage.

Informations complémentaires :

  • Encadrants : Nizar Ouarti, Faïz Ben Amar
  • Date de début du stage : Mars 2023
  • Duréedustage : 5 ou 6 mois
  • Niveau d’études souhaité : Master 2 ou dernière année d’école d’ingénieur
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personnes à contacter :

  • Nizar Ouarti et Faïz Ben Amar
  • Email : ouarti(at)isir.upmc.fr ; amar(at)isir.upmc.fr ;
  • Envoyer votre candidature par mail, avec [système de vision pour manipulateur souple] en objet, un CV et une lettre de motivation.

Télécharger l’offre de stage

Sujet du stage : Évaluation automatique des capacités motrices et d’interaction du bébé pour l’identification précoce des troubles du neurodéveloppement

Résumé :

Ce stage s’intègre au sein du projet TECH-TOYS (EraPermed 2021) qui vise à développer une solution technique innovante matérialisé par un baby-gym pour faciliter la détection précoce des Troubles de NeuroDéveloppement (TNDs) chez le bébé. Ladite plateforme sensorisée, déployable à domicile, permettra d’acquérir de façon quantitative des données relatives à l’activité motrice et à l’interaction parents-bébé. Cette récolte de données a pour but d’aider les cliniciens à identifier les individus à risque de développer des TNDs et de prévoir, si nécessaire, une série d’interventions visant à réduire l’impact des troubles sur la future vie de l’individu. TECH-TOYS fait suite au projet CareToys mené par la Fondazione Stella Maris (Pise, Italie).

Issu d’une collaboration pluridisciplinaire débutée en 2022 entre six institutions européennes, le projet TECH-TOYS réunit des experts en psychiatrie, robotique, intelligence artificielle et éthique. L’ISIR est impliqué dans trois tâches majeures du projet ; a) le développement d’une nouvelle plateforme d’acquisition de données, b) le développement d’un modèle d’apprentissage de représentations pour l’identification de marqueurs numériques et, c) le développement d’un modèle de précision. Le présent stage se focalise sur cette dernière tâche.  La médecine de précision désigne le processus de définition d’une pathologie au moyen de techniques génomiques ou encore computationnelles, permettant un ciblage plus précis des différentes formes de ladite pathologie. Dans le cadre du projet TECH-TOYS, un outil de médecine de précision numérique sera mis en place afin d’assister les cliniciens dans l’observation et la prise de décision au regard de la détection précoce.

Objectifs du stage :

1) Définition des signaux d’intérêts et préparation des données CareToys :

Un ensemble de signaux d’intérêts devront être définis sur la base de la littérature clinique et d’ingénierie tout en tenant compte de la nature des données CareToys. Une phase de pré-processing suivie d’une étape d’analyse préliminaire des données devra être menée.

2) Choix des modèles et tests préliminaires :

La seconde partie du stage consistera à prendre en main les méthodes préalablement identifiées en les appliquant sur des jeux de données simplifiés et/ou similaires au jeu de données CareToys, en veillant à intégrer les contraintes et hypothèses identifiées durant la première partie du stage.

3) Déploiement des modèles et évaluation :

La dernière étape du stage se focalisera sur le déploiement des modèles sur les données CareToys, avec potentiellement quelques adaptations, ainsi que sur leurs validations. Cela nécessitera notamment d’annoter une partie de données et de définir un ensemble de métriques pour valider les modèles.

Profil recherché :

Etudiant.e en Master 1 (ou équivalent école d’ingénieur). Spécialité Robotique / Sciences Cognitives / Informatique.

Compétences requises :

Traitement du signal, Programmation (Python / C++), Anglais.

Compétences souhaitées :

Machine Learning, Intérêt pour le traitement du signal social et ses applications cliniques.

Informations complémentaires : 

  • Encadrant : Mohamed Chetouani – Professeur, ISIR Sorbonne Université
  • Co-encadrant : Louis Simon – Doctorant, ISIR Sorbonne Université
  • Date de début du stage : Avril 2023
  • Duréedustage : 3 à 4mois
  • Niveau d’études souhaité : Master 1 ou équivalent
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Mohamed Chetouani
  • Tel:+330144276308
  • Email : mohamed.chetouani(at)sorbonne-universite.fr | louis.simon(at)sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 28 février 2023

Télécharger l’offre de stage

 

 

 

 

 

Sujet du stage : Interface Web pour la création d’environnements d’apprentissage vidéo 3D

Résumé :

Ce stage s’appuie sur un outil d’apprentissage développé dans notre laboratoire, où des étudiants en médecine peuvent apprendre à travers des vidéos 3D à l’aide d’un visiocasque (Head-Mounted Display ou HMD). La figure ci-dessous montre ce que voit l’apprenant : au centre une vidéo immersive 3D, à gauche un gros plan de la vidéo, et à droite un schéma.

Objectifs du stage :

Développer un système interactif basé sur le Web où les instructeurs peuvent créer l’environnement d’apprentissage que l’apprenant visualise. Cela impliquera trois étapes :

  1. Développer un outil Web où un instructeur peut créer des projets en éditant des vidéos (par exemple, découper, segmenter), en synchronisant des vidéos avec d’autres médias (par exemple, des images anatomiques, du son) et en définissant une navigation interactive de leur vidéo (par exemple, la sélection du niveau de détail du contenu),
  2. Une fonction d’export permettant d’importer le projet par une application existante. Cette application montre le projet dans un casque VR. Le stagiaire aura accès à cette application,
  3. Enfin, réaliser des tests avec des chirurgiens pour itérer sur la conception de l’outil.

Profil recherché :

Un étudiant·e en master s’intéressant aux domaines de l’Interaction Humain–Machine (IHM) et / ou du travail coopératif assisté par ordinateur (CSCW). Le candidat doit avoir de solides compétences en programmation web et javascript, en particulier nous apprécierons une expérience antérieure dans la conception d’interfaces interactives avec des vidéo.

IMPORTANT : Le financement de ce projet nécessite que l’étudiant soit inscrit dans un programme de master au sein de l’Alliance Sorbonne Université, qui implique les établissements suivants : Sorbonne Université, Le Muséum national d’Histoire naturelle (MNHN), L’Insead, L’université de technologie de Compiègne (UTC), Le pôle supérieur d’enseignement artistique Paris Boulogne-Billancourt (PSPBB), France Education International (anciennement Ciep).

Compétences requises :

Développement web (HTML, JS, CSS). Les compétences supplémentaires qui seront valorisées comprennent : les compétences de codage unitaire, la maîtrise de l’anglais et de la rédaction académique.

Informations complémentaires : 

  • Encadrant·e : Ignacio Avellino
  • Date de début du stage : Mars ou Avril 2023
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : M1, actuellement en M2
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Ignacio Avellino
  • Tel : +33 1 44 27 62 17
  • Email : ignacio.avellino@sorbonne-universite.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.

Télécharger l’offre de stage

Sujet du stage : Deep learning pour l’analyse automatique de l’interaction acoustique enfant-thérapeute dans des contextes cliniques non contraints

Résumé :

Ce stage vise à développer une solution technique innovante dans le cadre de l’intervention clinique chez les enfants préscolaires autistes et, plus généralement, dans les contextes cliniques.

Le projet a pour but de développer un système d’intelligence artificielle, complètement non-invasif permettant l’analyse automatique et quantitative des données relatives à l’interaction enfant-therapeut dans un échantillon longitudinal pour évaluer l’impact des aspects interpersonnels sur les trajectoires de réponse au traitement. Le projet est en collaboration avec l’Université de Trento (Italie) et se situe dans un cadre des compétences multidisciplinaires entre les aspects cliniques et computationnelles. Il s’agit de la validation et de la mise en place des réseaux neuraux artificielles travaillant sur les spectrogrammes de l’interaction entre enfant et clinicien pour l’application des algorithmes pour mesurer la synchronie et intégrer des features de l’interaction dans des modèles prédictifs longitudinaux  de la trajectoire de réponse.

Dans la recherche sur l’Autisme les aspects quantitatifs sont fondamentaux pour développer des méthodes d’intervention basées sur l’évidence scientifique et pour développer des traitements personnalisés [1,2]. En fait, la recherche scientifique a montré qu’il y a une variabilité interindividuelle importante au niveau de l’efficacité des différents modèles d’intervention. Dans ce cadre, les aspects liés aux mécanismes de changement et, en général, aux médiateurs de la réponse, sont sous-investigués principalement à cause de l’absence des instruments dédiés qui en permettant l’étude quantitative [3,4]. Dans la recherche développementale avec les enfants, et surtout dans le contextes cliniques, les méthodologies observationnelles sont l’instrument d’investigation principal [5]. Par contre, ce type de recherche nécessite beaucoup de travail humain, notamment pour annoter les données avant de pouvoir faire des analyses statistiques ou utiliser des techniques computationnelles. Souvent, ces limitations empêchent l’utilisation de ces méthodes dans les contextes cliniques, spécialement dans la santé publique [6]. Le projet a comme objectif de réduire l’écart entre la recherche et la pratique clinique en automatisant l’annotation des données dans le domaine acoustique. Un premier système d’intelligence artificielle a été validé avec des résultats prometteurs. Le système est basé sur une architecture siamese qui travaille sur des spectrogrammes pour apprendre des similarités entre des segments acoustiques en termes de (1) présence de la voix humaine et (2) différencier-les entre enfant et clinicien. Le projet vise à affiner la phase de validation et l’utiliser sur un échantillon clinique des enfants préscolaires autistes suivis dans un centre de recherche clinique à l’Université de Trento (Italie) et faisant un intervention naturalistic developmental et comportemental. Le deuxième objectif sera l’utilisation des algorithmes pour mesurer la synchronie interpersonnelle et la prosodie de la communication en relation à la réponse à l’intervention [7].

Le stage se concentre sur des méthodologies d’intelligence artificielle avec des modèles de deep learning, en particulier avec l’utilisation des réseaux neuraux convolutifs en travaillant sur des spectrogrammes des signaux acoustiques extraits par des contextes cliniques avec bruit des données élevé. Des techniques state-of-the-art dans le domaine seront utilisées, comme l’auto-attention et les architectures transformers, en plus des modèles siamois. Les variables de l’interaction seront ensuite intégrées dans des modèles de régression linéaire pour prédire les trajectoires de réponse au traitement de façon longitudinale.

Objectifs du stage :

  1. Validation et raffinement du système d’intelligence artificielle siamois,
  2. Mise en place de méthodes d’analyse automatique quantitatives sur un échantillon clinique longitudinal pour évaluer l’interaction social enfant-thérapeute en termes de synchronie interpersonnelle, prosodie et communication émotionnelle,
  3. Utilisation des features de l’interaction dans des modèles prédictifs de la réponse à l’intervention.

Profil recherché :

Etudiant.e en Master 1 (ou équivalent école d’ingénieur).

Spécialité Sciences du calcul et des données / Sciences Cognitives / Informatique / Robotique.

Compétences requises :

  • Machine Learning,
  • Deep Learning,
  • Modèles prédictifs,
  • Statistique,
  • Traitement du signal,
  • Programmation (Python),
  • Anglais.

Compétences souhaitées :

  • Intérêt pour le traitement des signaux sociaux,
  • Intérêt pour les aspects de recherche multidisciplinaire et clinique,
  • Intérêt pour la médecine de précision.

Informations complémentaires :

  • Encadrants : David Cohen – Professeur, AP-HP Département de Psychiatrie de l’Enfant et de l’Adolescent ; ISIR Sorbonne Université / Mohamed Chetouani – Professeur, ISIR Sorbonne Université
  • Co-encadrant : Giulio Bertamini – Postdoc, AP-HP Département de Psychiatrie de l’Enfant et de l’Adolescent ; ISIR, Sorbonne Université
  • Date de début du stage : Avril 2023
  • Durée du stage : 3 à 4 mois
  • Niveau d’études souhaité : Master 1 ou équivalent
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris / APHP Pitié-Salpêtrière, Département de Psychiatrie de l’Enfant et de l’Adolescent, 47-83 Boulevard de l’Hôpital, 75013, Paris

Personnes à contacter : 

  • Mohamed Chetouani
  • Tél : +33 01 44 27 63 08
  • Email : mohamed.chetouani(at)sorbonne-universite.fr ; giulio.bertamini(at)unitn.it
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : 31 janvier 2023

Télécharger l’offre de stage

Sujet du stage : Interfaces gestuelles « coopératives », développement et évaluation

Résumé : Les interfaces intelligentes sont capables de « coopérer » avec les utilisateurs ; les interfaces pour saisir du texte qui proposent des autocomplétions, des corrections etc. sont un exemple bien connu, mais il en existe de nombreuses autres. Concevoir ces interfaces peut-être compliqué, et demande potentiellement une expertise en ingénierie logicielle, en modélisation du comportement humain, et en algorithmie. Nous développons actuellement une librairie Python pour faciliter la conception d’interfaces intelligentes, notamment en proposant des outils pour découpler ces expertises (https://jgori-ouistiti.github.io/CoopIHC/branch/dev/).

Dans ce stage, on s’intéresse plus particulièrement aux interfaces qui exploitent des modèles de l’utilisateur. Ces interfaces sont développés par des approches de simulation où on couple une interface avec un modèle d’utilisateur (synthétique), et non un vrai utilisateur. Par contre, il faut pouvoir évaluer ces interfaces avec des vrais utilisateurs in fine. Le but du stage est de permettre à l’utilisateur de la librairie de partir d’une interface conçue pour un modèle d’utilisateur synthétique et de l’évaluer contre un vrai utilisateur.

Objectifs du stage :

Concrètement, on a déjà une preuve de concept qui fonctionne où l’utilisateur échange avec une interface via un navigateur web, dont la partie intelligente à été entraînée face à un modèle, puis s’exécute dans un environnement Python via le protocole WebSocket, mais l’interface Web est minimaliste, et on ne couvre qu’un cas d’usage limité côté librairie. L’ étudiant partira de cette base pour implémenter un cas d’usage complet d’interaction gestuelle assistée.

Profil recherché :

L’étudiant·e recherché aura des connaissances solides en développement web / Python.

Informations complémentaires : 

  • Encadrant : Julien Gori
  • Date de début du stage : dès que possible
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : en Master 2 ou dernière année d’École d’Ingénieur·e
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personnes à contacter : 

  • Julien Gori
  • Tel : +33 6 51 40 64 04
  • Email : gori(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV, des relevés de notes de M1/M2, et une lettre de motivation.
  • Date limite de dépôt de la candidature : fin janvier 2023

Télécharger l’offre de stage

Sujet du stage : Étude de terrain sur le pointage grâce à la vision par ordinateur

Résumé :

La sélection de cibles à l’aide d’un curseur (pointage), par exemple avec une souris, est l’une des interactions les plus fréquentes pour un utilisateur. Pourtant, étonnamment, l’utilisateur typique pointe toujours comme il y a 30 ans, malgré de nombreuses avancées publiées dans les recherches sur le pointage dans le domaine de l’interaction homme-machine (IHM) — certaines prédisant des gains de performance de plus de 30%. Qu’est-ce qui peut expliquer cela ? À mon avis, il y a un décalage entre les travaux de recherche actuels sur le pointage, qui sont uniquement basés sur des études contrôlées en laboratoire, et le pointage « réel ».  On ne sait qu’évaluer la performance de nouvelles méthodes de pointage à travers des expériences contrôlées parce qu’on ne sait pas observer les grandeurs dont on a besoin pour les caractériser (ni en général implémenter ces méthodes) sur des vrais systèmes.

Le but de ce stage est d’instrumenter un ordinateur pour pouvoir acquérir les données nécessaires, particulièrement les tailles et positions des cibles sélectionnées par l’utilisateur, pour caractériser le pointage directement dans l’environnement de ce dernier. On utilise souvent une loi, dite loi de Fitts, pour décrire le pointage dans un cadre d’expérience contrôlée. Une des questions à laquelle on répondra est de savoir si cette description est toujours pertinente en dehors du cadre contrôlé. Ce travail servira aussi de première étape pour l’implémentation future de techniques d’interaction qui nécessitent de connaître les caractéristiques de cibles pour fonctionner.

Objectifs du stage :

Concrètement, l’étudiant exploitera les API d’accessibilités qui sont disponibles pour certaines applications. Par exemple, l’environnement Gnome (disponible sur Linux, et par exemple standard sur Ubuntu) expose des informations de taille et position de certaines icônes à travers l’interface AT-SPI. Ceci implique que pour un nombre donné d’applications, on est capable de récupérer les informations sur les cibles, nécessaires à l’évaluation de la loi de Fitts. En même temps, on peut faire une capture d’écran ; on peut donc constituer une base de données, avec des captures d’écran de différentes interfaces et en correspondance des informations sur les cibles de cette interface. A partir de cette base de donnée, on peut alors utiliser de l’apprentissage supervisé pour extraire automatiquement d’une capture d’écran les cibles potentielles. L’étudiant·e constituera le jeu de donné et réalisera l’apprentissage supervisé et son évaluation.

Profil recherché :

L’étudiant·e recherché aura des connaissances en programmation (C ou C ++ ou Python), et Linux. Des connaissances de bases en apprentissage supervisé sont aussi demandées.

Des connaissances en détection d’objets, en programmation d’interfaces utilisateurs et en Xlib/Wayland seront particulièrement appréciées.

Informations générales : 

  • Encadrant : Julien Gori
  • Date de début du stage : dès que possible
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : en Master 2 ou dernière année d’École d’Ingénieur·e
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

  • Julien Gori
  • Tel : +33 6 51 40 64 04
  • Email : gori(at)isir.upmc.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.
  • Date limite de dépôt de la candidature : fin janvier 2023

Télécharger l’offre de stage

Sujet de stage : Modélisation de l’expressivité du comportement non verbal pour un agent virtuel 3D

Résumé :

Ce stage s’intègre dans le projet ANR ENHANCER qui vise à développer une plateforme d’agent conversationnel animé pour interagir avec des personnes saines et des personnes souffrant de schizophrénie.

Les agents conversationnels animés peuvent prendre une apparence humaine et peuvent communiquer de manière verbale ou non verbale (Lugrin et al., 2021). Ils peuvent être utilisés comme interface dans une interaction homme-machine en jouant plusieurs rôles tels qu’assistant, enseignant, guide ou compagnon. Ils ont des capacités de communication, c’est-à-dire qu’ils peuvent interagir avec les humains par des moyens de communication verbaux et non verbaux.

Le comportement non verbal peut être caractérisé par sa forme (par exemple, une expression faciale, une forme de la main), ses trajectoires (linéaire, sinusoïdale), son timing (en corrélation avec la parole) et son mode d’exécution (vitesse du mouvement, accélération). Ce dernier point est appelé l’expressivité du comportement. L’annotation Laban (Laban et Ullmann, 1988) décrit les mouvements de danse expressifs selon quatre dimensions (temps, poids, espace et flux). Plusieurs de ces caractéristiques comportementales sont utilisées pour développer des modèles computationnels contrôlant des agents virtuels. Le modèle de Laban a été implémenté dans des agents virtuels (Durupinar et al., 2017). D’autre part, pour caractériser les mouvements corporels émotionnels, Wallbott et Scherer (1986) ont défini un ensemble de six paramètres d’expressivité à savoir : l’étendue spatiale, l’étendue temporelle, la fluidité, la puissance, la répétition et l’activation globale. Ces paramètres ont été mis en œuvre pour contrôler la qualité dynamique du comportement des agents virtuels (Hartmann et al., 2005). Une extension a été proposée par (Huang et al., 2012). Dernièrement, l’approche guidée par les données a été appliquée pour modéliser le regard et la démarche expressifs (Randhavane et al., 2019), l’expression faciale des émotions (Festl & McDonnell, 2018) et les gestes (Neff, 2016).

Objectifs du stage :

L’objectif de ce stage est de manipuler l’expressivité comportemental de l’agent virtuel. L’agent sera capable d’effectuer des comportements non verbaux avec différentes expressivités pendant toute l’interaction. L’expressivité agit sur la dynamique et l’amplitude des comportements ainsi que sur leur nombre d’occurrences. Cela permettra de créer des agents faisant peu de comportements avec une faible expressivité ou faisant plus de comportements avec une expressivité plus élevée. Pour cela plusieurs étapes sont prévues :

  • étendre le modèle actuel d’expressivité des comportements où 6 paramètres sont implémentés (Huang&Pelachaud, 2012), afin qu’il puisse agir globalement sur l’ensemble de l’interaction ou sur un laps de temps spécifique,
  • utiliser la base de données de mouvements expressifs Emilya (Fourati&Pelachaud, 2016) qui contient des données de capture de mouvement de mouvements effectués par 11 personnes réalisant 7 actions avec 8 émotions, pour caractériser les valeurs des paramètres d’expressivité du comportement.

Profil recherché : étudiant·e en Master d’ingénierie ou d’informatique, étudiant·e en ingénierie.

Compétences requises : Java, animation 3D

Candidatures : Envoyer votre candidature par mail, avec [sujet du stage] en objet, votre CV, vos notes de M1 et M2, les noms de vos référent·e·s et une lettre de motivation à catherine.pelachaud(at)upmc.fr

Plus d’informations :  

  • Encadrante : Catherine Pelachaud
  • Date de début du stage : Mars-Avril 2023
  • Durée du stage : 6 mois
  • Niveau d’études souhaité : Master 2
  • Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter : 

  • Catherine Pelachaud
  • Email : catherine.pelachaud(at)upmc.fr
  • Envoyer votre candidature par mail, avec [sujet du stage] en objet, votre CV, vos notes de M1 et M2, les noms de vos référent·e·s et une lettre de motivation.
  • Date limite de dépôt de la candidature : janvier 2023

Télécharger l’offre de stage

Subject: Visual servoed auto-focusing in automated cell manipulation

Abstract:

Intracytoplasmic sperm injection (ICSI) is an assisted reproductive technology in which a single sperm cell is being injected into the oocyte using sharp glass needle [1]. Automated micro- manipulation systems has been attracted by the researchers and progressively advanced, particularly in the last 10 years [4]. The main reason for the development of automated micromaniopulation systems are to eliminate the human error in manual operations and increase system efficiency. Auto-focusing of an oocyte before micro-injection procedure is an essential operation for performing automated biological cell manipulation tasks. As shown in Figure 1, The holding pipette (on the left) should be aligned with the oocyte prior to injection.

There is not much effort has been made toward auto-focusing of the micro objects that are used during ICSI procedure [2], except analysis of conventional focus measurement algorithms, such as Brenner gradient or Energy of gradint etc toward general micro manipulation applications [3].This project aims to automatically focus on the holding pipette and oocyte. This operation can benefit from the computational power and robustness of deep learning techniques. Subsequently, the obtained corresponding positions will be used to drive the motorised stages in a visual-servoing manner where one of them is placed underneath of the petri-dish and the other motorised stage is directly linked to the holding pipette. Overall, the project will investigate the potential of deep learning techniques to precisely autofocusing on the holding pipette and oocyte under various environmental disturbance to unlock and contribute to the fully automated ICSI system.

Internship Objectives:

The aim of this project is to precisely auto-focusing on the oocyte and holding pipette in ICSI operation using deep learning.

The main objectives of the projects are as follows:

  • Collection and labelling of training data for oocyte and holding pipette,
  • Development of a deep learning based auto-focusing framework for both holding pipette and oocyte,
  • Driving the respective motorised stage in focal axes for both holding pipette and oocyte),
  • Design of experiment to test the developed algorithm and conduct statistical error analysis,
  • Full experimental auto-focusing demonstration for both holding pipette and oocyte.

More information: 

  • Project language is ENGLISH
  • Supervisors: Ferhat Sadak et Sinan Haliyo
  • Starting date of the internship: February 2023
  • Duration of the internship: 4 to 6 months Desired level of study: Master 2 or equivalent
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Contact person

  • Ferhat Sadak et Sinan Haliyo
  • Email: sadak(at)isir.upmc.fr et sinan.haliyo(at)isir.upmc.fr
  • You are required to contact the supervisors BEFORE applying for the projet. Send your application by email, with [internship subject] in the subject line, a CV and a cover letter.

Download the intership offer

Subject: Out-of-plane displacement quantification for a 6DoF optical micro-robot using deep learning

Abstract:

Micro-objects with dimensions ranging from 50nm to 10m can be manipulated using an optical tweezer (OT) [1]. OT can manipulate cells or other biological objects directly. Because direct manipulation of the OT can cause cell damage, it is critical to use indirect manipulation to avoid laser beam damage. The indirect manipulaton can be achieved by using the microrobot as an effector. Automation is worth developing to reduce the workload of human operators by eliminating the manual manipulation of multiple microspheres or microrobots. To that end, localization and automatic trapping of multiple microrobots in OT is required. Many existing works focus on planning and control for automated cell manipulation [5], such as using a decision theoretic based path planning approach for real-time path planning [2] and graph search-based algorithms for automated cell transport in mi- crofluidic chambers [3]. However, no attention has been paid to microrobots’ real-time out-of-plane displacement estimation.This information is critical for the automation of cell handling procedures, as it will improve efficiency and control over the process. The experimental setup for a 6DoF optical robot to estimate the out-plane plane displacement is shown as Figure 1.

In overall, the aim of this project is to precisely to predict the out-of-plane displacement estimation of a 6 DoF micro robot using deep learning.

More information: 

  • Project language is ENGLISH
  • Supervisors: Ferhat Sadak et Sinan Haliyo
  • Starting date of the internship: February 2023
  • Duration of the internship: 4 to 6 months
  • Desired level of study: Master 2 or equivalent
  • Host laboratory: ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Contact person

  • Ferhat Sadak et Sinan Haliyo
  • Email: sadak(at)isir.upmc.fr et sinan.haliyo(at)isir.upmc.fr
  • You are required to contact the supervisors BEFORE applying for the projet. Send your application by email, with [internship subject] in the subject line, a CV and a cover letter.

Download the internship offer