Les projets fédérateurs rassemblent les compétences de plusieurs équipes autour d’objectifs scientifiques communs. Ces initiatives stratégiques abordent des problématiques interdisciplinaires, combinant expertise en robotique, interaction humaine et technologies avancées pour répondre à des enjeux de société. Voici trois exemples illustrant cette démarche collaborative.
Apprentissage robotique pour la manipulation mobile et l’interaction sociale
Ce projet explore les capacités des robots autonomes à répondre à des besoins complexes dans des environnements réels, tels que l’interaction physique et sociale. Les défis incluent l’adaptabilité à des situations imprévues, la collaboration fluide avec les humains et la navigation dans des environnements variés. Ces enjeux sont essentiels dans des secteurs comme la logistique, les services domestiques ou l’agriculture.
Le projet interne à l’ISIR vise à atteindre un niveau d’autonomie élevé pour les robots dans des environnements complexes en répondant aux objectifs suivants :
- Utiliser des modèles de langage (LLMs) pour la planification robotique, l’identification des affordances et la saisie d’objets, permettant une meilleure compréhension et interaction avec le monde réel,
- Développer un système intégré combinant des modèles de perception à la pointe de la technologie, notamment basés sur la vision, et des méthodes avancées de contrôle.
Ces approches ont permis l’intégration de la pile QD-grasp sur le robot Tiago, incluant des fonctionnalités avancées telles que la génération de saisies, la détection, la segmentation et l’identification d’objets. Ainsi que l’intégration d’une planification basée sur les modèles de langage (LLMs), permettant au robot de comprendre et d’exécuter des tâches exprimées en langage naturel par des utilisateurs humains.
En savoir plus sur ce projet : https://www.isir.upmc.fr/projets/apprentissage-robotique-pour-la-manipulation-mobile-et-linteraction-sociale/
Open A-Eye : une assistance kinesthésique pour les malvoyants
Pour les personnes malvoyantes, naviguer dans un environnement inconnu implique une surcharge cognitive importante, en particulier avec des dispositifs classiques comme la canne blanche. Ce projet développe une assistance numérique intuitive, capable d’interpréter l’environnement et de fournir des retours kinesthésiques sous forme de forces et mouvements, mimant le guidage humain.
Le dispositif développé à l’ISIR, sous la forme d’un harnais/plastron sur lequel est fixé un système de retour kinesthésique (pantographe) avec une caméra 3D, répond à plusieurs objectifs :
- Tester les retours sensoriels élaborés à l’ISIR via des compétitions comme le Cybathlon,
- Mobiliser les compétences des étudiants pour démontrer le potentiel de la technologie,
- Rendre cette solution open-source et travailler avec les usagers pour une co-conception plus inclusive.
Le dispositif a atteint un niveau de maturité suffisant, permettant désormais une utilisation autonome par la pilote, avec la capacité de changer de mode en fonction des défis rencontrés.
En savoir plus sur le projet Open A-Eye : https://www.isir.upmc.fr/projets/le-retour-kinesthesique-pour-guider-les-personnes-malvoyantes/
Intégration multi-sensorielle pour le maintien de l’équilibre
Le maintien de l’équilibre nécessite l’intégration d’informations sensorielles venant de plusieurs sources : visuels, vestibulaires, proprioceptifs et haptiques. Ces différents sens sont typiquement étudiés un par un, ce qui laisse ouverte la question de leur intégration.
L’objectif est de combiner les expertises en contrôle postural, en haptique et en adaptation visio-motrice pour étudier l’intégration multi-sensorielle pendant des perturbations de l’équilibre, en combinant des perturbations :
- Mécaniques (via une plateforme de perturbation),
- Visuelles (en réalité virtuelle),
- Et haptiques (avec un dispositif de « light touch » et des dispositifs de stimulation haptique).
En savoir plus sur ce projet : https://www.isir.upmc.fr/projets/integration-multi-sensorielle-pour-le-maintien-de-lequilibre/
Publié le 18/12/2024.
