Haptivance | ISIR

The Haptivance project aims to create a new generation of tactile surfaces capable of producing sensations of force and movement under the finger. It arose from the observation that current haptic technologies on screens without physical buttons remain imprecise and do not provide true kinesthetic feedback, unlike very expensive robotic devices.

Building on Thomas Daunizeau’s thesis work at ISIR (with Sinan and Vincent Hayward) on acoustic metamaterials, the project aims to structure the propagation of vibrations to localise touch and generate directional sensations similar to physical keys/buttons on completely smooth surfaces.

The development of this technology represents a breakthrough for us in improving medical devices to make them intuitive and safe to use, while also facilitating cleaning and sterilisation by eliminating mechanical buttons that are difficult to clean and prone to the growth of microorganisms in hospital environments.

The context

Haptic feedback is now ubiquitous: smartphones, game consoles, industrial and medical interfaces. However, these systems only generate a general vibration that is impossible to locate precisely and cannot exert a net force on the finger. This severely limits their usefulness in situations where precision is critical: robotic surgery, automotive, accessibility devices. In these environments, users often have to look at the screen to confirm their actions, increasing cognitive load and the risk of error.

Hospital interfaces, for example, still rely heavily on mechanical buttons, which are difficult to sterilise and subject to wear and tear, whereas smooth touch surfaces are better suited to hygiene requirements. However, these screens lack sufficiently informative tactile feedback, forcing caregivers to visually check their actions, thus increasing cognitive load and the risk of error. Existing alternatives remain costly, complex or incompatible with screens. It is particularly in this context that there is a strong need for rich, localised touch that is compatible with interactive surfaces.

Objectives

The main objective of the project for the coming year is to develop a functional demonstrator of an interactive surface that produces localised and directional tactile feedback.

Scientifically, the project seeks to control the propagation of progressive ultrasonic waves on the surface using acoustic metamaterials. In other words, to be able to generate a net force on the finger without external actuation, but by making the surface resonate. To achieve this, we still need to understand the dimensions of our metamaterials in order to create a homogeneous force across the entire surface. We also need to study which haptic sensations will be most convincing in relation to a visual display and the position of the finger in real time.

The POC should enable users to feel buttons, edges, movements or guides on touchscreens. Ultimately, the project aims to develop industrialisable technology to provide a haptic solution for screen manufacturers.

The results

Initial experimental results have confirmed the possibility of generating progressive waves on a surface, creating a perceptible movement under the finger. The project must now extend and amplify this effect in a stable and efficient manner. The visuo-haptic demonstrator expected at the end of the project will enable multi-touch interactions: clicks, directional swipes, finger guidance, etc.

The main applications targeted are those in hospitals: surgical interfaces, monitors and imaging systems in the operating theatre, medical devices in intensive care, and robotic teleoperation interfaces.

In another context, certain situations also require a great deal of visual attention to the main task and are sensitive to distractions: this is the case with driving, where car dashboards consisting solely of touch screens could enable much safer interaction thanks to haptic feedback.

Overall, this technology aims to reduce the visual attention required for interface manipulation tasks by being easy to clean, improving the precision of gestures and enriching the user experience, including accessibility for people with disabilities.

Partnerships and collaborations

– Support programmes: PUI Alliance Sorbonne University – MyStartUp programme, i-PhD Bpifrance

– ISIR, CNRS Sciences Information Institute / CNRS Innovation for support with funding application

– SATT Lutech – Commercialisation, patents, maturation

– AP-HP – Innovation Hub & BOPEx third place, testing and co-design with healthcare personnel

Le projet Haptivance vise à créer une nouvelle génération de surfaces tactiles capables de produire des sensations de force et de mouvement sous le doigt. Il est né du constat que les technologies haptiques actuelles sur écrans sans bouton physique restent peu précises et ne permettent pas de véritable retour kinesthésique, contrairement aux dispositifs robotiques très coûteux.

En s’appuyant sur les travaux de thèse de Thomas Daunizeau à l’ISIR (avec Sinan Haliyo et Vincent Hayward) sur les métamatériaux acoustiques, le projet veut structurer la propagation des vibrations pour localiser le toucher, générer des sensations directionnelles ou similaire à des touches/boutons physiques sur des surfaces totalement lisses.

Le développement de cette technologie ouvre pour nous une avancée pour l’amélioration de dispositifs médicaux pour satisfaire un usage intuitif et sécurisé tout en facilitant le nettoyage et la stérilisation en éliminant les boutons mécaniques difficiles à nettoyer et propices au développement de micro-organisme dans les milieux hospitaliers.

Le contexte

Le retour haptique est aujourd’hui omniprésent : smartphones, consoles de jeu, interfaces industrielles ou médicales. Pourtant, ces systèmes ne génèrent qu’une vibration globale, impossible à localiser finement, et ne peuvent pas exercer de force nette sur le doigt. Cela limite fortement leur intérêt dans des situations où la précision est critique : chirurgie robotique, automobile, dispositifs d’accessibilité. Dans ces environnements, l’utilisateur doit souvent regarder l’écran pour valider ses actions, augmentant la charge cognitive et le risque d’erreur.

Si on prend le cas des interfaces hospitalières, elles reposent encore largement sur des boutons mécaniques, difficiles à stériliser et sujets à l’usure, alors que les surfaces tactiles lisses sont plus adaptées aux contraintes d’hygiène. Cependant, ces écrans sont dépourvus de retour tactile assez informatif, obligeant les soignants à vérifier visuellement leurs actions, augmentant ainsi la charge cognitive et le risque d’erreur. Les alternatives existantes restent coûteuses, complexes ou peu compatibles avec les écrans. C’est notamment dans ce contexte, qu’il existe un besoin fort d’un toucher riche, localisé et compatible avec des surfaces interactives.

Les objectifs

L’objectif principal du projet, dans un premier temps, est de mettre au point un démonstrateur fonctionnel d’une surface interactive produisant un retour tactile localisé et directionnel.

Scientifiquement, le projet cherche à maîtriser la propagation des ondes ultrasoniques progressives en surface grâce à des métamatériaux acoustiques. C’est-à-dire être capable de générer une force nette sur le doigt sans actinnement exterieur, mais en faisant résonner la surface. Pour cela, il nous faut encore comprendre le dimensionnement de nos métamatériaux afin de créer une force homogène sur toute la surface. Et d’étudier quelles sensations haptiques seront les plus convaincantes en lien avec un affichage visuel et la position du doigt en temps réel.

Le POC devra permettre de ressentir des boutons, arêtes, mouvements ou guidages sur des écrans tactiles. À terme, le projet vise une technologie industrialisable pour fournir une solution haptique à des fabricants d’écrans.

Les résultats

Les premiers résultats expérimentaux ont confirmé la possibilité de générer des ondes progressives sur une surface, créant un déplacement perceptible sous le doigt. Le projet doit maintenant étendre et amplifier cet effet, de manière stable et efficace. Le démonstrateur visuo-haptique attendu en fin de projet permettra des interactions multitactiles : clics, glissements directionnels, guidage du doigt, etc.

Les applications principales visées sont celles en milieu hospitalier : les interfaces chirurgicales, les moniteurs et les systèmes d’imagerie au bloc opératoire, les dispositifs médicaux en réanimation ou des interfaces de téléopération robotique.

Dans un autre registre, certains contextes demandent eux aussi beaucoup d’attention visuelle sur la tâche principale et sont sensibles aux distractions : c’est le cas de la conduite, pour laquelle les tableaux de bord automobiles composés d’écrans tactiles, uniquement, pourraient permettre une interaction bien plus sûre grâce au retour haptique.

Globalement, cette technologie veut permettre de réduire l’attention visuelle nécessaire pour une tache de manipulation d’interface, en étant facilement nettoyable, d’améliorer la précision des gestes et d’enrichir l’expérience utilisateur, y compris pour l’accessibilité des personnes en situation de handicap.