Institut des Systèmes Intelligents
et de Robotique

Partenariats

UPMC

CNRS

INSERM

Tremplin CARNOT Interfaces

Labex SMART

Rechercher

 

Titre : Ce que le visage révèle : Analyse des mouvements faciaux pour l’interprétation émotionnelle

 

Mots-clés  : expression faciale, Action Unit, dynamique de l’émotion, LGBP, SVM, apprentissage multi-noyaux, analyse multi-linéaire.

 

Cette soutenance aura lieu le
4 novembre à 10h30
UPMC – Campus Jussieu, 4 Place Jussieu - 75005 Paris
Tour 25, amphi 25

Jury  : 

Rapporteurs :
Pr. Liming Chen - Ecole Centrale de Lyon (LIRIS)
Dr. Hichem Sahbi - Télécom ParisTech (LTCI)


Examinateurs :

Pr. Patrick Gallinari - Université Pierre et Marie Curie (LIP6)
Dr. Zakia Hammal - Carnegie Mellon University (Robotics Ins.)
Dr. Björn Schuller - Technische Universität München (MMK)
Pr. Renaud Seguier - Supélec (IETR)
 

Dir. de thèse :
Pr. Lionel Prevost - Université Antilles Guyanne (LAMIA)
 

Co-encadrant :
Dr. Kevin Bailly - Université Pierre et Marie Curie (ISIR)

 

Resumé :

Un objectif dans la création de nouveaux environnements informatisés est de placer l'utilisateur au coeur de ce système. Le système doit être capable d'interagir avec l'utilisateur de façon naturelle, et d'analyser sa communication verbale et non verbale (gestuelle, ton de la voix, expressions faciales).

Cette thèse traite du problème de la reconnaissance des expressions faciales à partir d'images ou de séquences vidéos. Pour cela, trois applications sont proposées : la localisation et le suivi de points caractéristiques du visage pour détecter le segment temporel de l'émotion, l'analyse des micro-mouvements du visage, appelés Action Units (AU) et la détection de l'émotion.

D'un point de vue méthodologique, différentes techniques ont été proposées. Pour représenter le visage de façon à décorréler l'identité de l'expression, nous calculons les différences d'histogrammes de motifs binaires de Gabor locaux ou Local Gabor Binary Pattern (LGBP), et nous utilisons une nouvelle fonction noyau, la fonction HDI adaptée aux différences d'histogrammes. Nous proposons aussi une adaptation de l'analyse multi-linéaire aux cas où des données de certaines classes sont manquantes.  Au niveau du système d'apprentissage, nous utilisons les progrès récents en apprentissage multi-noyaux des machines à vecteurs supports (SVM) pour combiner des descripteurs hétérogènes, comme des descripteurs statiques et dynamiques ou des descripteurs géométriques et d'apparence. Des comparaisons rigoureuses avec l'état de l'art et la première place lors de la première campagne internationale de reconnaissance des AU, FERA'11, montrent les avancées applicatives de ces travaux en reconnaissance de l'expression faciale.

De plus, différentes problématiques propres à la reconnaissance de l'expression sont étudiées en détail, comme l'utilisation de l'information sur l'identité du sujet, l'aspect temporel de l'émotion et la détection préalable des AU pour reconnaître l'émotion.