Institut des Systèmes Intelligents
et de Robotique

Partenariats

UPMC

CNRS

INSERM

Tremplin CARNOT Interfaces

Labex SMART

Rechercher

Titre :  "Analyse du visage pour l'interprétation de l'état émotionnel".

La soutenance se déroulera le vendredi 5 juillet à 14h00 dans la salle suivante :

UPMC - Campus Jussieu, 4 Place Jussieu - 75005 Paris
Amphi Herpin (Bâtiment Esclangon)


Jury :

Rapporteurs :

Mme. Alice Caplier,  Professeur à l'Institut National Polytechnique de Grenoble (GIPSA)
M. Thierry Chateau,  Professeur à l'Université Blaise Pascal (Institut Pascal)

Examinateurs :

M. Patrick Gallinari,   Professeur à l'Université Pierre et Marie Curie (LIP6)
M. Renaud Seguier,  Professeur à Supélec (IETR)

Directeur de thèse :

M. Lionel Prevost,  Professeur à l'Université des Antilles et de la Guyane (LAMIA)

Co-encadrant :

M. Kévin Bailly, Maitre de conférence à l'Université Pierre et Marie Curie (ISIR)



Résumé :

L’objectif de cette thèse est de développer des outils d’analyse d’images et de vidéos de visages afin d’estimer l’état émotionnel d’un sujet. Deux thèmes de recherche sont abordés : la détection de points caractéristiques du visage et l’analyse du visage pour l’estimation de l’état émotionnel.

Nous avons tout d’abord proposé MuKAM (Multi-Kernel Appearance Model), un algorithme de détection automatique de points clefs du visage (coins des yeux, bout du nez...). Nous proposons un détecteur en deux étages. Le premier étage va rapidement localiser, pour chaque point, un ensemble de positions candidates. Une caractérisation du visage à différentes échelles est utilisée, combinées à l’aide de machines à vecteurs supports à noyaux multiples. Le second étage va ensuite attribuer une probabilité à chacun des candidats d’être le point recherché en s’appuyant sur une configuration caractérisation/classifieur plus discriminante. Pour éviter les détections aberrantes, et ainsi améliorer la robustesse du système, des contraintes entres les points sont ensuite introduites. Cette étape est réalisée par un processus d’alignement permettant d’estimer les paramètres d’un modèle déformable à partir des localisations des candidats et de leurs probabilités. Des évaluations rigoureuses sur de nombreuses bases de données, ainsi qu’une comparaison avec les méthodes de l’état de l’art, attestent de l’efficacité de notre approche.

La deuxième partie de cette thèse est dédiée à l’analyse du visage pour l’interprétation de l’état émotionnel d’un humain. Pour cela, deux systèmes sont proposés. Un premier système détecte les micro-mouvements (Action Units) du visage lorsque celui-ci produit une expression. Le visage est représenté par des descripteurs hétérogènes caractérisant sa texture et sa forme, combinées à l’aide de machines à vecteurs supports multi-noyaux. Le deuxième système proposé est dédié à l’interprétation de l’état émotionnel d’un sujet en interaction. Pour cela, une modélisation plus subjective et continue de l’émotion est utilisée (en terme d’activité, de valence, de spontanéité et de contrôle). Des descripteurs dynamiques extraits à partir de différentes informations (formes, apparence, audio) sont associés à des régressions par noyau afin d’obtenir plusieurs prédictions indépendantes. Ces dernières sont ensuite fusionnées pour donner une prédiction finale par dimension. Ces deux systèmes ont été évalués lors de campagnes d’évaluations internationales (FERA’11 et AVEC’12) organisées en marge de conférences majeures du domaine. Les premières places obtenues pour ces deux compétitions montrent les avancées applicatives de ces travaux en analyse de l’état émotionnel.