Affective computing : reconnaissance d’émotions non conventionnelles
Dans le cadre de ma formation, j’ai eu l’opportunité de participé à des projets innovants tels que celui-ci. Ce projet avait pour but d’explorer les solutions possible pour implémenter une solution d’apprentissage incrémentale et d’apprentissage active pour la reconnaissance d’émotions (CFEE, Compound Facial Expressions of Emotion)
Ce projet a été proposé par le laboratoire de recherche “Learning Data Robotics” (LDR) de l’ESIEA. L’encadrement est assuré par Lionel Prevost, Professeur des Universités, directeur du laboratoire LDR (Learning, Data & Robotics) et Khadija Slimani, Docteure, membre du LDR.
La reconnaissance d’émotions est une problématique bien connue de l’intelligence artificielle, l’affective computing a pour objectif d’analyser les états émotionels humaines en s’appuyant sur des données vidéos qui permettent de déterminer l’état émotionnel avec des traits non verbal, paraverbal et verbal.
L’état de l’art dans ce domaine se concentre principalement sur les émotions basiques (la peur, la colère, la joie, la surprise, la tristesse et le dégout définies par Ekman). Cependant, dans de nombreux contextes, les individus expriment rarement ces type d’émotions et exprime des émotions dites complexes telles que la confiance ou la fierté. De plus l’interprétation de ces émotions ne sont pas universelle. Le but de notre projet est d’améliorer la classification en ajoutant au modèle les émotions au fur et à mesure de l’apprentissage.
Le laboratoire explore des solutions de reconnaissance d’émotion dans ces contextes en particulier:
Les interactions pédagogiques en vue de créer un système tutoriel intelligent et affectif, capable d’accompagner au mieux l’étudiant dans ses apprentissages ;
La prise de parole en public (soutenance, entretien de recrutement) pour aider l’individu à contrôler sa communication non verbale
Les objectifs du projet sont :
Réaliser un état de l’art sur l’apprentissage incrémental ;
Développer un outil d’annotation semi-automatique ;
Développer des modèles incrémentaux en classes et en données.
L’une des premières tâches à effectuer avant d’explorer les différentes pistes possibles est l’élaboration d’un état de l’art. Explication des différents termes qui ont été explorés pour l’écriture de l’état de l’art.
Cette partie est dédiée aux différentes explorations et idées que nous avons élaborées pour implémenter une solution incrémentale pour la reconnaissance d’émotions.
L’implémentation expérimentale finale repose sur l’utilisation de modèles incrémentaux existants dans la bibliothèque scikit-learn. Ces modèles exploitent les Action Units (AU) extraits des images de la base CFEE, ainsi que des vecteurs de caractéristiques issus de modèles pré-entraînés.
