Mary Amoyal (doctorante AMU) et Stéphane Rauzy (ingénieur de recherche CNRS) – tous deux membres du LPL – ont participé le 20 mars dernier à la « 10th annual Humor Research Conference (HRC) 2020 » (Commerce, TX) qui, en cette période de confinement, s’est tenue cette année entièrement en ligne. A cette occasion, ils ont présenté un poster portant sur l’outil « SMAD » permettant l'annotation automatique de l'intensité du sourire lors d’enregistrements vidéo. Il s’agit ici d’un logiciel développé dans le cadre de la thèse de Mary Amoyal.

Stéphane Rauzy, Mary Amoyal. SMAD: A tool for automatically annotating the smile intensity along a video record. HRC2020, 10th Humour Research Conference, Mar 2020, Commerce, United States [HAL]

Par ailleurs, un 2e poster soumis par trois chercheures du laboratoire a été accepté pour cette même conférence s’intitulant « Smiling and humor in French conversation » (Béatrice Priego-Valverde, Brigitte Bigi and Mary Amoyal).

Résumé de la présentation :

Nous présentons l'outil automatique SMAD permettant de suivre la dynamique de l'intensité du sourire au cours d'un enregistrement vidéo. Le résultat automatique obtenu est une séquence d'intervalles de temps ajustés, étiquetés selon l'échelle d'intensité du sourire (Gironzetti et al., 2016), une échelle à 5 niveaux allant de l'expression faciale neutre (0) au sourire rieur (4). Dans un premier temps, le logiciel OpenFace (Baltruisaitis et al., 2018) est utilisé pour suivre le visage et pour mesurer les intensités des Unités d'Action du visage qui nous intéressent tout au long de la vidéo. Dans un second temps, l'annotation automatique de l'intensité du sourire est effectuée sur la base de ces mesures d'Unités d'Action. Le modèle statistique qui sous-tend notre outil SMAD est entrainé sur une heure de sourires annotés manuellement du corpus "Cheese!" (Priego-Valverde et al., 2018). Une description complète du modèle se trouve dans Rauzy & Amoyal, soumis à JMUI. L'évaluation du modèle révèle un accord de 68% entre les annotations manuelles et automatiques. Une évaluation plus concrète menée sur des enregistrements vidéo montre que la correction manuelle des étiquettes et des limites d'intervalle des sorties automatiques réduit d'un facteur 10 le temps d'annotation par rapport au temps passé à annoter manuellement les intensités de sourire sans prétraitement. L'annotation des sourires du corpus "PACO" (Amoyal et al., 2020), un corpus de 5 heures de données conversationnelles constitué pour analyser l'impact de manque de connaissances partagées entre les interlocuteurs, a déjà bénéficié de ce gain de temps d'annotation. Les scripts et la documentation du modèle SMAD sont disponibles en téléchargement sur la page du projet open source HMAD .

Lien vers le poster