SMAD : un logiciel issu du LPL pour mesurer l’intensité du (sou)rire

Nous avons le plaisir de vous annoncer la publication de l’article « Automatic tool to annotate smile intensities in conversational face-to-face interactions » par Stéphane Rauzy (ingénieur de recherche CNRS) et Mary Amoyal (ancienne doctorante LPL) dans la revue Gesture.

Il est téléchargeable gratuitement sur la plateforme HAL : https://hal.science/hal-04194987/

Référence : Stéphane Rauzy, Mary Amoyal. Automatic tool to annotate smile intensities in conversational face-to-face interactions. Gesture, September 2023 ⟨10.1075/gest.22012.rau⟩. ⟨hal-04194987⟩

Résumé:
Cette étude présente un outil automatique qui permet de tracer l’intensité des sourires au cours d’un enregistrement vidéo d’interactions conversationnelles en face-à-face. La sortie traitée propose une séquence d’intervalles de temps adjacents étiquetés selon l’échelle d’intensité du sourire ( Gironzetti, Attardo, et Pickering, 2016 ), une échelle à 5 niveaux variant d’une expression faciale neutre à un rire. Le modèle statistique sous-jacent de cet outil est entraîné sur un corpus de conversations annoté manuellement présentant des expressions faciales spontanées. Ce modèle sera détaillé dans cette étude. Cet outil peut être utilisé avec bénéfice pour annoter le sourire dans les interactions. Les résultats sont doubles. Premièrement, l’évaluation révèle une concordance observée de 68% entre les annotations manuelles et automatiques. Deuxièmement, la correction manuelle des étiquettes et des limites d’intervalles des sorties automatiques réduit d’un facteur 10 le temps d’annotation par rapport au temps passé à annoter manuellement les intensités de sourire sans prétraitement. Notre moteur d’annotation utilise la boîte à outils OpenFace pour suivre le visage et mesurer les intensités des unités d’action faciales d’intérêt tout au long de la vidéo. La documentation et les scripts de notre outil, le logiciel SMAD, peuvent être téléchargés sur la page URL du projet open source HMAD https://github.com/srauzy/HMAD.

Crédits d’image : S. Rauzy & M. Amoyal

L’outil SMAD… ou la puissance du sourire ! ;-)

Mary Amoyal (doctorante AMU) et Stéphane Rauzy (ingénieur de recherche CNRS) – tous deux membres du LPL – ont participé le 20 mars dernier à la « 10th annual Humor Research Conference (HRC) 2020 » (Commerce, TX) qui, en cette période de confinement, s’est tenue cette année entièrement en ligne. A cette occasion, ils ont présenté un poster portant sur l’outil « SMAD » permettant l'annotation automatique de l'intensité du sourire lors d’enregistrements vidéo. Il s’agit ici d’un logiciel développé dans le cadre de la thèse de Mary Amoyal.

Stéphane Rauzy, Mary Amoyal. SMAD: A tool for automatically annotating the smile intensity along a video record. HRC2020, 10th Humour Research Conference, Mar 2020, Commerce, United States [HAL]

Par ailleurs, un 2e poster soumis par trois chercheures du laboratoire a été accepté pour cette même conférence s’intitulant « Smiling and humor in French conversation » (Béatrice Priego-Valverde, Brigitte Bigi and Mary Amoyal).

Résumé de la présentation :

Nous présentons l'outil automatique SMAD permettant de suivre la dynamique de l'intensité du sourire au cours d'un enregistrement vidéo. Le résultat automatique obtenu est une séquence d'intervalles de temps ajustés, étiquetés selon l'échelle d'intensité du sourire (Gironzetti et al., 2016), une échelle à 5 niveaux allant de l'expression faciale neutre (0) au sourire rieur (4). Dans un premier temps, le logiciel OpenFace (Baltruisaitis et al., 2018) est utilisé pour suivre le visage et pour mesurer les intensités des Unités d'Action du visage qui nous intéressent tout au long de la vidéo. Dans un second temps, l'annotation automatique de l'intensité du sourire est effectuée sur la base de ces mesures d'Unités d'Action. Le modèle statistique qui sous-tend notre outil SMAD est entrainé sur une heure de sourires annotés manuellement du corpus "Cheese!" (Priego-Valverde et al., 2018). Une description complète du modèle se trouve dans Rauzy & Amoyal, soumis à JMUI. L'évaluation du modèle révèle un accord de 68% entre les annotations manuelles et automatiques. Une évaluation plus concrète menée sur des enregistrements vidéo montre que la correction manuelle des étiquettes et des limites d'intervalle des sorties automatiques réduit d'un facteur 10 le temps d'annotation par rapport au temps passé à annoter manuellement les intensités de sourire sans prétraitement. L'annotation des sourires du corpus "PACO" (Amoyal et al., 2020), un corpus de 5 heures de données conversationnelles constitué pour analyser l'impact de manque de connaissances partagées entre les interlocuteurs, a déjà bénéficié de ce gain de temps d'annotation. Les scripts et la documentation du modèle SMAD sont disponibles en téléchargement sur la page du projet open source HMAD .

Lien vers le poster