MANDELA : Approche multimodale de la dynamique conversationnelle et ses bases cérébrales

06 February 2024 par Claudia Pichon-Starke
La dernière Lettre de CNRS SHS met en lumière sept projets sélectionnés en 2023 par la Mission pour les Initiatives Transverses et l’Interdisciplinarité (MITI) du CNRS..

La dernière Lettre de CNRS Sciences humaines & sociales parue en janvier met en avant sept projets sélectionnés en 2023 par la Mission pour les Initiatives Transverses et l’Interdisciplinarité (MITI) du CNRS, dont le projet « MANDELA » porté par Philippe Blache (LPL/ILCB), Daniele Schön (INS) et Leonor Becerra (LIS). Ce projet de recherche interdisciplinaire entre les trois laboratoires LPL, INS et LIS vient de débuter dans le cadre de l’action 80 Prime et associe des approches issues de la linguistique, des neurosciences, de la psychologie cognitive et des sciences informatiques. Il inclue également une bourse de doctorat attribuée à Hiroyoshi Yamasaki (co-dirigée par Philippe Blache et Daniele Schön).

Lettre de CNRS SHS (article page 19) : https://www.inshs.cnrs.fr/sites/institut_inshs/files/download-file/lettre_info_87_0.pdf

Résumé du projet :
Les conversations naturelles sont caractérisées par des phénomènes d’alignement voire de convergence entre participants, obligatoires pour assurer un échange d’informations efficace et plus généralement le succès de l’interaction. Le premier objectif de ce projet est de construire un modèle computationnel prédisant le niveau de convergence basé sur des caractéristiques verbales et non verbales. Dans un deuxième temps, nous proposons d’explorer la corrélation entre les mécanismes de synchronisation dans le signal cérébral et le niveau de convergence prédit par le modèle. Notre hypothèse est qu’un niveau élevé de convergence peut être corrélé avec un couplage cérébral entre les participants, observé dans différentes bandes de fréquences du signal électro-encéphalographique. Ce projet s’appuie sur un large corpus basé sur des conversations enregistrées en audio-vidéo et incluant l’EEG (corpus SMYLE et BrainKT) et qui sera complété par de nouvelles données acquises dans le cadre de la thèse. Il s’agira du premier projet à cette échelle explorant la convergence et le couplage cérébral au cours d’une conversation naturelle.

 

Légende photo : Participants au recueil de données neuro-physiologiques dans le cadre d’une interaction orientée tâche
Crédits image : LPL