Comment le cerveau traite-t-il l’information visuelle associée aux sons de la parole ?

Nous avons le plaisir de vous annoncer la publication du dernier article de Chotiga Pattamadilok et Marc Sato, chercheur.e.s CNRS au LPL, intitulé « How are visemes and graphemes integrated with speech sounds during spoken word recognition? ERP evidence for supra-additive responses during audiovisual compared to auditory speech processing » dans la revue Brain and Language.

Référence :
Chotiga Pattamadilok, Marc Sato. How are visemes and graphemes integrated with speech sounds during spoken word recognition? ERP evidence for supra-additive responses during audiovisual compared to auditory speech processing. Brain and Language, Elsevier, 2022, 225, ⟨10.1016/j.bandl.2021.105058⟩⟨hal-03472191v2⟩

Document en texte intégral sur HAL : https://hal.archives-ouvertes.fr/hal-03472191v2

Résumé :
Les gestes articulatoires et l’orthographe sont les deux principales informations visuelles qui sont étroitement liées à la parole. Il existe cependant peu d’études qui cherchent à savoir si les associations entre les sons de parole et chacune de ces informations visuelles s’appuient sur le même, ou sur différents, processus cognitifs. Notre étude en EEG examine cette question en identifiant les stades de traitement de la parole pendant lesquels ces deux formes d'association audio-visuelle ont lieu.

Contact : chotiga.pattamadilok@lpl-aix.fr

Peut-on prédire ce qui se passe dans le cerveau lorsqu’on parle?

Youssef Hmamouche (post-doc LPL) et Laurent Prévot (professeur AMU et directeur du LPL) – en collaboration avec Magalie Ochs (LIS) et Thierry Chaminade (INS) – viennent de publier un article à propos de l’outil BrainPredict qui a pour vocation de prédire et de visualiser l’activité cérébrale pendant des conversations homme-homme ou homme-robot. Les premières études se sont déroulées avec 24 participants adultes en conversation naturelle d’environ 30 minutes. Les premiers résultats prometteurs ouvrent la voie pour de futures études en intégrant d’autres paramètres sociolinguistiques ou encore des aspects liés à certaines pathologies du langage.

Référence :
Youssef Hmamouche, Laurent Prevot, Magalie Ochs, Chaminade Thierry. BrainPredict: a Tool for Predicting and Visualising Local Brain Activity. Proceedings of The 12th Language Resources and Evaluation Conference, Nov 2020, Marseille, France. pp.703–709. hal-02612819

Résumé :
Cet article présente une description de l’outil BrainPredict. Cet outil permet la prédiction dynamique et la visualisation de l’activité cérébrale locale d’un individu au cours d’une conversation. Le module de prédiction de cet outil est basé sur des classificateurs entraînés sur un corpus de conversations homme-homme et homme-robot, y compris des enregistrements IRMf. Ce module prend en entrée des variables comportementales calculées à partir de données de conversation brutes, principalement la parole du participant et de l’interlocuteur, et la saisie visuelle de l’interlocuteur et les mouvements oculaires du participant. Le module de visualisation permet de monter la dynamique des zones actives cérébrales synchronisées avec les données brutes comportementales. De plus, il montre les variables comportementales  pertinentes pour prédire l’activité dans des zones cérébrales.

Lien vers le document : https://hal.archives-ouvertes.fr/hal-02612819/document
Lien vers HAL :
 https://hal.archives-ouvertes.fr/hal-02612819

***********

Cette publication a été réalisée à l’occasion de la prestigieuse conférence LREC prévue initialement à Marseille en 2020  – annulée en raison de la pandémie Covid-19 – et qui compte de nombreuses « contributions LPL » acceptées et publiées en ligne depuis le mois de mai telles que :

Crédit image : Y. Hmamouche

De la lecture labiale au langage écrit : projet ANR PRC AVA accepté !

Le LPL est heureux de vous annoncer que le projet "De la lecture labiale au langage écrit : une vision intégrative des associations audiovisuelles dans le traitement du langage" (AVA), soumis par Chotiga Pattamadilok, chargée de recherche au LPL, a été retenu dans le cadre de l’appel d’offres ANR PRC 2019.

Titre en anglais : From lip- to script-reading: An integrative view of audio-visual associations in language processing

Résumé :
The early exposure to speech and speakers’ articulatory gestures is the basis of language acquisition and is a fingerprint of audiovisual association learning. Is this initial ability to associate speech sounds and visual inputs a precursor of infants’ reading ability? Answering this question requires a good understanding of the cognitive/neural bases of both language abilities and whether they interact within the language system. Studies comparing task performance and spatio-temporal dynamics of brain activity associated with these abilities will be conducted. At the theoretical level, the outcome should lead to an elaboration of a unified framework explaining how multi-modal inputs jointly contribute to form a coherent language representation. At the practical level, the new perspective of a link between the developmental trajectories of “lip-reading” and “script-reading” should contribute to language learning and facilitate early detection and remediation of reading deficits.

Partenaires :
Laboratoire Parole et Langage, Aix-Marseille Univ. (coordinateur)
Laboratoire D'Etude des Mécanismes Cognitifs, Univ. Lyon 2
Laboratoire de Psychologie et NeuroCognition, Univ. Grenoble Alpes
SFR Santé Lyon-Est, Univ. Lyon 1