S’écouter ou se regarder parler

Marc Sato, chargé de recherche CNRS au LPL, vient de publier un article dans la revue Cortex portant sur l’influence distincte des processus prédictifs moteurs et visuels sur les traitements corticaux auditifs lors de la production et perception de la parole.

Référence :  Marc Sato. Motor and visual influences on auditory neural processing during speaking and listening. Cortex, 2022, 152, 21-35 (https://doi.org/10.1016/j.cortex.2022.03.013)

Vous trouverez le texte intégral de l’article sous ce lien direct ou en effectuant une recherche via l’interface de recherche AMU.

Résumé :

Que ce soit lors de la production ou de la perception audiovisuelle de la parole, des processus prédictifs moteurs endogènes ou visuels exogènes sont traditionnellement considérés comme jouant un rôle clé dans les processus auditifs corticaux de décodage acoustico-phonétique. Cette étude en électroencéphalographie avait pour objectif de déterminer et comparer l'influence respective de ces deux effets prédictifs endogènes et exogènes sur les réponses corticales auditives. Pour ce faire, il était demandé aux participants de produire à haute voix des voyelles puis d’écouter passivement leurs productions précédemment enregistrées, ces deux tâches étant réalisées avec ou sans retour visuel. En accord avec la littérature, les résultats montrent une réduction d’amplitude des réponses évoquées auditives lors de la production de parole ce, indépendamment du feedback visuel. Par contraste, l'ajout de mouvements visuels orofaciaux au signal acoustique de parole a réduit la latence des réponses évoquées auditives, indépendamment de la tâche motrice ou perceptive. Pris ensemble, ces résultats suggèrent des influences motrices et visuelles, de suppression et de facilitation neurale, fonctionnellement distinctes sur les traitements corticaux auditifs lors de la production et perception de la parole.

Cette étude a été réalisée au Centre d’Expérimentation de la Parole et entièrement financée par l’équipe Ready du Laboratoire Parole et Langage (coût total de 240€ pour le dédommagement des participants ; utilisation du matériel mutualisé du CEP et du LPL et de logiciels libres).

 

Crédits photos : Antoine Doinel

Comment le cerveau traite-t-il l’information visuelle associée aux sons de la parole ?

Nous avons le plaisir de vous annoncer la publication du dernier article de Chotiga Pattamadilok et Marc Sato, chercheur.e.s CNRS au LPL, intitulé « How are visemes and graphemes integrated with speech sounds during spoken word recognition? ERP evidence for supra-additive responses during audiovisual compared to auditory speech processing » dans la revue Brain and Language.

Référence :
Chotiga Pattamadilok, Marc Sato. How are visemes and graphemes integrated with speech sounds during spoken word recognition? ERP evidence for supra-additive responses during audiovisual compared to auditory speech processing. Brain and Language, Elsevier, 2022, 225, ⟨10.1016/j.bandl.2021.105058⟩⟨hal-03472191v2⟩

Document en texte intégral sur HAL : https://hal.archives-ouvertes.fr/hal-03472191v2

Résumé :
Les gestes articulatoires et l’orthographe sont les deux principales informations visuelles qui sont étroitement liées à la parole. Il existe cependant peu d’études qui cherchent à savoir si les associations entre les sons de parole et chacune de ces informations visuelles s’appuient sur le même, ou sur différents, processus cognitifs. Notre étude en EEG examine cette question en identifiant les stades de traitement de la parole pendant lesquels ces deux formes d'association audio-visuelle ont lieu.

Contact : chotiga.pattamadilok@lpl-aix.fr

Peut-on prédire ce qui se passe dans le cerveau lorsqu’on parle?

Youssef Hmamouche (post-doc LPL) et Laurent Prévot (professeur AMU et directeur du LPL) – en collaboration avec Magalie Ochs (LIS) et Thierry Chaminade (INS) – viennent de publier un article à propos de l’outil BrainPredict qui a pour vocation de prédire et de visualiser l’activité cérébrale pendant des conversations homme-homme ou homme-robot. Les premières études se sont déroulées avec 24 participants adultes en conversation naturelle d’environ 30 minutes. Les premiers résultats prometteurs ouvrent la voie pour de futures études en intégrant d’autres paramètres sociolinguistiques ou encore des aspects liés à certaines pathologies du langage.

Référence :
Youssef Hmamouche, Laurent Prevot, Magalie Ochs, Chaminade Thierry. BrainPredict: a Tool for Predicting and Visualising Local Brain Activity. Proceedings of The 12th Language Resources and Evaluation Conference, Nov 2020, Marseille, France. pp.703–709. hal-02612819

Résumé :
Cet article présente une description de l’outil BrainPredict. Cet outil permet la prédiction dynamique et la visualisation de l’activité cérébrale locale d’un individu au cours d’une conversation. Le module de prédiction de cet outil est basé sur des classificateurs entraînés sur un corpus de conversations homme-homme et homme-robot, y compris des enregistrements IRMf. Ce module prend en entrée des variables comportementales calculées à partir de données de conversation brutes, principalement la parole du participant et de l’interlocuteur, et la saisie visuelle de l’interlocuteur et les mouvements oculaires du participant. Le module de visualisation permet de monter la dynamique des zones actives cérébrales synchronisées avec les données brutes comportementales. De plus, il montre les variables comportementales  pertinentes pour prédire l’activité dans des zones cérébrales.

Lien vers le document : https://hal.archives-ouvertes.fr/hal-02612819/document
Lien vers HAL :
 https://hal.archives-ouvertes.fr/hal-02612819

***********

Cette publication a été réalisée à l’occasion de la prestigieuse conférence LREC prévue initialement à Marseille en 2020  – annulée en raison de la pandémie Covid-19 – et qui compte de nombreuses « contributions LPL » acceptées et publiées en ligne depuis le mois de mai telles que :

Crédit image : Y. Hmamouche