De quelles compétences cognitives avons-nous besoin pour appréhender la musique de la parole ?

La chargée de recherche Caterina Petrone du LPL vient de clôturer le projet ANR « Representation And Planning of Prosody (RAPP) » qu’elle a mené pendant cinq ans en collaboration avec le Service de Neurologie de la Timone (J. Pelletier) et le Service de Neurologie du Centre hospitalier du Pays d’Aix (F. Viallet). Cette étude avait pour but d’examiner la prosodie dans la planification et la compréhension de la parole, en comparant des sujets sains à des patients atteints de troubles cognitifs liés à la sclérose en plaques (SEP).

 

Voici le résumé du projet RAPP :

La « musique de la parole » : différences parmi les individus et les populations

Un homme dans un café voit un serveur qui parle avec un garçon en train de sortir et qui ressemble à son fils. Il demande donc à sa femme : « Le serveur parle avec Paul ? ».

Les variations de la prosodie (la «musique» de la parole) véhiculent ses émotions (surprise) ou encore un mot spécifique (« PAUL »). Malgré son caractère automatique, produire et répondre à des patrons prosodiques nécessite des compétences cognitives sophistiquées. Dans cet exemple, les capacités cognitives de l’homme sont-elles adéquates pour poser efficacement et clairement sa question ? Les ressources cognitives de son épouse sont-elles suffisantes pour répondre rapidement à la question ? Que se passerait-il dans le cas de troubles cognitifs ?

Le projet RAPP a examiné la prosodie dans la planification et la compréhension de la parole, en comparant des sujets sains à des patients atteints de troubles cognitifs liés à la sclérose en plaques (SEP). Nous avons trouvé que la planification des phrases dépend des ressources cognitives individuelles. Les déficits cognitifs ont un impact sur la prosodie des jeunes patients SEP, bien qu'ils puissent développer des stratégies pour préserver la communication.

Une approche multi-paramétrique pour l’acquisition des données de parole

Nous testons nos hypothèses scientifiques en effectuant une série d’expériences et en collectant des données sur des sujets sains et pathologiques. Nous nous sommes concentrés sur quatre mesures (ou «paramètres») de la planification : le temps de réponse, les pauses et les mouvements mélodiques pendant la prise de parole et les mouvements oculaires avant et pendant la parole. Les différences individuelles dans la compréhension de la prosodie sont examinées par l'enregistrement de mesures psychophysiologiques telles que l'activité électrodermique (niveau de transpiration) et l'activité musculaire du visage (comme dans le cas du sourire). Les enregistrements sont enrichis par des annotations réalisées par des experts humains ou par des systèmes automatiques.
Les données de 70 patients et de 142 sujets sains ont été enregistrées dans des situations linguistiques différentes (tâches de lecture, conversations spontanées ou semi-contrôlées). Les sujets ont également accompli des tâches neuropsychologiques visant à l’évaluation de leurs compétences cognitives. Nos analyses relient les scores cognitifs individuels à la performance verbale. Cette base de données est unique pour la sclérose en plaques.

De la lecture labiale au langage écrit : projet ANR PRC AVA accepté !

Le LPL est heureux de vous annoncer que le projet "De la lecture labiale au langage écrit : une vision intégrative des associations audiovisuelles dans le traitement du langage" (AVA), soumis par Chotiga Pattamadilok, chargée de recherche au LPL, a été retenu dans le cadre de l’appel d’offres ANR PRC 2019.

Titre en anglais : From lip- to script-reading: An integrative view of audio-visual associations in language processing

Résumé :
The early exposure to speech and speakers’ articulatory gestures is the basis of language acquisition and is a fingerprint of audiovisual association learning. Is this initial ability to associate speech sounds and visual inputs a precursor of infants’ reading ability? Answering this question requires a good understanding of the cognitive/neural bases of both language abilities and whether they interact within the language system. Studies comparing task performance and spatio-temporal dynamics of brain activity associated with these abilities will be conducted. At the theoretical level, the outcome should lead to an elaboration of a unified framework explaining how multi-modal inputs jointly contribute to form a coherent language representation. At the practical level, the new perspective of a link between the developmental trajectories of “lip-reading” and “script-reading” should contribute to language learning and facilitate early detection and remediation of reading deficits.

Partenaires :
Laboratoire Parole et Langage, Aix-Marseille Univ. (coordinateur)
Laboratoire D'Etude des Mécanismes Cognitifs, Univ. Lyon 2
Laboratoire de Psychologie et NeuroCognition, Univ. Grenoble Alpes
SFR Santé Lyon-Est, Univ. Lyon 1

Projet européen COBRA retenu !

Nous avons le plaisir de vous annoncer que le projet COBRA (Conversational Brains) a été accepté par la Commission européenne dans le cadre du programme Marie Curie Innovative Training Networks. COBRA rassemble 14 partenaires dans 10 pays (France, Grande-Bretagne, Italie, Slovaquie, Belgique, Allemagne, Suède, Pays-Bas, Finlande, Hong Kong), dont 4 partenaires industriels. Il s’étendra sur une durée de quatre ans, à partir de 2020.

COBRA s’inscrit dans la continuité du projet européen MULTI précédemment porté par le LPL, et il est étroitement lié à l’Institut ILCB. Il contribuera à développer les recherches et la formation avancée dans le domaine des relations entre cerveau et langage, dans les interactions conversationnelles humain-humain et humain-machine, et dans une large variété de langues. Il ouvrira des larges perspectives à nos étudiants en sciences cognitives et en sciences du langage, au niveau doctoral et à l’échelle européenne.

Le budget global est de 4 millions d’euros. Le projet a été préparé avec le soutien de Protisvalor. Il est coordonné par Noël Nguyen.

Lien : http://conversationalbrains.eu

Par ailleurs, un communiqué vient de paraître à ce sujet dans le dernier numéro de la lettre d’AMU :

Projet ANR MRSEI 2019 accepté !

Le LPL a le plaisir de vous annoncer que le projet « Conversational Dynamics in multimodal computer-mediated communication for Foreign Language Education » (CoDyFLE) porté par Marco Cappellini (LPL/AMU) dans le cadre de l’appel ANR 2019 « Montage de Réseaux Scientifiques Européens ou Internationaux » (MRSEI) a été retenu par le comité de sélection.

Ce projet compte parmi ses partenaires les institutions suivantes : Université Clermont – Auvergne – Laboratoire de Recherches sur le Langage, Trinity College Dublin, Università del Salento, Groningen University, Universidad Autonoma Madrid, Universitad Oberta de Catalunya, Open University, Polytechnic University Hong Kong, Arizona State University, Ayni, 7-Speaking.

Membres du LPL : Marco Cappellini (porteur), Christelle Combe, Marion Tellier et Brigitte Bigi

Résumé :

Peut-on reproduire des émotions authentiques?

Le LPL est heureux de vous annoncer que le projet COMEDIA, soumis par Caterina Petrone et Maud Champagne-Lavau en partenariat avec l’Institut de l’Image, a été retenu dans le cadre de l’appel d’offres Pépinière d’Excellence (A*Midex).

COMEDIA : COMparaison des Émotions Des Inexpérimentés et des Acteurs
A la sortie du cinéma, on se retrouve souvent à juger si les acteurs sont bons par rapport, par exemple, à leur capacité à produire des émotions de façon « convaincante ». Cependant, dans la recherche sur les émotions, il est débattu (1) s’il est possible de distinguer les émotions produites naturellement des émotions joués par les acteurs (2) si les acteurs et les inexpérimentés dans les arts dramatiques suscitent les mêmes effets chez les auditeurs. Ce projet vise à étudier le réalisme des émotions (c’est-à-dire, la capacité des acteurs de reproduire des émotions authentiques), en comparant la prosodie et les expressions faciales des acteurs professionnels vs. non-professionnels et ses effets sur les auditeurs. Cet objectif sera atteint grâce à un nouveau partenariat entre le LPL et l’Institut de l’Image, visant à combiner les méthodes de la linguistique expérimentale et la réflexion théorique.

Partenaires du projet :
-Caterina Petrone (LPL)
-Maud Champagne-Lavau (LPL)
-Sabine Putorti (Institut de l’Image, Aix en Provence)

Projet PHC Aurora 2019 accepté

Le Laboratoire Parole et Langage a le plaisir d’annoncer que le projet de recherche proposé par Laurent Prévot (LPL) et Pierre Lison (Norwegian Computing Center) dans le cadre de l’appel PHC AURORA 2019 a été retenu par le comité de sélection.

Ce projet qui s’intéresse principalement aux thématiques « systèmes de dialogue, grand corpus conversationnels, TAL pour la conversation » compte également parmi ses membres Philippe Blache (LPL) et Magalie Ochs (LIS).