Typologie d'actualités : convergence

Pourquoi percevons-nous les mêmes sons de la même manière ?

Noël Nguyen, Leonardo Lancia et Lena Huttner du LPL viennent de publier en collaboration avec des chercheurs du GIPSA-Lab et LPNC le premier Registered Report paru dans Glossa Psycholinguistics, une revue Fair Open Access en ligne :

Nguyen, N., Lancia, L., Huttner, L., Schwartz, J., & Diard, J. (2024). Listeners' convergence towards an artificial agent in a joint phoneme categorization task. Glossa Psycholinguistics, 3(1). http://dx.doi.org/10.5070/G6011165 

Article en texte intégral : https://escholarship.org/uc/item/0dg0g4kn

 Résumé :

Cet article s'inscrit dans le cadre d'un projet visant à répondre à une question très simple : comment se fait-il que nous percevions les mêmes sons de la même manière ? Dans nos interactions langagières, et pour que nous puissions nous comprendre, il est nécessaire que les sons de la parole soient catégorisés de manière similaire par tous les interlocuteurs. Au sein d'une communauté linguistique, il faut ainsi qu'un accord existe entre les locuteurs sur l'emplacement des frontières entre phonèmes parmi les sons de la parole. Cet accord se fonde, pour une part, sur des conventions sociales. Ces conventions s'établissent à l'échelle d'une communauté entière de locuteurs, mais elles ont nécessairement pour origine première un vaste ensemble d'interactions inter-individuelles. Le projet vise ainsi à étudier de manière expérimentale le rôle des interactions inter-individuelles dans la formation d'un espace perceptif partagé.

Nous présentons les premiers éléments d'un modèle computationnel bayésien, qui fait écho au modèle COSMO des intégrations sensori-motrices dans la communication parlée proposé par Jean-Luc Schwartz, Julien Diard, et leurs collaborateurs. Notre modèle a lui pour but de caractériser les mécanismes employés dans la perception conjointe des sons de la parole, chez deux ou plusieurs auditeurs qui accomplissent ensemble une tâche de catégorisation en interagissant les uns avec les autres. Dans ce modèle, une place centrale est ainsi attribuée aux interactions inter-individuelles, et cela constitue une différence majeure au regard des modèles de la perception de la parole élaborés jusqu'à présent.

L’expérience présentée a porté sur la perception et la catégorisation des sons de la parole en anglais. La tâche se présentait comme un jeu collaboratif dont l’objectif pour l’auditeur et son partenaire est d’accumuler des points ensemble en catégorisant les sons présentés de façon identique. L’expérience a été réalisée en ligne, et s’il était dit à l’auditeur que celui-ci devra réaliser la tâche avec une autre personne, le partenaire était en réalité un agent artificiel, dont nous avons manipulé les réponses de manière à examiner la sensibilité de l’auditeur à ces manipulations.

Ce travail a été réalisé avec le soutien de l'équipe LSD, du LPL, de l'ILCB, et de l'Institut Carnot Cognition.

 

Crédits d’image : Les auteurs

MANDELA : Approche multimodale de la dynamique conversationnelle et ses bases cérébrales

La dernière Lettre de CNRS Sciences humaines & sociales parue en janvier met en avant sept projets sélectionnés en 2023 par la Mission pour les Initiatives Transverses et l’Interdisciplinarité (MITI) du CNRS, dont le projet « MANDELA » porté par Philippe Blache (LPL/ILCB), Daniele Schön (INS) et Leonor Becerra (LIS). Ce projet de recherche interdisciplinaire entre les trois laboratoires LPL, INS et LIS vient de débuter dans le cadre de l’action 80 Prime et associe des approches issues de la linguistique, des neurosciences, de la psychologie cognitive et des sciences informatiques. Il inclue également une bourse de doctorat attribuée à Hiroyoshi Yamasaki (co-dirigée par Philippe Blache et Daniele Schön).

Lettre de CNRS SHS (article page 19) : https://www.inshs.cnrs.fr/sites/institut_inshs/files/download-file/lettre_info_87_0.pdf

Résumé du projet :
Les conversations naturelles sont caractérisées par des phénomènes d’alignement voire de convergence entre participants, obligatoires pour assurer un échange d’informations efficace et plus généralement le succès de l’interaction. Le premier objectif de ce projet est de construire un modèle computationnel prédisant le niveau de convergence basé sur des caractéristiques verbales et non verbales. Dans un deuxième temps, nous proposons d’explorer la corrélation entre les mécanismes de synchronisation dans le signal cérébral et le niveau de convergence prédit par le modèle. Notre hypothèse est qu’un niveau élevé de convergence peut être corrélé avec un couplage cérébral entre les participants, observé dans différentes bandes de fréquences du signal électro-encéphalographique. Ce projet s’appuie sur un large corpus basé sur des conversations enregistrées en audio-vidéo et incluant l’EEG (corpus SMYLE et BrainKT) et qui sera complété par de nouvelles données acquises dans le cadre de la thèse. Il s’agira du premier projet à cette échelle explorant la convergence et le couplage cérébral au cours d’une conversation naturelle.

 

Légende photo : Participants au recueil de données neuro-physiologiques dans le cadre d’une interaction orientée tâche
Crédits image : LPL

Conversation : comment nous accordons nos violons

Dans le cadre de l’échange « chercheurs-journalistes » organisé sous l’égide de l’Association des journalistes scientifiques de la presse d’information (AJSPI), le journaliste Fabien Trécourt a rencontré au printemps 2022 Noël Nguyen, professeur AMU-LPL, et plusieurs d’autres chercheur.e.s du Laboratoire Parole et Langage. Ces échanges de plusieurs jours ont donné lieu à un bel article sur la convergence linguistique dans le numéro actuel du magazine Sciences Humaines : « Conversation : comment nous accordons nos violons » (n° 350 août/septembre 2022).

Article en ligne (accès abonné.e.s) : https://bit.ly/3IFryFI
Blog de F. Trécourt : https://fabien-trecourt.com

 

Crédits : Sciences Humaines / F. Trécourt

Choisit-on ses mots en fonction de l’interlocuteur (même quand ce dernier est un robot) ?

En tant que 1ère auteure, Giusy Cirillo (Doctorante LPL/ILCB) vient de publier en collaboration avec d’autres membres du LPL et de l’Université de Barcelone un article dans la revue Cognition portant sur l'alignement inter-individuel dans la communication parlée.

Référence :

Giusy Cirillo, Elin Runnqvist, Kristof Strijkers, Noël Nguyen, Cristina Baus. Conceptual alignment in a joint picture-naming task performed with a social robot. Cognition, Elsevier, 2022, 227, p. 105213. ⟨10.1016/j.cognition.2022.105213⟩

Article en texte intégral : https://authors.elsevier.com/a/1fMPm2Hx2pivT

 

Résumé :

Dans cette étude, nous avons cherché à savoir dans quelle mesure l'alignement s'opère à un niveau pré-linguistique, et plus spécifiquement au niveau des concepts que l'on se prépare à faire passer dans le message.

Dans l'expérience, chaque participant accomplissait une tâche de dénomination d'image conjointe, avec le robot social Furhat qui servait de partenaire au participant. Pour chaque image présentée, un indice de couleur indiquait si l'image devait être dénommée par le participant ou par le robot.

On sait que lorsque nous devons dénommer des objets, nous avons une préférence claire pour les noms associés au niveau de base. Par exemple, lorsqu'on voit apparaître l'image d'un chien que nous n'avons encore jamais vu, nous avons tendance à répondre « chien » plutôt que « mammifère », « animal » ou encore « Médor ». C'est cette tendance que nous avons entrepris de manipuler.

Pour une partie des images, nous avons fait dire à Furhat un terme atypique renvoyant à la catégorie super-ordonnée (exemple : « mammifère » plutôt que « chat »). La question que nous avons soulevée est la suivante : En voyant apparaître un animal différent (exemple : un ours), qu'allait faire le participant ? Allait-il dire « ours » ou bien « mammifère » ? Les résultats ont montré que le participant avait tendance à opter lui aussi pour le terme renvoyant à la catégorie super-ordonnée (« mammifère »).

Ces résultats indiquent ainsi que, dans une tâche de dénomination d'image conjointe conjointe, l'alignement avec le partenaire va au-delà de la forme des mots et s'étend jusqu'au niveau conceptuel.

 

Crédits photo : Giusy Cirillo