T is for Treu, but how do you pronounce that?

Nous sommes heureux de vous annoncer que Pauline Welby, membre du LPL et chercheuse associée au Laboratoire Interdisciplinaire de Recherche en Éducation (Université de la Nouvelle Calédonie), vient d’obtenir un financement dans le cadre du programme de recherche collaborative Australie-France 2024. Il s’agit d’un financement conjoint de l'Ambassade de France en Australie et de l'Académie des sciences sociales en Australie. Le programme a pour but de soutenir des recherches interdisciplinaires qui relèvent les défis sociétaux contemporains et renforcent les liens entre l'Australie, la France et la région du Pacifique.

Résumé :

Le titre du projet « T is for Treu, but how do you pronounce that? Integrating pronunciation respellings into multimodal language learning resources » fait référence au mot treu, qui signifie 'lune' en drehu, une des langues des Kanaks, le peuple autochtone de Nouvelle-Calédonie. On peut apprendre le mot treu dans un dictionnaire ou un abécédaire. Mais comment prononcer ce mot et d'autres mots de cette langue ? Les enseignants qui conçoivent des activités d'éveil aux langues ou les apprenants qui souhaitent se réapproprier leur langue ont besoin de savoir.

Bien entendu, il est utile d'entendre les mots prononcés à haute voix, et les prononciations sont généralement incluses sous forme de fichiers sonores dans les textes multimédias destinés aux apprenants. Voir l'orthographe est une aide extrêmement puissante pour l'apprentissage de nouveaux mots et de leur signification. « Face à la parole, qui est par nature très variable et fugace, la forme orthographique offre aux locuteurs-auditeurs [d'une langue seconde] quelque chose de stable auquel s'accrocher » (Welby et al., 2022 (notre traduction)). Cependant, lorsque ce que l'on entend et ce que l'on lit sont en conflit, l'écrit l'emporte souvent. Treu se prononce tché-ou [tʃe.u], mais la connaissance des correspondances entre les lettres et les sons du français, la principale langue d'enseignement, tirera de nombreux Calédoniens -- en erreur -- à une prononciation à la française, avec un [t] et un [R ]. 

Le projet s'adresse à la question : Comment conserver les avantages de l'écrit pour l'apprentissage du vocabulaire tout en atténuant l'influence sur la prononciation de conflits orthographiques entre la langue maternelle et la langue seconde ? Nous proposons une solution, basée sur les résultats de nos recherches : nous intégrerons des transcriptions « franétiques » (français + phonétique), basées sur l'orthographe du français (par ex., treu : tché-ou) dans des textes multimédias pédagogiques pour deux langues kanak. Ensuite, nous testerons l'efficacité de l'apprentissage avec et sans ces transcriptions, en suivant notre méthodologie dans Bürki et al. (2019) et Welby et al. (2022). Soit nos résultats fourniront une preuve de concept pour l'extension de notre approche à d'autres langues soit ils nous amèneront à modifier notre approche.

 Le projet s'appuie sur les résultats théoriques et appliqués de deux projets indépendants jusqu'à présent. C-LARA (ChatGPT Learning and Reading Assistant) est un projet collaboratif visant à développer des outils convertissant des textes simples en ressources multimédias interactives d'apprentissage des langues. Et « Comment ça se prononce ? » est un projet visant à construire un phonétiseur multilingue faisant le lien entre l'orthographe et la prononciation dans les nombreuses (30 environ) langues de Nouvelle-Calédonie, dont la plupart sont vulnérables ou en voie de disparition.

 

Partenaires : Aix Marseille Université, CNRS, Laboratoire Parole et Langage ; Université de Paris 3/INALCO ; Université de la Nouvelle Calédonie ; University of South Australia ; Flinders University (Australia)

Lien vers le site Web : https://socialsciences.org.au/news/2024-australia-france-collaborative-research-program/

Lien vers Un abécédaire interactif en drehu : https://c-lara.unisa.edu.au/accounts/rendered_texts/17/normal/page_2.html

Contact : pauline.welby@cnrs.fr

 

Crédits d’image : P. Welby

MANDELA : Approche multimodale de la dynamique conversationnelle et ses bases cérébrales

La dernière Lettre de CNRS Sciences humaines & sociales parue en janvier met en avant sept projets sélectionnés en 2023 par la Mission pour les Initiatives Transverses et l’Interdisciplinarité (MITI) du CNRS, dont le projet « MANDELA » porté par Philippe Blache (LPL/ILCB), Daniele Schön (INS) et Leonor Becerra (LIS). Ce projet de recherche interdisciplinaire entre les trois laboratoires LPL, INS et LIS vient de débuter dans le cadre de l’action 80 Prime et associe des approches issues de la linguistique, des neurosciences, de la psychologie cognitive et des sciences informatiques. Il inclue également une bourse de doctorat attribuée à Hiroyoshi Yamasaki (co-dirigée par Philippe Blache et Daniele Schön).

Lettre de CNRS SHS (article page 19) : https://www.inshs.cnrs.fr/sites/institut_inshs/files/download-file/lettre_info_87_0.pdf

Résumé du projet :
Les conversations naturelles sont caractérisées par des phénomènes d’alignement voire de convergence entre participants, obligatoires pour assurer un échange d’informations efficace et plus généralement le succès de l’interaction. Le premier objectif de ce projet est de construire un modèle computationnel prédisant le niveau de convergence basé sur des caractéristiques verbales et non verbales. Dans un deuxième temps, nous proposons d’explorer la corrélation entre les mécanismes de synchronisation dans le signal cérébral et le niveau de convergence prédit par le modèle. Notre hypothèse est qu’un niveau élevé de convergence peut être corrélé avec un couplage cérébral entre les participants, observé dans différentes bandes de fréquences du signal électro-encéphalographique. Ce projet s’appuie sur un large corpus basé sur des conversations enregistrées en audio-vidéo et incluant l’EEG (corpus SMYLE et BrainKT) et qui sera complété par de nouvelles données acquises dans le cadre de la thèse. Il s’agira du premier projet à cette échelle explorant la convergence et le couplage cérébral au cours d’une conversation naturelle.

 

Légende photo : Participants au recueil de données neuro-physiologiques dans le cadre d’une interaction orientée tâche
Crédits image : LPL

Projet SOLIST : Arrivée de Qingye Shen au LPL

Dans le cadre du projet SOLIST, nous avons le plaisir de vous annoncer l'arrivée de Mme Qingye Shen en tant que collaboratrice technique. Qingye Shen contribuera à la mise en oeuvre de différentes expériences visant à étudier les interactions entre auditeurs dans la perception de la parole.

Qingye Shen est de nationalité chinoise et elle est titulaire d'une licence en sciences biologiques et d'un master en écologie obtenu à la East China Normal University à Shanghai. Elle a auparavant exercé des responsabilités administratives dans le Shanghai Key Laboratory of Brain Functional Genomics.

SOLIST (The Social Listener) est un projet de recherche réalisé avec le soutien de l'Institut Carnot Cognition. Il rassemble des membres du laboratoire (Noël Nguyen, Leonardo Lancia, Thierry Legou) et deux partenaires français (Julien Diard, LPNC, Grenoble ; Ladislas Nalborczyk, NeuroSpin, Paris-Saclay).

Pour plus d'informations : https://www.lpl-aix.fr/actualite/nouvelles-du-carnot-cognition-interview-avec-roxane-bertrand-deux-nouveaux-projets-lpl-finances/

Nouvelles du Projet (CO)SYSORI

Séjour de recherche de Michael Karani au LPL

Nous avons le plaisir d’accueillir à nouveau Michael Karani, enseignant-chercheur à l’Université de Dar es Salaam en Tanzanie, du 9 au 27 octobre au LPL. Il enseigne dans les domaines de la linguistique et de la communication au Centre for Communication Studies.

Son séjour s’inscrit dans le projet « SYSORI : systèmes sonores des langues de la vallée du Rift » financé par le programme « CNRS-Africa Visiting Fellowships Programme » et dont il est co-porteur. Durant ces trois semaines sur Aix, un séminaire et des moments d’échange seront proposés aux collègues du LPL.

Voir aussi : https://www.lpl-aix.fr/actualite/nouvelles-du-projet-sysori-2022/

Nouveau financement : COSYSORI

 En 2023, les partenaires du projet SYSORI ont obtenu un nouveau financement qui fait suite au premier programme :

COSYSORI : Contact dans les systèmes sonores des langues de la vallée du Rift – CNRS-Africa Visiting Fellowships

Porteurs du projet :

  • Alain Ghio, LPL
  • Michael Karani, Université de Dar es Salaam,Tanzanie

Membres :

  • Didier Démolin, LPP
  • Yohann Meynadier, LPL
  • Francesca Di Garbo, LPL
  • Maarten Mous, Univ. Leiden, Pays-Bas
  • Andrew Harvey, University of Bayreuth, Allemagne

Résumé :
Le projet COSYSORI prolonge le projet SYSORI dont l’objectif est l’étude des Systèmes Sonores des langues de la vallée du Rift. L’aspect novateur consiste à mettre l’accent plus précisément sur les phénomènes de contact de langues tout en gardant les fondements des projets précédents.

Le Grand Rift Africain comprend plusieurs aires linguistiques appartenant aux quatre grandes familles linguistiques du continent (Afro-Asiatique, Niger-Kongo, Nilo-Saharienne et Khoesan). La diversité linguistique de cette zone est le résultat de migrations et de contacts, parfois très anciens, entre des populations de chasseurs-cueilleurs, d’éleveurs et d’agriculteurs. La comparaison entre les langues suggère plusieurs phases migratoires et contacts qui ont modifié à plusieurs reprises le paysage linguistique. Les systèmes sonores des langues du Rift ont des types de sons particuliers, dont certains ne sont pas courants dans les langues du monde. Le cas des consonnes non pulmoniques telles que les éjectives, les implosives et les clicks est particulièrement remarquable.

Ces consonnes sont-elles des substrats de très anciens éléments qui se reflètent dans les langues actuelles ou bien sont-elles le produit de mécanismes d’innovation et de complexification des systèmes sonores ? Existe-t-il un lien entre les clicks et les consonnes éjectives, pouvant expliquer par exemple le transfert d’une langue à une autre par contact ? Comment comparer ces consonnes non pulmoniques aux mécanismes de la déglutition ou de la toux, mettant ainsi en évidence la nature biologique d’éléments de la structure linguistique ?

 

Image :
De gauche à droite : Michael Karani (UDSM), Didier Démolin (LPP), Loyewo (informateur sur Arusha), un locuteur Maasai anonyme, Alain Ghio (LPL) en Tanzanie en juin 2022
Crédits photo : Projet Sysori / A. Ghio et D. Demolin

Nouvelles du Carnot Cognition : Interview avec Roxane Bertrand & deux nouveaux projets LPL financés !

Roxane Bertrand interviewée par le Carnot Cognition

Au fil des derniers mois, l’Institut Carnot Cognition a publié une série de témoignages de chercheur.se.s et industriels pour mettre en avant des initiatives de la recherche partenariale dans les technologies cognitives. Dans ce cadre, l’Institut vient d’interviewer Roxane Bertrand, directrice de recherche CNRS.

Lien vers l’interview : https://www.institut-cognition.com/interview/roxane-bertrand-lpl/

 

Deux projets LPL retenus lors du dernier appel à ressourcement du Carnot Cognition en 2023

Projet The Social Listener – SOLIST porté par Noël Nguyen (LPL) en collaboration avec Julien Diard (LPNC) et Ladislas Nalborczyk (Neurospin)

Ce projet vise à construire un dispositif expérimental nouveau pour l’étude des interactions entre auditeurs dans la perception de la parole. Ce dispositif se présentera sous la forme d’un jeu sérieux, dans lequel deux ou plusieurs participants devront transmettre de manière coordonnée des commandes de déplacement à de petits modules robotisés. Les commandes seront communiquées aux participants sous la forme de sons de parole, et l’objectif sera de mettre au jour les mécanismes cognitifs permettant aux participants de converger l’un vers l’autre dans la catégorisation de ces sons. Nous testerons différentes prédictions faites à partir d’un modèle probabiliste bayésien de la perception de la parole, dans son extension aux interactions entre auditeurs. Le dispositif expérimental sera construit au moyen de composants électroniques programmables open source et pourra déboucher sur une large variété d’applications, notamment dans le domaine de l’apprentissage des langues étrangères.

Projet EXPOLECT_DOM porté par Stéphanie Ducrot (LPL) en collaboration avec Jonathan Grainger (LPC)

La proportion d'élèves en difficulté face à l’écrit augmente à mesure que le contexte langagier s'éloigne de la langue de scolarisation. C’est le cas des départements d’outre-mer où la langue de scolarisation n’est pas la langue maternelle (30-75% d’enfants en difficulté de lecture). Partant du constat que l’exposition précoce et régulière à l’écrit est un prérequis pour devenir un bon lecteur et réussir sa scolarité, le premier objectif de ce projet est de développer une application mobile enregistrant quotidiennement les activités de lecture à la maison des enfants issus de ces départements, avec l’idée d’implémenter à terme un module de guidance parentale. Un second objectif est de pallier l’absence de tests de repérage des difficultés de lecture tenant compte de l’environnement particulier de ces enfants, en normant 2 tests classiquement utilisés. Ce projet répond à un enjeu éthique et sociétal majeur, luttant activement contre l’illettrisme particulièrement présent dans ces départements.

 

Financement du projet ANR STAR-FLE

Nous avons le plaisir de vous annoncer la validation du projet « STAR-FLE : STrategic Adaptations for better Reading and Text Comprehension in FFL » par l’Agence Nationale de la Recherche. Porté par l’UR LiLPa (Linguistique, langues, parole) de l’Université Strasbourg, il compte parmi ses membres également Núria Gala, Catherine David et Paul Pouzergues du LPL.

Résumé :
Dans le domaine de l'enseignement des langues assisté par ordinateur (ELAO, ou CALL en anglais pour Computer Assisted Language Learning) il existe des outils innovants pour aider les apprenants dans leurs stratégies d’apprentissage. Cependant, peu d'outils efficaces sont proposés pour les enseignants dans leur pratique didactique, et notamment pour la didactique du lexique. Dans ce contexte, l’objectif du projet STAR-FLE est de mieux comprendre les difficultés des apprenants de français langue étrangère (FLE) face au lexique présent dans des textes authentiques. Nous proposerons des solutions numériques issues du traitement automatique des langues (TAL) facilitant la compréhension des textes et permettant aux enseignants de mieux gérer l’hétérogénéité de niveaux. Des aides contextuelles et des adaptations personnalisées du vocabulaire sont envisagées, notamment au niveau des expressions polylexicales. Le projet est financé pour 4 ans (2024-2027) avec un recrutement de post-doc pour 2 ans au LPL (début probable à la rentrée 2024).

Mots clés : didactique du FLE, lexique, enseignement des langues assisté par ordinateur, traitement automatique des langues.

Laboratoires impliqués : LiLPa (université de Strasbourg -porteur principal du projet), ATILF (Nancy), LPL (AMU) et CENTAL (Université catholique de Louvain, membre invité)

Crédit d’image : jcomp sur Freepik

Clôture du projet PENSA : Usages et compétences du numérique en éducation

Les 17 et 18 février a eu lieu dans la capitale catalane la clôture officielle du projet PENSA. Financé par le programme européen Erasmus+, il compte parmi ses membres plusieurs collègues du LPL : Marco Cappellini (porteur), Christelle Combe, Isabelle Cros et Sandrine Eschenauer.

Site Web du Projet PENSA : https://pensa.univ-amu.fr/

La réalité augmentée au service des personnes sourdes

Nous avons le plaisir de vous annoncer que Brigitte Bigi, chargée de recherche CNRS au LPL, a obtenu une réponse favorable pour le financement du projet « Voir les sons avec du ‘Cued Speech’ automatisé : la réalité augmentée au service des personnes sourdes » dont elle est porteuse principale. Financé par la Fondation Internationale de la Recherche Appliquée sur le Handicap (FIRAH) à hauteur de 50.000€, il a été élaboré en partenariat avec l’Association Datha (Parents d’enfants sourds et d’amis de personnes sourdes) et l’Académie Internationale Soutenant les Adaptations du « Cued » (AISAC).

L’équipe LPL du projet est composée des membres suivants : Brigitte Bigi, Núria Gala, Michel Pitermann et Carine André.

Résumé :
En 1966, R. Orin Cornett a inventé le « Cued Speech », un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres. Le « Cued Speech », ou Langue française Parlée Complétée (LfPC), représente chaque son avec une forme de main pour une consonne et une position autour du visage pour une voyelle, appelé clé LfPC. Malgré les nombreux travaux démontrant ses avantages, et l’intérêt grandissant qu’il suscite, il n’existe actuellement aucun système de génération automatique des clés. Ce projet consiste à développer un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur une vidéo d’un locuteur pré-enregistré. Afin de décrire l’organisation temporelle et spatiale du code dans sa co-production avec la parole, des enregistrements audio-vidéo de codeurs – en français et en anglais, seront collectés, enrichis d’annotations et diffusés. Leur analyse par des méthodes d’apprentissage automatique, associée aux connaissances des experts du projet, permettront la modélisation du système prédictif. Le codeur automatique sera utilisé pour créer des vidéos intégrées dans différents types de supports à but éducatif. L’ensemble (logiciel et supports) sera partagé sous licence libre.

Voir aussi :
Création du corpus Langue française Parlée Complétée (CLeLfPC, 2021) : https://www.lpl-aix.fr/actualite/la-langue-francaise-parlee-completee-quesaco/
Lien vers le corpus CLeLfPC : https://www.ortolang.fr/market/corpora/clelfpc

Crédits : 2021 B. Bigi et M. Zimmermann

Nouvelles du Projet SYSORI 2022

Michael Karani est linguiste à l’Université de Dar Es Salaam. Il est le porteur tanzanien du projet SYSORI qui porte sur l’étude des systèmes sonores des langues de la vallée du rift dans lequel le LPL est impliqué par l’intermédiaire de Alain Ghio.

La visite de Michael Karani s’inscrit dans le cadre du Colloque du Groupe interdisciplinaire sur le Grand Rift Africain qui se déroulera à Lyon du 22 au 24 novembre et auquel il a été invité. Il viendra ensuite à Aix pour visiter le LPL le vendredi 25 novembre avant de repartir en Tanzanie.

Dans la foulée, Alain Ghio et Yohann Meynadier emboiteront le pas pour se rendre en mission en Tanzanie du 28 novembre au 15 décembre. Cette mission s’inscrit dans le projet SYSORI et contient deux volets.

Tout d’abord, une mission d’enregistrement de locuteurs Wambugu dans les monts Usambara. La langue Mbugu est plutôt atypique avec une morphosyntaxe bantoue mais un lexique couchitique (afro-asiatique). Au niveau phonologique, cette langue en danger comprend une trentaine de consonnes dont une quantité importante de fricatives dans 6 positions articulatoires différentes (Labial, Alvéolaire central, Alvéolaire latéral, Palatal, Vélaire, Glottal), une fricative prénasalisée, des implosives, des occlusives prénasalisées en opposition voisée et non voisée… C’est une langue tonale à trois tons.

La deuxième partie de la mission consistera en un travail de formation à l’Université de Dar Es Salaam où des cours et travaux pratiques de phonétique seront proposés aux étudiants de linguistique. Cette mission se fera en équipe avec Didier Démolin (Professeur de phonétique émérite de la Sorbonne Nouvelle et partenaire du projet Sysori) ainsi qu’avec Maarten Mous (Professeur de linguistique africaine de l’Université de Leiden, Pays-Bas).

Pour en savoir plus :
- Article du Journal du CNRS sur la mission Tanzanie 2020 : https://lejournal.cnrs.fr/articles/dans-le-secret-des-langues-a-clics
- Article dans Carnet de Science n° 13 (2022) : https://carnetsdescience-larevue.fr/boutique/mook/carnets-de-science-13/  (Les Carnets de Science du CNRS sont disponibles au LPL)

Photo de gauche à droite : Michael Karani (UDSM), Didier Démolin (LPP), Loyewo (informateur sur Arusha), un locuteur Maasai anonyme, Alain Ghio (LPL) en Tanzanie en juin 2022

Crédits photo : Projet Sysori / A. Ghio et D. Demolin

 

Retour de mission en pays de Massai : le projet SYSORI

A la suite d’une première mission en 2020, Alain Ghio (LPL) et Didier Demolin (LPP) sont retournés en pays Massai en juin dernier pour enregistrer des locuteurs autour d’Arusha au nord de la Tanzanie en utilisant sur le terrain des techniques de laboratoire telles que l’aérophonométrie et l’électroglottographie.

Article complet sur le site du Groupe interdisciplinaire Grand Rift Africain (CNRS) : https://rift-cnrs.fr/theme-recherche/juin-2022-retour-mission-pays-massai/

Première mission de 2020 : https://lejournal.cnrs.fr/articles/dans-le-secret-des-langues-a-clics

 

Crédits photo : Projet Sysori / A. Ghio et D. Demolin