La réalité augmentée au service des personnes sourdes

Nous avons le plaisir de vous annoncer que Brigitte Bigi, chargée de recherche CNRS au LPL, a obtenu une réponse favorable pour le financement du projet « Voir les sons avec du ‘Cued Speech’ automatisé : la réalité augmentée au service des personnes sourdes » dont elle est porteuse principale. Financé par la Fondation Internationale de la Recherche Appliquée sur le Handicap (FIRAH) à hauteur de 50.000€, il a été élaboré en partenariat avec l’Association Datha (Parents d’enfants sourds et d’amis de personnes sourdes) et l’Académie Internationale Soutenant les Adaptations du « Cued » (AISAC).

L’équipe LPL du projet est composée des membres suivants : Brigitte Bigi, Núria Gala, Michel Pitermann et Carine André.

Résumé :
En 1966, R. Orin Cornett a inventé le « Cued Speech », un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres. Le « Cued Speech », ou Langue française Parlée Complétée (LfPC), représente chaque son avec une forme de main pour une consonne et une position autour du visage pour une voyelle, appelé clé LfPC. Malgré les nombreux travaux démontrant ses avantages, et l’intérêt grandissant qu’il suscite, il n’existe actuellement aucun système de génération automatique des clés. Ce projet consiste à développer un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur une vidéo d’un locuteur pré-enregistré. Afin de décrire l’organisation temporelle et spatiale du code dans sa co-production avec la parole, des enregistrements audio-vidéo de codeurs – en français et en anglais, seront collectés, enrichis d’annotations et diffusés. Leur analyse par des méthodes d’apprentissage automatique, associée aux connaissances des experts du projet, permettront la modélisation du système prédictif. Le codeur automatique sera utilisé pour créer des vidéos intégrées dans différents types de supports à but éducatif. L’ensemble (logiciel et supports) sera partagé sous licence libre.

Voir aussi :
Création du corpus Langue française Parlée Complétée (CLeLfPC, 2021) : https://www.lpl-aix.fr/actualite/la-langue-francaise-parlee-completee-quesaco/
Lien vers le corpus CLeLfPC : https://www.ortolang.fr/market/corpora/clelfpc

Crédits : 2021 B. Bigi et M. Zimmermann

Nouvelles du Projet SYSORI

Michael Karani est linguiste à l’Université de Dar Es Salaam. Il est le porteur tanzanien du projet SYSORI qui porte sur l’étude des systèmes sonores des langues de la vallée du rift dans lequel le LPL est impliqué par l’intermédiaire de Alain Ghio.

La visite de Michael Karani s’inscrit dans le cadre du Colloque du Groupe interdisciplinaire sur le Grand Rift Africain qui se déroulera à Lyon du 22 au 24 novembre et auquel il a été invité. Il viendra ensuite à Aix pour visiter le LPL le vendredi 25 novembre avant de repartir en Tanzanie.

Dans la foulée, Alain Ghio et Yohann Meynadier emboiteront le pas pour se rendre en mission en Tanzanie du 28 novembre au 15 décembre. Cette mission s’inscrit dans le projet SYSORI et contient deux volets.

Tout d’abord, une mission d’enregistrement de locuteurs Wambugu dans les monts Usambara. La langue Mbugu est plutôt atypique avec une morphosyntaxe bantoue mais un lexique couchitique (afro-asiatique). Au niveau phonologique, cette langue en danger comprend une trentaine de consonnes dont une quantité importante de fricatives dans 6 positions articulatoires différentes (Labial, Alvéolaire central, Alvéolaire latéral, Palatal, Vélaire, Glottal), une fricative prénasalisée, des implosives, des occlusives prénasalisées en opposition voisée et non voisée… C’est une langue tonale à trois tons.

La deuxième partie de la mission consistera en un travail de formation à l’Université de Dar Es Salaam où des cours et travaux pratiques de phonétique seront proposés aux étudiants de linguistique. Cette mission se fera en équipe avec Didier Démolin (Professeur de phonétique émérite de la Sorbonne Nouvelle et partenaire du projet Sysori) ainsi qu’avec Maarten Mous (Professeur de linguistique africaine de l’Université de Leiden, Pays-Bas).

Pour en savoir plus :
- Article du Journal du CNRS sur la mission Tanzanie 2020 : https://lejournal.cnrs.fr/articles/dans-le-secret-des-langues-a-clics
- Article dans Carnet de Science n° 13 (2022) : https://carnetsdescience-larevue.fr/boutique/mook/carnets-de-science-13/  (Les Carnets de Science du CNRS sont disponibles au LPL)

Photo de gauche à droite : Michael Karani (UDSM), Didier Démolin (LPP), Loyewo (informateur sur Arusha), un locuteur Maasai anonyme, Alain Ghio (LPL) en Tanzanie en juin 2022

Crédits photo : Projet Sysori / A. Ghio et D. Demolin

 

Retour de mission en pays de Massai : le projet SYSORI

A la suite d’une première mission en 2020, Alain Ghio (LPL) et Didier Demolin (LPP) sont retournés en pays Massai en juin dernier pour enregistrer des locuteurs autour d’Arusha au nord de la Tanzanie en utilisant sur le terrain des techniques de laboratoire telles que l’aérophonométrie et l’électroglottographie.

Article complet sur le site du Groupe interdisciplinaire Grand Rift Africain (CNRS) : https://rift-cnrs.fr/theme-recherche/juin-2022-retour-mission-pays-massai/

Première mission de 2020 : https://lejournal.cnrs.fr/articles/dans-le-secret-des-langues-a-clics

 

Crédits photo : Projet Sysori / A. Ghio et D. Demolin

Hackathon COBRA à Ferrara

Du 27 juin au 1er juillet s’est tenue à Ferrare, Italie, une semaine de formation dans le cadre du réseau européen de formation innovante Marie Skłodowska-Curie COBRA. Il s’agissait de la 4e session de formation du réseau, dans la suite de celles organisées par les partenaires académiques à Bratislava, Aix-Marseille et Edimbourg. Elle a offert aux doctorants du réseau la possibilité de suivre une série de cours assurés par Stefan Benus (Académie des Sciences Slovaque, Bratislava) sur l'alignement entre locuteurs dans la conversation, par Leonardo Lancia (LPP, Paris 3) sur l’analyse mathématique des séries temporelles dans les interactions inter-individuelles, et par Delphine Potdevin et Sébastien Biaudet (DAVI, Puteaux) sur les agents conversationnels.

En outre, un hackathon assuré par Thierry Legou (LPL) a permis aux doctorants de se familiariser avec la plateforme ouverte Arduino pour le prototypage rapide d’objets électroniques interactifs programmables. Thierry Legou a notamment offert un aperçu des possibilités offertes par la plateforme Arduino dans le domaine des capteurs embarqués. L’une des démonstrations présentées a consisté à construire et à programmer un dispositif permettant le recueil de signaux physiologiques grâce à un capteur rattaché à une carte électronique et un micro-contrôleur, et utilisable dans les études sur les interactions inter-individuelles en situation naturelle.

Rendez-vous a été donné aux participants pour la 5e séance de formation, conjointement organisée par Susanne Fuchs (Leibniz-Zentrum Allgemeine Sprachwissenschaft), Christine Mooshammer (Humboldt-Universität) et Friedemann Pulvermüller (Freie Universität) à Berlin en mars 2023.

ITN MSCA COBRA : www.conversationalbrains.eu
Research blog : www.cobra-network.eu/research-blog
COBRA sur Twitter : @CobraNetwork

 

Crédits photo : COBRA Network

Financement du projet AIGLE par l’Institut Carnot Cognition

Le projet AIde au paramétrage de textes pour auGmenter leur LisibilitE (AIGLE) – soumis par Núria Gala (LPL-AMU) et Aurélie Calabrèse (LPC-CNRS) – vient d'être sélectionné par l’Institut Carnot Cognition dans le cadre de son appel à projets 2022.

Résumé :

En combinant la psychophysique de la lecture, la neuro-ophtalmologie et la linguistique computationnelle, ce projet multidisciplinaire vise à caractériser l’influence des propriétés linguistiques d’un texte sur les performances de lecture d’individus malvoyants. Notre but est d’identifier les facteurs lexicaux qui rendent un texte particulièrement complexe pour le public malvoyant, avec l’objectif, à long terme, d’utiliser ces connaissances pour simplifier les textes de manière optimale pour ce public, et ainsi faciliter l’accessibilité à la lecture.

Contact : nuria.gala@univ-amu.fr

Le Projet PENSA : Pour une culture ouverte et critique du numérique à l’université

PENSA est un projet européen Erasmus+ de partenariat stratégique dans l'enseignement supérieur. Il vise à développer les compétences des enseignants pour une utilisation critique du numérique en éducation et à promouvoir des usages numériques ouvertes et libres auprès des étudiants.

Le projet associe 7 universités (dont 6 du consortium CIVIS), une association savante et une entreprise. Au LPL sont impliqués Marco Cappellini (porteur), Christelle Combe, Isabelle Cros et Sandrine Eschenauer.

Après le démarrage en mars 2021, le projet a réalisé la première formation de formateurs en juin, le premier échange en ligne entre étudiants d'AMU et de Tübingen, et a lancé le site Web ainsi que la première newsletter.

Le projet a donné lieu à deux communications lors de la conférence EuroCALL 2021 et le Congrès RANACLES, ainsi qu'à une conférence plénière.

Site Web : https://pensa.univ-amu.fr/
Contact : marco.cappellini@univ-amu.fr

Faut-il repenser l’aménagement des classes pour l’enseignement de demain?

Le projet AFLEX – coordonné par Marion Tellier, professeure AMU et membre du LPL – sur l'aménagement flexible des classes vient de recevoir un financement d'InCIAM (dans le cadre de l'appel Flash) et un d'AMPIRIC (dans le cadre de l'appel DAFIP/Ampiric).

Résumé :
Cette innovation pédagogique permet aux élèves de choisir l'assise qui leur convient (au sol sur des coussins, isolé avec un casque anti-bruit, en groupe en îlot) à certains moments de la classe pour faciliter leur engagement dans la tâche scolaire. Dans ce projet, en collaboration avec le collège Silve à Monteux (84), 6 classes vont être filmées et des entretiens seront réalisés afin d'analyser comment les enseignantes mettent en place cette pédagogie, comment les apprenants se l'approprient et l'effet que chacun ressent sur l'attention, la motivation, l'autonomie et le bien être à l'école. Un focus sera fait sur la façon dont les enseignantes les plus expérimentées dans cette pratique la transmettent à leurs collègues plus novices et comment cela contribue à la construction de leur agir professoral. Le projet AFLEX vise enfin à montrer que cette innovation stimule la créativité pédagogique des enseignants et des élèves (qui s'approprient le dispositif et parfois le détournent) et interroge sur l'aménagement des lieux d'apprentissage.

 

Crédits d'image : Marion Tellier

« Les systèmes sonores des langues de la vallée du Rift » : Financement de projet obtenu !

Alain Ghio (LPL), Didier Demolin (LPP) et Michael Karani (Université de Dar-es-Salaam) viennent d’obtenir le financement du projet « Les systèmes sonores des langues de la vallée du Rift » soumis dans le cadre de l’appel à projet « Dispositif de Soutien aux Collaborations avec l’Afrique subsaharienne » 2021 du CNRS.

Résumé du projet : Ce projet étudiera les systèmes sonores (phonétiques/phonologiques) de langues Nilo-sahariennes (Maasai et Okiek (Akiek), Afro-asiatiques (Alagwa), Niger-Kongo, mixtes (Mbugu) et Khoesan (Sandawe). Les objectifs sont d’étudier et de décrire la production des sons spécifiques à ces langues, éjectives, implosives, clicks, systèmes vocaliques particuliers et tons avec des moyens instrumentaux modernes (mesures aérodynamiques, acoustiques, articulatoires, ultrasons). Ceci permettra d’objectiver et de quantifier de manière significative la production de ces sons, mais aussi d’avoir une meilleure compréhension des aspects historiques, à court et à long terme, de l’évolution des systèmes sonores de ces langues. La coopération de nos collègues tanzaniens est indispensable pour mener à bien les missions de terrain. Outre des publications communes qui résulteront de ces recherches, nous contribuerons à donner des formations, aux étudiants de l’université de Dar-es[1]Salaam, aux techniques que nous emploierons.

Il fait suite entre autres à la mission de terrain réalisée en Tanzanie en février 2020 qui avait pour but d’enregistrer et d’étudier deux langues de la région nord-est du pays (Iraqw et Hadzabe).

*****************

Par ailleurs, Alain Ghio et Didier Demolin seront présents la semaine prochaine au 10th World Congress of African Linguistics avec trois présentations orales :

A phonetic study of Iraqw ejectives consonants
Didier Demolin, Alain Ghio, Maarten Mous
10th World Congress of African Linguistics (WOCAL), 2021, Leiden, Netherlands

Labialized consonants in Iraqw
Alain Ghio, Maarten Mous, Didier Demolin
10th World Congress of African Linguistics, Leiden University, 2021, Leiden, Netherlands

Distinctive features and articulatory gestures in Hadza
Richard Griscom, Andrew Harvey, Alain Ghio, Didier Demolin
10th World Congress of African Linguistics, Leiden University, 2021, Leiden, Netherlands

Le rôle des émotions dans l’apprentissage des mots abstraits

Dans le cadre de l’appel 80|Prime du CNRS, le financement du projet de thèse porté par Johannes Ziegler (LPC) et Núria Gala (LPL) a été retenu parmi les lauréats 2021 !

Titre : The role of semantic neighborhoods and emotion in the learning of abstract words: from embodied linguistic theory to classroom interventions (LAW)

Résumé : Acquérir des mots nouveaux est crucial dans les apprentissages, or il s’agit d’une tâche difficile, surtout en ce qui concerne l’acquisition de mots abstraits. En partant de l’hypothèse que les émotions ont un impact plus important dans les représentations et les traitements des mots abstraits, le rôle des émotions associées aux mots abstraits sera étudié et testé auprès d’enfants scolarisés. Le but de cette thèse sera donc d’étudier et tester les propriétés psycholinguistiques, sémantiques et émotionnelles des mots abstraits et concrets, et in fine proposer une application d’aide à la lecture qui fournira des aides contextuelles pour les mots abstraits (notamment, des associations d’informations émotionnelles).

Direction de la thèse : Johannes Ziegler & Núria Gala

 

Image par Sofía López Olalde de Pixabay