La réalité augmentée au service des personnes sourdes

Nous avons le plaisir de vous annoncer que Brigitte Bigi, chargée de recherche CNRS au LPL, a obtenu une réponse favorable pour le financement du projet « Voir les sons avec du ‘Cued Speech’ automatisé : la réalité augmentée au service des personnes sourdes » dont elle est porteuse principale. Financé par la Fondation Internationale de la Recherche Appliquée sur le Handicap (FIRAH) à hauteur de 50.000€, il a été élaboré en partenariat avec l’Association Datha (Parents d’enfants sourds et d’amis de personnes sourdes) et l’Académie Internationale Soutenant les Adaptations du « Cued » (AISAC).

L’équipe LPL du projet est composée des membres suivants : Brigitte Bigi, Núria Gala, Michel Pitermann et Carine André.

Résumé :
En 1966, R. Orin Cornett a inventé le « Cued Speech », un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres. Le « Cued Speech », ou Langue française Parlée Complétée (LfPC), représente chaque son avec une forme de main pour une consonne et une position autour du visage pour une voyelle, appelé clé LfPC. Malgré les nombreux travaux démontrant ses avantages, et l’intérêt grandissant qu’il suscite, il n’existe actuellement aucun système de génération automatique des clés. Ce projet consiste à développer un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur une vidéo d’un locuteur pré-enregistré. Afin de décrire l’organisation temporelle et spatiale du code dans sa co-production avec la parole, des enregistrements audio-vidéo de codeurs – en français et en anglais, seront collectés, enrichis d’annotations et diffusés. Leur analyse par des méthodes d’apprentissage automatique, associée aux connaissances des experts du projet, permettront la modélisation du système prédictif. Le codeur automatique sera utilisé pour créer des vidéos intégrées dans différents types de supports à but éducatif. L’ensemble (logiciel et supports) sera partagé sous licence libre.

Voir aussi :
Création du corpus Langue française Parlée Complétée (CLeLfPC, 2021) : https://www.lpl-aix.fr/actualite/la-langue-francaise-parlee-completee-quesaco/
Lien vers le corpus CLeLfPC : https://www.ortolang.fr/market/corpora/clelfpc

Crédits : 2021 B. Bigi et M. Zimmermann

La Langue française Parlée Complétée (LfPC), quésaco ?

Brigitte Bigi – chargée de recherche CNRS au LPL – vient de déposer un corpus enregistré en août 2021 à l'occasion du stage organisé par l'Association nationale pour la Langue française Parlée Complétée (ALPC, https://alpc.asso.fr) :

Brigitte Bigi, Maryvonne Zimmermann (2021). CLeLfPC [Corpus]. ORTOLANG (Open Resources and TOols for LANGuage) - www.ortolang.fr, v1, https://hdl.handle.net/11403/clelfpc/v1

Réalisé en collaboration avec Maryvonne Zimmermann (ALPC-Datha) et Carine André (LPL-CNRS), ce corpus contient des enregistrements audio/vidéo et annotations de lecture à voix haute codés simultanément en Langue française Parlée Complétée (LfPC). Le codage LfPC se traduit par des mouvements de la main qui accompagnent la parole. Il a pour but de faciliter la lecture labiale pour les personnes sourdes et malentendantes – à l’aide d’une compréhension plus fine au niveau des phonèmes – et de leur permettre ainsi l’accès à la langue française orale.

Le premier travail sur le corpus enregistré sera la modélisation du codage LfPC et consiste en plusieurs étapes différentes :

  • Transcription orthographique
  • Transcription phonétique automatisée (découpage en phonèmes) grâce à l’outil SPPAS développé par Brigitte Bigi
  • Identification des clés LfPC pour associer les phonèmes aux gestes selon des paramètres précis (vitesse, durée, transition)

Ce travail est le point de départ d’une collaboration avec l’association Développement d'aides techniques pour personnes handicapées (Datha, http://datha.io/) qui a pour objectif de

  • Créer un modèle générique et précis de la LfPC (coordination geste & mouvement labiaux) afin de générer automatiquement par la suite les clés LfPC d'une vidéo, avec l'audio et la transcription orthographique
  • Elaborer une « tête codeuse » maitrisant parole et gestes et pouvant servir dans des contextes d’apprentissage de la LfPC (enfants, adultes)

 

Lien vers le corpus CLeLfPC : https://www.ortolang.fr/market/corpora/clelfpc

Crédits : 2021 B. Bigi et M. Zimmermann