La réalité augmentée au service des personnes sourdes

10 January 2023 par Claudia Pichon-Starke
Financement du projet d’automatisation de la Langue française Parlée Complétée porté par Brigitte Bigi, chercheuse CNRS au LPL..

Nous avons le plaisir de vous annoncer que Brigitte Bigi, chargée de recherche CNRS au LPL, a obtenu une réponse favorable pour le financement du projet « Voir les sons avec du ‘Cued Speech’ automatisé : la réalité augmentée au service des personnes sourdes » dont elle est porteuse principale. Financé par la Fondation Internationale de la Recherche Appliquée sur le Handicap (FIRAH) à hauteur de 50.000€, il a été élaboré en partenariat avec l’Association Datha (Parents d’enfants sourds et d’amis de personnes sourdes) et l’Académie Internationale Soutenant les Adaptations du « Cued » (AISAC).

L’équipe LPL du projet est composée des membres suivants : Brigitte Bigi, Núria Gala, Michel Pitermann et Carine André.

Résumé :
En 1966, R. Orin Cornett a inventé le « Cued Speech », un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres. Le « Cued Speech », ou Langue française Parlée Complétée (LfPC), représente chaque son avec une forme de main pour une consonne et une position autour du visage pour une voyelle, appelé clé LfPC. Malgré les nombreux travaux démontrant ses avantages, et l’intérêt grandissant qu’il suscite, il n’existe actuellement aucun système de génération automatique des clés. Ce projet consiste à développer un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur une vidéo d’un locuteur pré-enregistré. Afin de décrire l’organisation temporelle et spatiale du code dans sa co-production avec la parole, des enregistrements audio-vidéo de codeurs – en français et en anglais, seront collectés, enrichis d’annotations et diffusés. Leur analyse par des méthodes d’apprentissage automatique, associée aux connaissances des experts du projet, permettront la modélisation du système prédictif. Le codeur automatique sera utilisé pour créer des vidéos intégrées dans différents types de supports à but éducatif. L’ensemble (logiciel et supports) sera partagé sous licence libre.

Voir aussi :
Création du corpus Langue française Parlée Complétée (CLeLfPC, 2021) : https://www.lpl-aix.fr/actualite/la-langue-francaise-parlee-completee-quesaco/
Lien vers le corpus CLeLfPC : https://www.ortolang.fr/market/corpora/clelfpc

Crédits : 2021 B. Bigi et M. Zimmermann

A lire aussi