Séminaire présenté par

Étienne Thoret

(PRISM, LIS, ILCB)

The different facets of timbre: toward a data-driven modelling of sounds

Dans le cadre de la réunion de l'équipe Physiologie et Organisation de la Parole (POP)

Abstract (EN):

Although extensively studied for years, defining the timbre of sounds remain unclear and controversial. Unraveling what makes musical and speech sounds timbre so special and expressive remains unclear. I hereby address these questions by using representations of sounds inspired by hearing processes - so-called spectro-temporal modulation representations - as front-end representations to machine learning techniques - interpretable - used to model specific auditory tasks or acoustic classifications. In this presentation, I will present two specific studies: (1) a meta-analysis of 17 former experiments on the auditory perception of musical instruments timbre showing that humans use both generic and context-driven acoustical cues when hearing musical sounds (2) a study on the impact of sleep deprivation on speech acoustic properties stressing the crucial interest to interpret machine learning classifiers. The results of these two studies support that modelling sounds needs the development of adequate - data-driven - representations.

Titre et résumé en FR :

Les différentes facettes du timbre : vers une modélisation des sons basée sur les données

Bien que largement étudiée pendant des années, la définition du timbre des sons reste peu claire et controversée. Il est difficile de comprendre ce qui rend le timbre des sons musicaux et vocaux si spécial et expressif. J'aborde par la présente ces questions en utilisant des représentations de sons inspirées des processus auditifs - des représentations dites de modulation spectro-temporelle - comme paramétrisation de techniques d'apprentissage automatique - interprétables - utilisées pour modéliser des tâches auditives spécifiques ou des classifications acoustiques. Dans cette présentation, je présenterai deux études spécifiques: (1) une méta-analyse de 17 expériences antérieures sur la perception auditive du timbre d'instruments de musique montrant que les humains utilisent à la fois des signaux acoustiques génériques et contextuels lorsqu'ils entendent des sons musicaux (2) une étude sur l'impact de la privation de sommeil sur les propriétés acoustiques de la parole soulignant l'intérêt crucial d'interpréter les classificateurs d'apprentissage automatique. Les résultats de ces deux études soutiennent que la modélisation des sons nécessite le développement de représentations adéquates et basées sur les données.