Programme :

10h30 - 11h15 Leonor Becerra (LPL/AMU)

Multimodal learning: bringing together natural language acquisition and machine learning

I will briefly present my main research activities, which are in the intersection of linguistics and computer science. My goal has been to develop computational systems that learn to understand and speak natural languages from multimodal data, inspired in the way children learn their native language. I will also present applications of my work to solve Natural Language Processing tasks and ongoing research projects that involve the integration of a larger set of multimodal cues than the one I used so far in my research.

11h15 - 12h Philippe Blache (LPL/CNRS)

Prédiction, retardement, chunking: les mécanismes permettant d'expliquer la compréhension en conversation

Comment accède-t-on au sens ? La plupart des expériences abordant cette question, que ce soit en linguistique, en neurosciences ou en psycholinguistique, portent sur des mots ou des phrases isolés. Ces études permettent de décrire avec précision les mécanismes à l'œuvre, y compris au niveau du cerveau. Cependant, elles reposent toutes sur une hypothèse forte : celle de la compositionnalité, stipulant que le sens d'une phrase est une fonction du sens de ses constituants et se construit donc progressivement  en partant de mots, agrégés en constituants supérieurs avant de composer la structure d'une phrase. Cette hypothèse se double de plus d'une méthode de construction, reposant sur un mapping direct entre structure syntaxique et structure sémantique (Montague, 1973; Dowty, 2006). Il existe cependant un grand nombre de cas où la compositionnalité ne permet pas d'expliquer l'accès au sens: de nombreuses constructions (ditransitivité, idiomes, etc.) montrent qu'il existe également une possibilité d'accès direct au sens, non pas en partant des mots, mais en reconnaissant globalement un "pattern" (Construction Grammars : Goldberg, 2015). De plus, de nombreuses expériences montrent également que nous sommes capables d'accéder au sens à l'aide d'un traitement  superficiel (Good-enough Theory : Ferreira et Patson., 2007), voire de reconstituer le sens à partir d'une entrée syntaxiquement ou sémantiquement mal construite (Semantic attraction : Kim & Osterhout, 2005). A ce jour, il n'existe pas de modèle neuro-cognitif permettant de décrire la coexistence de ces phénomènes et d'une façon plus générale permettant d'expliquer l'accès au sens au delà de la phrase, dans des situations naturelles (typiquement des conversations).

Je propose de présenter dans cet exposé les bases d'un tel modèle. Il repose sur l'hypothèse que la mémoire déclarative contient non seulement les informations relatives aux mots, mais également à ces "patterns" (ou constructions). La compréhension repose donc principalement non pas sur un mécanisme séquentiel, incrémental et cumulatif (un traitement mot par mot,) mais de façon plus globale grâce à un double mécanisme de retardement et de segmentation en chunks et associés à la prédictibilité du langage. Je présenterai de façon plus précise comment ces hypothèses permettent de généraliser le modèle "Memory, Unification and Control" (Hagoort, 2013), rendant compte des aspects linguistiques, cognitifs et cérébraux de l'accès au sens en situation naturelle.

Dowty, D. (2006) "Compositionality as an Empirical Problem", in Direct Compositionality, Barker C. & Jacobson P. (eds), Oxford University Press
Ferreira, F. & Patson N. (2007) "The ‘Good Enough’ Approach to Language Comprehension", Language and Linguistics Compass 1, 1‑2
Goldberg, A. (2015) "Compositionality". In The Routledge Handbook of Semantics, Taylor and Francis Inc..
Hagoort, P. (2013) "MUC (Memory, Unification, Control) and beyond", Frontiers in Psychology, 4
Kim, A. & Osterhout, L. (2005) "The independence of combinatory semantic processing: Evidence from event-related potentials", Journal of Memory and Language, 52(2)