Met behulp van een kunstmatig taalnetwerk hebben MIT-neurowetenschappers ontdekt welk soort zinnen de belangrijkste taalverwerkingscentra van de hersenen het meest waarschijnlijk zullen activeren.
Uit het nieuwe onderzoek blijkt dat zinnen die complexer zijn, vanwege ongebruikelijke grammatica of onverwachte betekenis, sterkere reacties genereren in deze taalverwerkingscentra. Zeer eenvoudige zinnen raken deze gebieden nauwelijks, en onzinnige woordreeksen doen hen ook niet veel.
De onderzoekers ontdekten bijvoorbeeld dat dit hersennetwerk het meest actief was bij het lezen van ongebruikelijke zinnen zoals ‘Koop-verkoopsignalen blijven een bijzonder’, afkomstig uit een openbaar beschikbare taaldataset genaamd C4. Het werd echter stil bij het lezen van iets heel eenvoudigs, zoals ‘We zaten op de bank’.
“De input moet taalachtig genoeg zijn om het systeem te betrekken”, zegt Evelina Fedorenko, universitair hoofddocent neurowetenschappen aan het MIT en lid van het McGovern Institute for Brain Research van MIT. “En binnen die ruimte, als de dingen heel gemakkelijk te verwerken zijn, heb je niet echt een reactie. Maar als het moeilijk of verrassend wordt, als er een ongebruikelijke constructie of een ongebruikelijke reeks woorden is waar je misschien niet zo bekend mee bent, dan moet het netwerk harder werken.”
Fedorenko is de hoofdauteur van de studie verschijnt vandaag in Natuur Menselijk gedrag. MIT-afgestudeerde Greta Tuckute is de hoofdauteur van het artikel.
Verwerkingstaal
In deze studie concentreerden de onderzoekers zich op taalverwerkingsgebieden in de linkerhersenhelft, waaronder het gebied van Broca en andere delen van de linker frontale en temporale hersenkwabben.
“Dit taalnetwerk is zeer taalselectief, maar het is lastiger om erachter te komen wat er in deze taalgebieden gebeurt”, zegt Tuckute. “We wilden ontdekken welke soorten zinnen en welke soorten taalkundige input het taalnetwerk in de linkerhersenhelft aansturen.”
De onderzoekers begonnen met het samenstellen van een reeks van 1.000 zinnen uit een grote verscheidenheid aan bronnen: onder meer fictie, transcripties van gesproken woorden, webteksten en wetenschappelijke artikelen.
Vijf menselijke deelnemers lazen elk van de zinnen terwijl de onderzoekers hun taalnetwerkactiviteit maten met behulp van functionele magnetische resonantiebeeldvorming (fMRI). De onderzoekers voerden diezelfde 1.000 zinnen vervolgens in een groot taalmodel in – een model vergelijkbaar met ChatGPT, dat taal leert genereren en begrijpen door het volgende woord in grote hoeveelheden tekst te voorspellen – en maten de activeringspatronen van het model als reactie op elk woord. zin.
Toen ze al deze gegevens eenmaal hadden, trainden de onderzoekers een mappingmodel, bekend als een ‘coderingsmodel’, dat de activeringspatronen in het menselijk brein relateert aan die waargenomen in het kunstmatige taalmodel. Eenmaal getraind kon het model voorspellen hoe het menselijke taalnetwerk zou reageren op elke nieuwe zin, op basis van hoe het kunstmatige taalnetwerk op deze 1.000 zinnen reageerde.
De onderzoekers gebruikten vervolgens het coderingsmodel om 500 nieuwe zinnen te identificeren die maximale activiteit in het menselijk brein zouden genereren (de ‘aandrijvende’ zinnen), evenals zinnen die minimale activiteit in het taalnetwerk van de hersenen zouden uitlokken (de ‘onderdrukkende’ zinnen). .
In een groep van drie nieuwe menselijke deelnemers ontdekten de onderzoekers dat deze nieuwe zinnen inderdaad de hersenactiviteit aandreven en onderdrukten, zoals voorspeld.
“Deze ‘closed-loop’-modulatie van hersenactiviteit tijdens taalverwerking is nieuw”, zegt Tuckute. “Ons onderzoek laat zien dat het model dat we gebruiken (dat de activeringen van taalmodellen en hersenreacties in kaart brengt) nauwkeurig genoeg is om dit te doen. Dit is de eerste demonstratie van deze aanpak in hersengebieden die betrokken zijn bij cognitie op een hoger niveau, zoals het taalnetwerk.”
Taalkundige complexiteit
Om erachter te komen wat ervoor zorgde dat bepaalde zinnen meer activiteit aandreven dan andere, analyseerden de onderzoekers de zinnen op basis van elf verschillende taalkundige eigenschappen, waaronder grammaticaliteit, plausibiliteit, emotionele valentie (positief of negatief) en hoe gemakkelijk het is om de zinsinhoud te visualiseren.
Voor elk van deze eigenschappen vroegen de onderzoekers deelnemers van crowdsourcingplatforms om de zinnen te beoordelen. Ze gebruikten ook een computertechniek om de ‘verrassing’ van elke zin te kwantificeren, of hoe ongewoon deze is vergeleken met andere zinnen.
Uit deze analyse bleek dat zinnen met een hogere verrassing hogere reacties in de hersenen genereren. Dit komt overeen met eerdere onderzoeken waaruit blijkt dat mensen meer moeite hebben met het verwerken van zinnen met meer verrassingen, zeggen de onderzoekers.
Een andere taalkundige eigenschap die correleerde met de reacties van het taalnetwerk was de taalkundige complexiteit, die wordt gemeten aan de hand van de mate waarin een zin voldoet aan de regels van de Engelse grammatica en hoe plausibel deze is, dat wil zeggen hoeveel betekenis de inhoud heeft, afgezien van de grammatica.
Zinnen aan beide uiteinden van het spectrum – extreem eenvoudig of zo complex dat ze helemaal geen betekenis hebben – veroorzaakten heel weinig activatie in het taalnetwerk. De grootste reacties kwamen uit zinnen die enigszins logisch zijn, maar die werk vergen om ze te achterhalen, zoals ‘Jiffy Lube of – of therapies, yes’, afkomstig uit de dataset Corpus of Contemporary American English.
“We ontdekten dat de zinnen die de hoogste hersenreactie uitlokken een vreemd grammaticaal iets en/of een vreemde betekenis hebben”, zegt Fedorenko. “Er is iets ongewoons aan deze zinnen.”
De onderzoekers zijn nu van plan om te kijken of ze deze bevindingen kunnen uitbreiden naar sprekers van andere talen dan het Engels. Ze hopen ook te onderzoeken welk soort stimuli taalverwerkingsgebieden in de rechterhersenhelft kunnen activeren.
Het onderzoek werd gefinancierd door een Amazon Fellowship van de Science Hub, een International Doctoral Fellowship van de American Association of University Women, het MIT-IBM Watson AI Lab, de National Institutes of Health, het McGovern Institute, het Simons Center for the Social Brain , en de afdeling Hersen- en Cognitieve Wetenschappen van MIT.