Task-dependent effects in naturalistic audiovisual speech processing : An fMRI study

Abstract

Tämän tutkielman tarkoitus on funktionaalista magneettiresonanssikuvannusta (fMRI) käyttäen tutkia naturalistisen audiovisuaalisen puheen prosessoinnin aivoperustaa. Tutkimuksen painopiste on siinä, miten erilaisten puheeseen liittyvien tehtävien suorittaminen vaikuttaa aivoissa havaittaviin aktivaatiokuvioihin. Puheen prosessoinnin aivoperustaa on tutkittu paljon, mutta aikaisemmissa tutkimuksissa koeasetelmat ovat useimmiten koostuneet erittäin yksinkertaisista ärsykkeistä, kuten yksittäisistä äänteistä, tavuista, tai sanoista, joihin liittyen koehenkilöt ovat suorittaneet epäluonnollisia tehtäviä, kuten tavudiskriminaatiota tai erilaisia muistitehtäviä. Lisäksi nykyiset puheen prosessoinnin mallit perustuvat pääasiassa tutkimuksiin, joissa on käytetty ainoastaan auditorisia ärsykkeitä. Kuitenkin luonnollisissa tilanteissa puheen prosessoinnin tarkoitus on ymmärtää sen merkitys, sitä prosessoidaan useimmiten audiovisuaalisesti, sitä tarkkaillaan usein valikoivasti, minkä lisäksi puheen signaali-kohina –suhde vaihtelee (johtuen esimerkiksi taustametelistä). Tämä tutkimus tarkasteleekin puheen prosessointia luonnollisemmalla asetelmalla, jossa edellä mainitut tekijät pyritään ottamaan huomioon. Lisäksi vertaillaan tilannetta, jossa keskitytään puheen merkitykseen, kuten luonnollisisissa tilanteissa, tilanteeseen, jossa keskitytään puheen äännerakenteeseen, kuten useissa aiemmissa puheen prosessoinnin aivoperustaa tutkivissa tutkimuksissa.

Tutkimukseen osallistui 19 aikuista koehenkilöä. Heille esitettiin videolla audiovisuaalisia keskusteluita, joissa kaksi henkilöä keskustelevat jokapäiväisistä asioista. Videoiden taustalla puhui myös kolmas henkilö, joten koehenkilöt joutuivat tarkkailemaan keskustelua valikoivasti. Lisäksi videoiden auditorista ja visuaalista laatua muokattiin kahdella eri tasolla. Koehenkilöt suorittivat kolmea eri tehtävää: 1) Semanttinen tehtävä, jonka aikana keskityttiin keskustelujen sisältöön. 2) Fonologinen tehtävä, jonka aikana keskityttiin keskustelujen äännerakenteeseen. 3) Visuaalinen tehtävä, jonka aikana keskusteluja ei kuunneltu, vaan tarkkailtiin ruudulla olleita fiksaatioristejä.

Tehtävään liittyviä eroja aivoaktivaatiossa löydettiin useilta aivoalueilta. Valikoiva tarkkaavaisuus puheeseen aktivoi edellisten tutkimusten tapaan alueita ohimolohkoissa sekä vasemmassa alemmassa otsalohkopoimussa. Semanttinen tehtävä aktivoi molempiin muihin tehtäviin verrattuna etenkin semanttiseen ja sosiaaliseen prosessointiin liitettyjä alueita, kun taas fonologinen tehtävä aktivoi kaikista tehtävistä voimakkaimmin vasemmanpuoleisen alimman otsalohkopoimun posteriorista osaa sekä ventraalista premotorista aivokuorta. Tehtävätyypin ja audiovisuaalisen laadun yhdysvaikutuksia löytyi myös useilta aivoalueilta. Tulokset osoittavat, että puheeseen liittyvien erilaisten tehtävien vaikutukset näkyvät aivoissa laajalti, minkä lisäksi audiovisuaalisen laadun muutokset voivat vaikuttaa eri tavoin eri tehtävien aikana. Tämä korostaa mahdollisimman luonnollisten asetelmien ja tehtävien käyttämisen tärkeyttä puheen prosessoinnin aivoperustaa tarkastelevissa tutkimuksissa.

The present study uses functional magnetic resonance imaging (fMRI) to study the neural basis of naturalistic audiovisual speech processing. The study focuses on how performing different speech-related tasks affects the neural activation observed in the brain. The neural basis of speech processing has been studied for long, but previous experiments have mainly employed paradigms with simple stimuli, such as single phonemes, syllables, and words, and unnatural tasks, such as discrimination and memory tasks. Moreover, current models of speech processing are mainly based on studies using auditory-only stimuli. In natural situations, however, the aim of speech processing is to understand the meaning of what is being said, speech is most often audiovisual, it is often selectively attended to, and the signal-to-noise ratio of the speech signal varies (due to, for example, background noise). The present study aims to study speech processing in a more naturalistic setting that takes into account the above-mentioned factors. Moreover, it compares a situation where speech is processed naturalistically to a situation where speech is processed sub-lexically, as is often done in studies of speech processing.

The participants of the present study were 19 healthy adults. They were presented with audiovisual dialogues where two people discuss everyday matters. In the background of the videos, the voice of a third speaker was always present so that the participants had to selectively attend to the dialogues. The auditory and visual qualities of the dialogues were modulated on two different levels. The participants performed three different tasks: 1) A semantic task, during which the participants focused on the semantic content of the dialogues. 2) A phonological task, during which the participants focused on the phonological structure of the speech. 3) A visual task, during which the participants ignored the dialogues and focused on a fixation cross.

Task-dependent effects in the neural activation were found in multiple regions of the brain. Selective attention to speech was found to activate regions in the temporal lobes and the left inferior frontal gyrus (LIFG), a result consistent with earlier research. The semantic task was found to activate areas associated with semantic and socio-cognitive processing more than either of the other tasks, while the phonological task activated the posterior portion of the LIFG as well as the ventral portion of the left premotor cortex. Interactions between the effects of task and audiovisual quality were also found in many brain areas. These results show that task-dependent effects in speech processing can be seen in widespread regions of the brain, and that audiovisual quality can modulate activation differentially during different tasks. These findings highlight the importance of using naturalistic stimuli and tasks in studies of speech processing.