Categorical representations of phonemic vowels investigated with fMRI

Abstract

The present thesis investigates the sensitivity of the human auditory cortex (AC) to the contrast between prototype and nonprototype vowels as well as between phonemic and nonphonemic vowels. Activations to vowels were measured with functional magnetic resonance imaging (fMRI), which was also used to analyze the effect of categorical processing on modulations in AC and adjacent inferior parietal lobule (IPL) observed during active listening tasks. A prominent theoretical view suggests that native phonemic vowels (i.e., phonemes) are represented in the human brain as categories organized around a best representative of the category (i.e., phoneme prototype). This view predicts systematic differences in the neural representations and processing of phoneme prototypes, nonprototypes and nonphonemic vowels.

In three separate studies, subjects were presented with vowel pairs and visual stimuli during demanding auditory and visual tasks. Study I compared activations to prototypical and nonprototypical vowels, whereas Study II focused on the contrast between phonemic and nonphonemic vowels. Study II also tested whether activations in IPL during a categorical vowel memory task depend on whether the task is performed on phonemic (easy to categorize) or nonphonemic (harder to categorize) vowels. Study III was designed to replicate the key findings of Studies I and II. Further, Study III compared activations to identical vowels presented during a number of different task conditions requiring analysis of the acoustical or categorical differences between the vowels.

The results of this thesis are in line with the general theoretical view that phonemic vowels are represented in a categorical manner in the human brain. Studies I–III showed that information about categorical vowel representations is present in human AC during active listening tasks. Areas of IPL, in turn, were implicated in general operations on categorical representations rather than in categorization of speech sounds as such. Further, the present results demonstrate that task-dependent activations in AC and adjacent IPL strongly depend on whether the task requires analysis of the acoustical or categorical features of the vowels. It is important to note that, in the present studies, surprisingly small differences in the characteristics of the vowel stimuli or the tasks performed on these vowels resulted in significant and widespread activation differences in AC and adjacent regions. As the key findings of Studies I and II were also quite successfully replicated in Study III, these results highlight the importance of carefully controlled experiments and replications in fMRI research.

Vallitsevan teorian mukaan äidinkielen foneemisten vokaalien (eli foneemien) representaatiot ovat luonteeltaan kategorisia eli äänteet ovat järjestyneet kategorian parhaan esiintymän (eli foneemin prototyypin) ympärille. Teoria ennustaa, että foneemiprototyyppien, nonprototyyppien ja nonfoneemisten vokaalien representaatiot ja niiden käsittely aivoissa eroavat toisistaan. Tässä väitöskirjassa selvitetään toiminnallisen magneettikuvauksen (fMRI) avulla, eroaako ihmisen kuuloaivokuoren ja sen lähialueiden aktivaatio prototyyppisten ja nonprototyyppisten sekä foneemisten ja nonfoneemisten vokaalien käsittelyn aikana ja miten aktiiviset kuuntelutehtävät vaikuttavat näihin eroihin.

Väitöskirjan kolmessa osatutkimuksessa koehenkilöille esitettiin vokaalipareja ja visuaalisia ärsykkeitä kuuntelu- ja katselutehtävien aikana. Tutkimuksessa I vokaaliparit koostuivat prototyyppisistä ja nonprototyyppisistä foneemisista vokaaleista. Tutkimuksessa II puolestaan tarkasteltiin foneemisten ja nonfoneemisten vokaalien käsittelyn eroa. Lisäksi tutkimuksessa II selvitettiin, riippuuko kuuloaivokuoren ja sen lähialueiden tehtäväsidonnainen aktivaatio siitä, suoritetaanko kuuntelutehtävää helposti (foneemiset vokaalit) vai vaikeasti (nonfoneemiset vokaalit) kategorisoitavilla vokaaleilla. Viimeisessä tutkimuksessa (III) toistettiin tutkimusten I ja II päätulokset. Tutkimuksessa III selvitettiin myös sitä, miten aktivaatio äänten erottelutehtävän aikana eroaa silloin, kun vokaaleja erotellaan niiden fysikaalisten tai kategoristen ominaisuuksien perusteella.

Väitöskirjan tutkimuksissa saadut tulokset tukevat oletetusta siitä, että foneemisten vokaalien representaatiot ovat luonteeltaan kategorisia. Tulokset osoittavat, että tieto vokaalikategorioiden representaatioista on käytettävissä kuuloaivokuorella aktiivisten kuuntelutehtävien aikana. Lisäksi tutkimuksissa havaittiin, että päälakilohkon alaosien aktivaatio voimistui niiden tehtävien aikana, jotka vaativat kategorisen tiedon käsittelyä. Näiden aivoalueiden aktivaatio ei kuitenkaan näytä liittyvän kategorioiden muodostamiseen (puheäänten kategorisointiin) sinänsä. On merkillepantavaa, että tutkimuksissa I–III näennäisen pienet erot vokaaliärsykkeissä ja kuuntelutehtävissä johtivat huomattaviin aktivaatioeroihin kuuloaivokuorella ja sen läheisillä aivoalueilla. Tämä korostaa huolellisesti kontrolloitujen koeasetelmien ja etenkin replikaatiotutkimusten tärkeyttä fMRI -tutkimuksissa.