The prosody underlying spoken language proficiency : Cross-lingual investigation of non-native fluency and syllable prominence

Show full item record



Permalink

http://urn.fi/URN:ISBN:978-951-51-7845-9
Title: The prosody underlying spoken language proficiency : Cross-lingual investigation of non-native fluency and syllable prominence
Author: Kallio, Heini
Contributor organization: University of Helsinki, Faculty of Arts, digitaalisten ihmistieteiden osasto
Doctoral Programme in Language Studies
Helsingin yliopisto, humanistinen tiedekunta
Kielentutkimuksen tohtoriohjelma
Helsingfors universitet, humanistiska fakulteten
Doktorandprogrammet i språkforskning
Publisher: Helsingin yliopisto
Date: 2022-02-09
Language: eng
URI: http://urn.fi/URN:ISBN:978-951-51-7845-9
http://hdl.handle.net/10138/338367
Thesis level: Doctoral dissertation (article-based)
Abstract: Prosodic structures are one of the most challenging features for second or foreign language (L2) speakers to learn. Since prosody is also crucial for speech intelligibility and fluency, the ability to quantify language learners' proficiency in terms of prosody can be of use not only to language teaching but also to the developers of language testing and assessment methods or tools. This doctoral dissertation explores non-native prosody with new multidisciplinary methods and cross-lingual research data. The focus is on investigating the relations between the assessment of prosodic proficiency and fluency-related temporal features as well as syllable-level prominence realizations. This dissertation presents three original publications (Studies I-III). In these studies, the relations of the selected prosodic features to human assessments are investigated from Finland Swedish as an L2 (produced by Finnish speaking students) and from L2 English produced by Czech, Slovak, Hungarian, and Polish speakers. Objective temporal fluency features are measured based on previous research on L2 speech fluency. In addition, a state-of-the-art method based on continuous wavelet transform (CWT) is used for estimating syllable prominence. All analyzed speech data were assessed using the Common European Framework of Reference (CEFR) scale for prosodic proficiency. The results of Study I and III indicate that articulation rate and certain types of disfluencies in speech can reliably predict the perceived prosodic proficiency level regardless of the language context. However, results from Study I reveal that assessors seem to weigh temporal features differently depending on the speech type (read vs. spontaneous) as well as their individual foci. Study II provides promising results on the use of CWT-based prominence estimation in predicting L2 proficiency. Correlations of prominence estimates for L2 utterances with estimates for native speakers' corresponding productions were used as a predictive measure, and the the level of agreement conceptualized this way correlated significantly with the human assessments of prosodic proficiency. In Study III, manually annotated temporal fluency measures were compared to CWT-based prominence estimates as predictors of prosodic proficiency. Temporal measures served as more reliable predictors of prosodic proficiency, but prominence measures provided a significant improvement to the prediction of prosodic proficiency. The predictive power of the individual measures varied both quantitatively and qualitatively with respect to the speaker's first language (L1). In conclusion, this dissertation supports the earlier observations on the role of temporal fluency measures, especially articulation rate, in estimating L2 speaker's oral proficiency. The CWT method, in turn, revealed differences in the productions of L2 prominence with regard to speaker's L1 and thus provided complementary information for the prediction of prosodic proficiency. The acoustic features underlying L2 stress production should therefore be further studied with respect to speaker's L1. Furthermore, the speech type as well as speaker's L1 should be acknowledged in developing robust and reliable automatic spoken language learning and assessment tools.Tämä väitöskirja koostuu tutkimuksista, joissa selvitetään suullisen kielitaidon arvioinnin taustalla vaikuttavia puheen prosodisia piirteitä. Aiemmissa tutkimuksissa on havaittu, että prosodia – puheen intonaatio, painotus ja rytmi – on kielenoppijoille yksi haastavimmista kielitaidon osa-alueista. Samalla prosodian hallinnan on todettu olevan hyvin olennaista puheen ymmärrettävyydelle ja sujuvuudelle. Prosodisten piirteiden tutkiminen kielenoppijoiden puheesta auttaa kehittämään paitsi suullisen kielitaidon opetusta myös automaattisia arviointimenetelmiä. Väitöskirja tuo uutta tietoa kielenoppijoiden prosodiasta monikielisen aineiston avulla sekä esittelee uuden, aallokemuunnoksiin pohjautuvan puheen analyysimenetelmän, jota ei ole aiemmin käytetty kielenoppijan puheen tutkimisessa. Kolmessa osatutkimuksessa kielenoppijoiden puheesta analysoidaan sujuvuuteen liitettyjä temporaalisia piirteitä, kuten artikulaationopeutta ja tauotusta. Lisäksi analysoidaan sana- ja lausepainojen toteutumista aallokemuunnoksiin pohjautuvalla työkalulla. Akustisten parametrien yhteyksiä ihmisten tekemiin arvioihin tutkitaan logististen regressiomallien avulla kahdesta erikielisestä aineistosta: suomenkielisten puhumasta ruotsista (Tutkimukset I ja II) sekä tsekin-, slovakian-, puolan- ja unkarinkielisten puhumasta englannista (Tutkimus III). Tutkimusten I ja III tulokset vahvistavat temporaalisten sujuvuuspiirteiden kieliriippumatonta merkitystä suullisen kielitaidon objektiivisessa mittaamisessa. Lisäksi Tutkimus I osoittaa, että eri piirteiden merkitys riippuu sekä arvioijien yksilöllisistä mieltymyksistä että siitä, onko arvioitava puhe luettua vai spontaania. Tutkimus II puolestaan osoittaa, että aallokemuunnosten avulla mitattujen sana- ja lausepainojen toteutumilla voidaan ennustaa kielenoppijoiden prosodista taitotasoa. Tutkimuksessa III vertailtiin temporaalisten sujuvuuspiirteiden ja aallokemuunnoksella mitattujen sana- ja lausepainojen voimaa prosodisen taitotason ennustajina erikielisillä englanninoppijoilla. Tulokset osoittavat, että temporaaliset sujuvuuspiirteet ovat mitattuja sana- ja lausepainoja luotettavampia ennustamaan ihmisten antamia arvioita, mutta sana- ja lausepainojen huomioiminen parantaa tilastollisen mallin selitysvoimaa. Lisäksi tulokset osoittavat, että oppijan äidinkieli todennäköisesti vaikuttaa siihen, mitä keinoja kielenoppija käyttää sana- ja lausepainojen tuottamiseen. Tutkimustulosten perusteella artikulaationopeus on tärkein yksittäinen piirre kielenoppijan prosodisen taitotason arvioinnissa, ja tätä piirrettä voidaan käyttää myös suullisen kielitaidon automaattisessa arvioinnissa puhetyypistä ja kielikontekstista riippumatta. Sen sijaan tauotuksessa näyttää olevan erilaiset standardit luetussa ja spontaanissa puheessa. Lisäksi äidinkielen vaikutusta vieraan kielen painotusten tuottamiseen tulee tutkia entistä kattavammin, jotta tätä piirrettä voidaan luotettavasti käyttää kehittämään suullisen kielitaidon automaattista arviointia.
Subject: fonetiikka
Rights: Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.


Files in this item

Total number of downloads: Loading...

Files Size Format View
kallio_heini_dissertation_2022.pdf 4.363Mb PDF View/Open

This item appears in the following Collection(s)

Show full item record