Variation in the Use and Norms of English Verb Forms: A Study of Finnish University Students and Teachers

Show full item record

Permalink

http://urn.fi/URN:ISBN:978-951-51-5224-4
Title: Variation in the Use and Norms of English Verb Forms: A Study of Finnish University Students and Teachers
Author: von Boehm, Satu
Contributor: University of Helsinki, Faculty of Arts, Department of Languages
Doctoral Programme in Language Studies
Language Centre, University of Helsinki
Thesis level: Doctoral dissertation (monograph)
Belongs to series: Helsingin yliopiston kielikeskuksen julkaisusarja - URN:ISSN:1797-9269
Abstract: This study focuses on variation in Finnish university students’ use of English verb forms and teachers’ assessment of such use. The goal of the study was to identify the nature and extent of variation in both students’ responses and teachers’ assessment of these responses. The study demonstrates that there is extensive variation in both students’ use of English verb forms and in teachers’ assessment of the forms. The data consist of students’ responses to a fill-in-the-gap test. The study comprised 319 students attending English courses at three Finnish universities in 2003-2004. In addition, 13 English language teachers at the University of Helsinki evaluated the level of acceptability of the students’ responses. The study was conducted by drafting a list of all the suggested answers and asking teachers of English to rate the answers with a four-point scale. After this, the responses were analysed with different levels of strictness. The criteria for this depended on how many teachers were required to judge an answer successful. The results indicate that the level of expected teacher consensus radically affected the results. The criteria applied in assessment have a critical impact on the impression created of the students’ proficiency. The range of variation among teachers mainly resulted from their different interpretations of event time and their reactions to spelling errors and to providing unconventional tense or aspect. Finnish, American and British teachers of English had negligible differences at the group level: the differences were caused by the individual norms the teachers followed. Reliance on only one teacher’s assessment of a student’s performance may create arbitrary results, and more teachers are needed for reliable evaluation, at least for high-stakes purposes. The results also indicate that although some students are skilful at providing the expected verb forms, many students struggle with the provision of any forms beyond the simple past. It seems that investment in communicative teaching practices, although beneficial for promoting students’ fluency in English, does not assist them in their attempts at greater accuracy. Some further attention to grammar would provide students with more options to express their message accurately, proficiently, meaningfully and intelligibly. Of the background factors, increased exposure to and use of English or additional study did not influence students’ skills in the use of English verb forms. Regardingschool and matriculation examination marks, only high marks predicted good performance in the test, while marks in the middle and low end of the spectrum were not reliable indicators of students’ ability to provide verb forms accurately. The findings imply that researchers, raters and teachers need to become more aware of the limitations of reliance on intuition alone in evaluating students’ language skills. Some parts of language use do not readily bend to existing norms. The degree to which teachers are likely to accept unexpected forms significantly contributes to how learners are treated in testing situations. While it is useful to attempt to harmonise testing practices, it is also important to acknowledge the fact that there is variation both in learners’ use of English and in teachers’ assessment of such use.Tämä tutkimus käsittelee suomalaisten opiskelijoiden englannin kielen verbimuotojen käytössä esiintyvää variaatiota sekä variaatiota siinä, miten opettajat arvioivat näiden opiskelijoiden englannin kielen käyttöä. Tavoitteena on tarkastella, millaista variaatiota esiintyy ja kuinka laajamuotoista se on. Tutkimus osoittaa, että sekä opiskelijoiden tarjoamissa verbimuodoissa että opettajien arvioinnissa on merkittävää vaihtelua. Tutkimusaineisto koostuu 319 opiskelijan vastauksista aukkotehtäviin. Opiskelijat kävivät englannin kurssia kolmessa suomalaisessa korkeakoulussa vuonna 2003-2004. Sen lisäksi kolmetoista Helsingin yliopiston englanninopettajaa arvioi opiskelijoiden vastausten hyväksyttävyyttä. Kaikki opiskelijoiden tarjoamat vastaukset kerättiin, ja osallistuvat opettajat arvoivat kunkin vastauksen neliportaisella asteikolla. Nämä vastaukset analysoitiin neljällä eri tasolla sen mukaan, kuinka monen opettajan oli oltava samaa mieltä opiskelijan vastauksen oikeellisuudesta. Tulokset osoittavat, että opiskelijoiden suoritustason arviointi riippuu siitä, millä kriteereillä tuotosta arvoidaan ja kuinka monta opettajaa tarvitaan määrittelemään vastausten oikeellisuus. Erot opettajien arvioinnissa selittyvät pitkälti sillä, miten he suhtautuivat esimerkiksi oikeinkirjoitusvirheisiin, epätavanomaiseen aikamuotoon tai oletetusta poikkeavaan tulkintaan tapahtuma-ajasta. Tutkimukseen osallistui suomalaisia, amerikkalaisia ja brittiläisiä opettajia, ja ryhmätasolla heidän välisensä erot olivat minimaalisia; sen sijaan eroja aiheuttivat yksilölliset suhtautumistavat oletettujen normien rikkomiseen sekä tietoisuus vaihtoehtoisista muodoista. Tästä syystä onkin huomattava, että vain yhden opettajan tekemä arviointi voi johtaa sattumanvaraisiin tuloksiin ja että luotettavampiin tuloksiin arvioinnissa päästään käyttämällä useampia opettajia arvioijina. Tämä on erityisen tärkeää silloin, kun arvioinnilla on testattavalle laajakantoisia seurauksia. Tulokset osoittavat myös, että vaikka osa opiskelijoita osaa käyttää englannin verbimuotoja taitavasti, jotkut osaavat käyttää pelkkää yleisimperfektimuotoa oikein. Näyttääkin siltä, että viimeaikainen kommunikatiivisen kielenopetuksen lisääntyminen on vaikuttanut suotuisasti suomalaisopiskelijoiden englannin kielen käytön sujuvuuteen mutta sillä ei ole ollut vaikutusta oikeakielisyyteen. Huomion kohdentaminen tiettyihin kieliopin kohtiin tarjoaisi opiskelijoille nykyistä paremmat mahdollisuudet viestiä tarkasti, sujuvasti, tarkoituksenmukaisesti ja ymmärrettävästi. Opiskelijoiden taustatiedoista kävi ilmi, että lisääntynyt altistuminen englannin kielelle tai ylimääräiset kielikurssit eivät vaikuttaneet opiskelijoiden osaamistasoon. Koulun ja ylioppilastodistuksen arvosanoista pelkästään korkeimmat arvosanat ennustivat hyvää osaamistasoa, kun taas keskitason ja huonommat arvosanat eivät olleet luotettavia osoittamaan opiskelijoiden kykyä käyttää englannin verbejä tarkoituksenmukaisesti. Tulosten perusteella tutkijoiden, opettajien ja kielitaidon arvioijien on hyvä tiedostaa, että pelkkä intuitio ei riitä arvioimaan opiskelijoiden taitotasoa. Jotkut kielen alueet ovat vaikeasti määriteltävissä, ja sillä, missä määrin opettaja suvaitsee epätavallisia muotoja, on suuri merkitys siihen, miten opiskelijan tuotos arvioidaan. Vaikka on hyödyllistä pyrkiä yhdenmukaistamaan testauskäytäntöjä, on myös huomioitava se, että sekä opiskelijoiden kielenkäyttötaidoissa että opettajien arviointikäytännöissä on vaihtelua.Denna undersökning fokuserar på den variation som finns inom språkbruket i engelska bland finländska studerande och på deras kunskaper i att använda engelska verb. Studien fokuserar också på universitetslärares åsikt om hur korrekt studerandenas verbanvändning på engelska är. Målet är att undersöka hurdan variation det finns när det gäller verbanvändning och hur utbredd den är. Resultaten visar att variationen är stor både när det gäller studerandenas verbanvändning och när det gäller lärarnas bedömning av denna. Materialet består av 319 studerandenas svar i ett lucktest. Dessa studerande deltog i en kurs i engelska vid tre högskolor i Finland läsåret 2003-2004. Dessutom utvärderade tretton språklärare vid Helsingfors universitet svaren utifrån hur acceptabla dessa var. Alla givna svar skrevs upp på en lista, och engelskalärarna bedömde alla svar på en fyrgradig skala. Efter detta analyserades svaren med olika nivåer av strikthet på basis av hur många lärare som var av samma åsikt om varje svars riktighet. Resultaten pekar på att studerandenas nivå i engelska beror på hur man tolkar lärarnas bedömning. Hur korrekta svaren är beror på hur många lärare med samma åsikt som behövs för att definiera någon verbform som rätt svar. Grunden till den variation som förekommer bland lärarnas bedömning kan anses bero dels på att lärarna tolkade tidsaspektenen inom en viss kontext på olika sätt, på att de bedömt misstag i rättskrivning på olika sätt och dels på lärarnas olika tolkningar av vilken tidsform som ska användas. Undersökningen omfattade finländska, amerikanska och brittiska lärare. På gruppnivå var skillnaderna minimala, eftersom de flesta skillnader berodde på individuella normtolkningar och på lärarnas olika kännedom om alternativa former. Därför är det viktigt att komma ihåg att om man bara litar på en enda lärares bedömning av en studerande kan resultatet vara opålitligt, och om man testar för ändamål som kan ha viktiga konsekvenser, borde man använda flera testpersoner för att nå pålitliga resultat. Resultaten visar också att även om en del studerande kunde använda många olika verbformer i engelskan, fanns det många studerande som bara kunde använda preteritumformen korrekt. Detta indikerar till att betoningen av kommunikativa färdigheter i språkundervisningen är nyttig för att höja studerandenas förmåga att uttrycka sig flytande på engelska, men detta verkar inte förbättra studerandenas kunskaper i grammatiken. Det vore därför bra att fokusera mera på vissa aspekter inom grammatiken för att studerandena ska lära sig att formulera det som de vill uttrycka på ett mer korrekt, mer förståeligt, mer flytande och mer noggrant sätt. Av studerandernas bakgrundsinformation kan vi observera att ökade möjligheter att lyssna och läsa på engelska, att använda engelska och att studera extra kurser inte påverkar studerandenas färdighet i att använda verbformer i engelskan. När det gäller bedömningen i skolan och i studentexamen, är det bara de högsta vitsorden som kan förutse goda resultat i detta test, medan medelmåttiga eller sämre vitsord inte kunde användas för att förutse studerandenas förmåga att på ett ändamålsenligt sätt använda olika verbformer i engelskan. Resultaten implicerar att forskare, lärare och testare bör vara medvetna om att de inte endast kan lita på sin intuition då de utvärderar studerandenas kunskaper. Vissa delar av språket är svårdefinierbara. Hur läraren reagerar på ovanliga former påverkar hur studerandena utvärderas i bedömningssituationer. Det är dock en bra idé att fortsätta harmonisera testmetoderna, men samtidigt är det också viktigt att vara medveten om att det finns variation i studerandenas språkproduktion och i lärarnas bedömning av sådan produktion.
URI: URN:ISBN:978-951-51-5224-4
http://hdl.handle.net/10138/301457
Date: 2019-05-29
Subject: englantilainen filologia
Rights: This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.


Files in this item

Total number of downloads: Loading...

Files Size Format View
Variatio.pdf 3.909Mb PDF View/Open

This item appears in the following Collection(s)

Show full item record