Browsing by Subject "kielitaidon arviointi"

Sort by: Order: Results:

Now showing items 1-5 of 5
  • Tukiainen, Jenni (Helsingfors universitet, 2016)
    Tutkielma käsittelee pitkän englannin ylioppilaskokeen ainekirjoitusten arvostelua. Tarkastelun kohteena ovat arviointikriteerit, joiden perusteella kirjoitelmat pisteytetään sekä virallisen ohjeistuksen että kaytännön tasolla. Lisäksi tarkoituksena on selvittää, millaisia tekstejä kokelailta vaaditaan pitkän englannin kokeessa sekä millaisia kirjoitelman arviointiin liittyviä kysymyksiä ja huolia kokelaat tuovat ilmi Ylen Abitreenit-ohjelmassa, jossa kokeiden arvioijat kommentoivat ja vastaavat kokeeseen liittyviin kysymyksiin suorissa lähetyksissä heti kokeiden jälkeen. Aineisto kattaa koekerrat syksystä 2003 syksyyn 2013 eli 21 koetta, joista kussakin on neljä vaihtoehtoista tehtävänantoa. Abitreenit-ohjelman taltiointien lisäksi aineistoon kuuluu viisi arvioitua kirjoitelmaa jokaisesta kokeesta eli yhteensä 105 kirjoitelmaa, ylioppilastutkintolautakunnan kokouspöytäkirjoja sekä koekohtaiset määräykset ja ohjeet vuosilta 2002, 2004, 2005, 2007 ja 2011. Analyysissä käytettävät metodit ovat pääosin kvalitatiivisia eli deskriptiivisiä ja komparatiivisia. Jonkin verran mukana on myös kvantitatiivista analyysiä. Analyysin perusteella kirjoitelmien arviointi nojaa määräysten ja ohjeiden asettamiin kriteereihin, jotka sisältävät paljon epämääräisiä kuvauksia sekä tulkinnanvaraisuutta. Esimerkiksi kaikille mahdollisille pisteille ei ole määritelty erillisiä kuvauksia. Esseisiin tehtyjen merkintöjen sekä arviointiohjeiden välillä ei ole paljoakaan yhteyttä, sillä merkinnät koskevat lähes yksinomaan kielivirheitä, kun taas ohjeissa kuvataan taitotasoja myös mm. kommunikatiivisuuden ja sisällön osalta. Arviointi näyttää täten perustuvan pitkälti arvioijan tulkintaan ja sisäistettyyn käsitykseen tietyn tasoisesta kirjoitelmasta. Tätä päätelmää tukevat myös kokousten pöytäkirjat, joiden perusteella kokouksissa käydään läpi mm. esimerkkitapauksia tietyn pistemäärän tasoisista kirjoitelmista. Aineiston perusteella arvioinnissa on kuitenkin nähtävissä jonkin verran epäjohdonmukaisuutta. Tehtävänannoissa pyydetään kirjoittamaan tekstejä, joista useimmat vaativat akateemisia kirjoitustaitoja eli argumentaatiota ja ilmiöiden kuvaamista. Myös retoriset taidot painottuvat erityisesti puheissa. Loput tehtävistä keskittyvät faktatiedon esittämiseen tai menneiden tapahtumien kerrontaan. Esimerkiksi luovaa kirjoittamista ei edellytetä yhdessäkään tehtävänannossa. Kokelaiden kysymykset ja huolenaiheet liittyvät hyvin konkreettisiin ja usein yksityiskohtaisiin kieli- ja muotoseikkoihin, jotka mahdollisesti johtavat pistevähennyksiin. Kokeiden arvioijat eivät pysty antamaan yksiselitteisiä vastauksia suurimpaan osaan kysymyksistä, ellei vastaus löydy suoraan ohjeista ja määräyksistä (esim. sanamäärärajoitukset). Tutkielman tulosten valossa näyttää siltä, että kirjoitelmien arviointi pitkän englannin ylioppilaskokeessa perustuu suurelta osin arvioijan intuitioon, joka on kehittynyt niin tarkaksi, että sen voitaneen olettaa takaavan arvioinnin riittävän luotettavuuden. Monet tehtävänantoihin ja arviointikriteereihin liittyvät seikat näyttävät kuitenkin vuodesta toiseen aiheuttavan epävarmuutta sekä kokelaissa että arvioijissa.
  • von Zansen, Anna (Jyväskylän yliopisto, 2021)
  • Huhta, Ari; Hilden, Raili (Opetushallitus, 2013)
    Raportit ja selvitykset / Opetushallitus
  • Tuomikoski, Elina (Helsingin yliopisto, 2021)
    Tiivistelmä – Referat – Abstract Kielitaidon arviointi on monin tavoin ajankohtaista ja tärkeässä roolissa toisaalta aikuisten suomenoppijoiden elämässä niin koulutuksen, työllistymisen, työssä etenemisen kuin kotoutumisen ja osallisuudenkin näkökulmista ja toisaalta koulutuksen tuloksellisuuden ja kehittämisen arvioinnissa. Yksi tutkimuskohde arviointityön laadun tarkastelussa on arvioijakäyttäytymisen tutkimus, jota Suomen kontekstissa on tehty melko vähän. Tässä työssä tutkitaan kielitaidon arvioinnin asiantuntijoiden arviointityön laatua johdonmukaisuuden ja yhdenmukaisuuden näkökulmista sekä sitä, miten arvioijat itse kokevat päivittäisessä työssä rakentuneen arvioijaidentiteettinsä suhteessa saatuun palautteeseen. Teoreettisen taustan tutkielmalle muodostavat erityisesti Eurooppalaisen viitekehyksen mukaisen kielitaitokäsityksen tutkimus, vieraalla kielellä kirjoittamiseen liittyvä tutkimus sekä arvioinnin teoriat ja arvioijakäyttäytymisen tutkimus. Aineistona on seitsemän kielitaidon arviointia päätoimisesti tekevän asiantuntijan piirteittäiset taitotasoarviot kolmestakymmenestä Eurooppalaisen viitekehyksen mukaisille taitotasoille pre A1–B2 -tasoille arvioidusta kirjoitussuorituksesta, jotka on kerätty työvoimahallinnon piirissä olevien kotoutuja-asiakkaiden lähtötason arvioinneista Testipisteestä. Menetelminä käytetään Rasch-mallinnusta hyödyntävää tilastollista analyysia, joka on toteutettu Facets-ohjelmalla, temaattista fokusryhmähaastattelua sekä kyselytutkimusta. Arviointityön laatu osoittautui tilastollisen analyysin valossa oletetusti hyväksi kielitaidon arvioinnin asiantuntijoiden keskuudessa. Arvioijat toimivat yleisesti ottaen johdonmukaisesti. Tutkimuksen kohteen mukaisessa arvioinnissa on tärkeää, että arvioijat tulkitsevat arviointiasteikkoa mahdollisimman yhdenmukaisesti. Tutkimus osoittaa, että yksimielisyyden saavuttaminen melko pienessä ja homogeenisessäkin arvioijaryhmässä on haastavaa. Toisaalta yhdessä työskentelevät arvioinnin ammattilaiset tunnistavat hyvin sekä omia että toistensa arviointityylejä ja painotuksia ja ovat valmiita työskentelemään joustavasti suuremman yksimielisyyden saavuttamiseksi. Arvioijien käsitys itsestään arvioijana ei aina näytä täysin vastaavan tilastollisen analyysin piirtämää kuvaa arvioijaidentiteetistä. Useimmat arvioijat sijoittivat itsensä keskivaiheille ankaruus–lempeys-jatkumolla, vaikka he analyysin tulosten mukaan sijoittuvat selvästi lempeään tai ankaraan päähän. Arvioijat kuvaavat suoritusten arviointia vaiheittain etenevänä prosessina, jossa luodaan ensin yleissilmäys arvioitavaan suoritukseen ja annetaan alustava arvio, johon vaikuttaa sekä itselle muodostunut käsitys tietyn taitotason vaatimuksista ja tasolle tyypillisistä piirteistä, että arviointikriteeri, sitten luetaan suoritus analyyttisemmin, jolloin tehtäväkohtaisen kriteerin osuus korostuu ja lopulta muodostetaan synteesinä yleisarvio, jonka painotuksiin vaikuttaa erityisesti Eurooppalaisen viitekehyksen edustama viestinnällinen kielitaitokäsitys.
  • Hilden, Raili (Helsingin yliopisto, Soveltavan kasvatustieteen laitos, 2008)
    Tutkimuksia
    Artikkelissa kuvataan aluksi kielitaidon arvioinnin validiustutkimuksen keskeisiä suuntauksia, joilla kehystetään käynnissä olevan suullisen kielitaidon arviointihankkeen tutkimustehtävä. Tutkimustehtävä kohdentuu kansallisiin opetussuunnitelmaperusteisiin sisältyvän taitotasoasteikon validiuteen, jota tarkastellaan validiusargumentin rakentumisen näkökulmasta. Väitettä asteikon ja sen pohjalta laadittujen puhetehtävien pätevyydestä suullisen taidon mittareina koetellaan Toulminin mallin avulla asettamalla tätä johtopäätöstä tukevat empiiriset lähtötiedot ja niitä tukevat perusteet vastakkain väitettä horjuttavan näytön kanssa. Perusteet ja varaukset koskevat väitetyn johtopäätöksen relevanssia, hyödyllisyyttä, tarkoitettuja seurauksia ja riittävyyttä. Hankkeen tutkijoiden spesifit tutkimusongelmat kohdentuvat johonkin mainituista piirteistä. Validiusargumenttia sovelletaan suullisen kielitaidon arviointihankkeen, Hy-Talkin, kontekstissa. Ongelmanasettelussa ja menetelmävalinnoissa hyödynnetään validiustutkimuksen perinteisempiä sisältö- ja kriteeriperustaisia lähestymistapoja, mutta tehdään myös uusia avauksia tiedon syventämiseksi niistä tulkinnoista ja näkemyksistä, joita suullisten tehtävien suorittajilla ja arvioijilla ilmenee.