Automatic generation of inflectional multiple-choice clozes for Finnish language learners

Abstract

Tämä Pro gradu -tutkielma käsittelee monivalintamuotoisten aukkotehtävien automaattista generointia suomen kielen sanataivutuksen harjoittelua varten. Aukkotehtävät ovat suosittu formaatti kielen opiskelussa ja kielitaidon arvioinnissa. Koska ne ovat muodoltaan melko hyvin kontrolloituja, niiden laatimisen automatisointi on ollut useiden akateemisten ja kaupallisten projektien tavoitteena viimeisten parin vuosikymmenen ajan. Tehtävä on osoittautunut haasteelliseksi. Jos aukkotehtävä generoidaan yksinkertaisesti poistamalla lauseesta sana, ja antamalla sen täyttäminen opiskelijalle tehtäväksi, käy helposti niin, ettei tehtävä ole mielekäs: usein näin tuotettuun aukkoon sopii monta vaihtoehtoista sanaa tai rakennetta. Yksi suurimmista haasteista aukkotehtävien generoinnissa on siis niin sanottu “aukkojen luotettavuus”: sen varmistaminen, että aukkoon sopiva ja epäsopiva vastaus pystytään erottamaan toisistaan. Yksi tapa varmistaa tämä on rajoittaa mahdollisten vastausten joukkoa antamalla vastausvaihtoehtoja, joiden tiedetään olevan vääriä. Tällöin automaattisen generoinnin haasteeksi nousee vääräksi tiedettyjen vaihtoehtojen löytäminen. Väärät vaihtoehdot eivät kuitenkaan saa olla sitä liian ilmeisellä tavalla: oikean vaihtoehdon valitsemisen täytyy muodostaa mielekäs haaste opiskelijalle. Tutkielmani pääasiallinen tavoite on tutkia luotettavien ja potentiaalisesti haastavien monivalintamuotoisten aukkotehtävien generoimista suomen kielen sanataivutuksen opiskelua varten. Kokeellisessa osiossa testaamaani metodia on aiemmin sovellettu menestyksekkäästi verrattavaan tarkoitukseen englannin kielen prepositioiden kontekstissa. Metodissa etsitään suuresta tekstikorpuksesta sellaisia prepositioita, jotka esiintyvät usein yhden aukon kontekstisanan kollokaationa, mutteivat koskaan kahden kontekstisanan kollokaationa samaan aikaan. Tavoitteeni on osoittaa, että metodia voi soveltaa myös suomen kielen taivutustehtävien generoimiseen. Testaan myös erityyppisten korpusten käyttöä tehtävän suorittamisessa, nimittäin yhtäältä peräkkäisyyteen perustuvia n-grammeja ja toisaalta syntaktiseen dependenssirakenteeseen perustuvia n-grammeja. Kokeellisen työn lisäksi erittelen työssäni kattavasti erilaisia tapoja muodostaa taivutusaukkotehtäviä, ja esittelen keksimäni aukkotehtävämallin. Keskeisin löydökseni on, että kyseisellä metodilla pystyy lisäämään aukkotehtävien luotettavuutta merkittävästi: sellaisissa testitapauksissa, joissa käytetty data on muutaman yksinkertaisen kriteerin mukaisesti arvioituna riittävää, jopa 80 % alun perin epäluotettavista aukoista muuttuu luotettaviksi. Lopussa pohdin tehtävien haasteellisuuden evaluointia sekä riittämättömän datan kysymyksiä. Mitä jälkimmäiseen tulee, argumentoin, että vaikka esille tulleiden datan riittävyyteen liittyvien haasteiden ratkaiseminen parantaisi tuloksia nykyisestään, voi metodia pitää tarkoitukseen sopivana jo sellaisenaan.