Reliabiliteettitutkimus : Havainnoijien välinen yhteneväisyys observoinnissa

Show full item record



Permalink

http://urn.fi/URN:NBN:fi:hulib-201805161921
Title: Reliabiliteettitutkimus : Havainnoijien välinen yhteneväisyys observoinnissa
Author: Sarkkinen, Tuomas
Contributor: University of Helsinki, Faculty of Educational Sciences, Department of Teacher Education
Publisher: Helsingin yliopisto
Date: 2018
URI: http://urn.fi/URN:NBN:fi:hulib-201805161921
http://hdl.handle.net/10138/235762
Thesis level: master's thesis
Abstract: Tavoitteet. Kehittävä palaute varhaiskasvatuksessa on 12 kunnan varhaiskasvatuksen kehittämishanke, jossa aineistoa kerätään lasten observoinnin sekä kasvattajien ja esimiehen itsearvioinnin kautta. Tämän tutkimuksen tavoitteena oli tarkastella hankkeen observointien yhteneväisyyttä eli samasta tilanteesta tehtyjen merkintöjen samankaltaisuutta. Havainnoijien välinen yhteneväisyys on yleinen tapa arvioida havaintoon pohjautuvan aineistonkeruumenetelmän reliabiliteettia ja validiteettia. Menetelmät. Tämän tutkimuksen aineistona käytettiin hankkeen kautta kerättyä pariobservointidataa. Aineisto koostui 9 parin observoinneista, joita oli yhteensä 411 kappaletta. Aineisto koodattiin yhteneväisyysanalyysia varten kvantitatiiviseksi aineistoksi, ja sen analysointiin käytettiin kvantitatiivisia menetelmiä. Yhteneväisyys selvitettiin laskemalla jokaiselle observointimittarille ja observoijaparille Cohenin kappa -kerroin. Cohenin kappa laskee havainnoinnin yhteneväisyyden asteen ja ottaa sattuman vaikutuksen huomioon yhtälössä. Observointimerkintöjen jakautumista mittareiden kategorioihin tutkittiin ristiintaulukoinnin kautta. Ristiintaulukoinnin avulla oli mahdollista tarkastella, miten yhteneväisesti ja tasapainoisesti observoijat käyttävät mittareiden kategorioita. Tulokset ja johtopäätökset. Landisin ja Kochin (1977) määrittelyn perusteella yhteneväisyys oli yhdellä mittarilla lähes täydellinen, kahdella huomattava, kolmella keskinkertainen ja kolmella kohtalainen. Merkintöjen eriäväisyys oli joillakin mittareilla suurta, ja mittareiden sekä parien yhteneväisyydessä oli selviä eroja. Tulosten ja lähdekirjallisuuden perusteella observointimenetelmän luotettavuutta tulisi pyrkiä jatkossa kehittämään. Kehittämisessä tulisi painottaa koulutuksen lisäämistä, observoinnin sisältöjen arviointia sekä mittareiden kalibroimista. Cohenin kappan käyttö tässä tutkimuksessa ei ollut ongelmatonta, ja tulevissa tutkimuksissa tulisi painottaa usean eri menetelmän käyttöä tasapainoisen tuloksen takaamiseksi. Tutkimuksen loppuosassa on esitetty erilaisia tapoja laajentaa hankkeen observointimenetelmän yhteneväisyyden tutkimusta, ja pohdittu yleistettävyysteorian sekä argumenttipohjaisen validiteettimallin mahdollisuuksia havainnointipohjaisten arviointimenetelmien reliabiliteetin ja validiteetin tutkimuksessa.Objectives. Progressive Feedback in Early Childhood Education is a project for development of early childhood education in 12 Finnish municipalities. The data in the project is collected through child observation and staff and manager self-evaluation. The objective of this study was to assess the inter-rater agreement of the project’s observation method. Inter-rater agreement is a common way of assessing the reliability and validity of a method that is based on observational data collection. Methods. This study used paired observation data that was collected through the project. The data consisted of observations conducted by 9 different pairs of observers, generating 411 paired observations in total. The data was coded as quantitative data and quantitative methods were used for the reliability analysis. Cohen’s kappa was used to calculate the level of agreement for the rating system scales and for all the paired observers using the rating system. Cohen’s kappa calculates the level of agreement among raters and accounts for agreement based on chance. Cross-tabulation was used to examine the distribution of agreement and disagreement of the observational data on the rating scales. Results. Based on labels assigned by Landis and Koch (1977) the level of agreement for one rating scale was almost perfect, for two rating scales substantial, for three rating scales moderate and for three rating scales fair. The disagreement was notable on certain scales and there were clear differences between scales and raters. Based on the results and sources the reliability of the observational method should be improved in the future. The improvement should focus on increasing the training of the observers, evaluating the objectives of the observation and calibrating the observation rating scales. Using Cohen’s kappa was not problem-free, so in future research multiple methods should be used to ensure balanced results. Further studies include ways to follow up on the reliability of the project’s observation method and the possibilities of generalizability theory and argument based validity as part of the research on reliability and validity of observation based quality assessment methods.
Subject: varhaiskasvatus
havainnointi
observointi
havainnoijien välinen yhteneväisyys
reliabiliteetti
kappa
Subject (yso): varhaiskasvatus
havainnointi
reliabiliteetti
luotettavuusanalyysi
Discipline: Kasvatustiede
Education
Pedagogik


Files in this item

Total number of downloads: Loading...

Files Size Format View
Tuomas_Sarkkinen_Progradu_04_2018.pdf 1.981Mb PDF View/Open

This item appears in the following Collection(s)

Show full item record