A1 Journal article (refereed)
Arvioinnin epävarmuus ja sen vaikutukset arvioinnin laatuun suomen kielen puhumisen taidon testiarvioinnissa (2023)

Honko, M., & Neittaanmäki, R. (2023). Arvioinnin epävarmuus ja sen vaikutukset arvioinnin laatuun suomen kielen puhumisen taidon testiarvioinnissa. Puhe ja kieli, 43(4), 171-194. https://doi.org/10.23997/pk.144389

JYU authors or editors

Publication details

All authors or editors: Honko, Mari; Neittaanmäki, Reeta

Journal or series: Puhe ja kieli

ISSN: 1458-3410

eISSN: 2342-7213

Publication year: 2023

Publication date: 31/12/2023

Volume: 43

Issue number: 4

Pages range: 171-194

Publisher: Puheen ja kielen tutkimuksen yhdistys ry

Publication country: Finland

Publication language: Finnish

DOI: https://doi.org/10.23997/pk.144389

Publication open access: Openly available

Publication channel open access: Open Access channel

Publication is parallel published (JYX): https://jyx.jyu.fi/handle/123456789/94166

Abstract

Tutkimuksessa tarkastellaan koulutettujen kielitaidon arvioijien arviointivarmuutta ja sen vaikutusta arvioinnin laatuun aikuisten suomenoppijoiden puhumisen taidon testiarvioinnissa. Aineisto koostuu 12 059 tehtäväkohtaisesta puhumisen taitotasoarviosta ja arvioinnin aikana tehdyistä muistiinpanoista sekä kyselytiedosta. Analyysimetodeina käytetään laadullista sisällönanalyysia ja sisällön erittelyä sekä tilastollisia menetelmiä. Tulosten perusteella arvioijat olivat pääsääntöisesti varmoja antamistaan puhumisen taitotasoarvioista mutta jäivät silti ainakin satunnaisesti epävarmaksi arvioistaan. Kun epävarmuutta esiintyi, se kohdistui tyypillisesti tietyn suorittajan tehtäväkokonaisuudessa vain yhteen tehtäväkohtaiseen arvioon. Arvioijat nimesivät epävarmuudelle useita syitä. Arviointikokemuksen pituus vuosina ei ollut yhteydessä arviointivarmuuteen. Epävarmuuden määrä vaihteli arvioinnin eri vaiheissa siten, että epävarmuus oli suurinta arvioinnin alussa ja lisääntyi myös toisen arvioijan aiemmin arvioitujen suoritusten saapuessa kaksoisarviointiin. Epävarmuuden kohdentuminen oli pitkälti yksilöllistä, sillä kaksoisarvioiduissa suorituksissa arvioijien epävarmuus kohdistui pääosin eri puhujien suorituksiin. Koettu epävarmuus ei vaikuttanut arvioinnin laatuun eli sen johdonmukaisuuteen tai ankaruuteen/lempeyteen. Arvioinnin laatutekijöistä ja riittävästä arviointivarmuudesta huolehtiminen on kuitenkin tärkeää, jotta epävarmuus ei kuormita arvioijia liikaa ja jotta arvioinnin luotettavuus säilyy.

Keywords: Finnish as a second language; language examinations; adult language proficiency test; oral language skills; evaluation; tests; evaluators; uncertainty; quality

Contributing organizations

Ministry reporting: Yes

VIRTA submission year: 2024

Preliminary JUFO rating: 2