Automatic assessment of spoken interaction in second language (AASIS) (AASIS)
Main funder
Funder's project number: 355588
Funds granted by main funder (€)
- 280 000,00
Funding program
Project timetable
Project start date: 01/09/2023
Project end date: 31/08/2027
Summary
Toisen kielen puhutun vuorovaikutuksen automaattinen arviointi / Automatic assessment of spoken interaction in second language (AASIS)
Taito puhua vieraita kieliä on keskeinen osa ihmisten välistä vuorovaikutusta ja siksi oleellinen opetuksen ja oppimisen tavoite kaikilla koulutusasteilla. Saavutetun osaamisen arviointi on puhumisen osalta perinteisesti hidasta ja työlästä, ja siksi siihen on viime aikoina kehitetty digitaalisia työkaluja, jotka perustuvat automaattiseen puheentunnistukseen. Konearviointi tavoittaa jo suhteellisen luotettavasti puheen mitattavia piirteitä kuten puhenopeuden, ääntämisen, sanaston ja oikeakielisyyden, mutta rajoittuu usein monologiseen puheeseen, joka kattaa suullisen kielitaidon käsitteen varsin kapeasti. Kielitaidon pragmaattiset ja vuorovaikutukselliset ulottuvuudet rajautuvat siinäkin arvioitavan käsitteen ulkopuolelle, vaikka suoritus arvioitaisiin videotallenteelta.
Tavallisesti puheviestintä, johon koulutuksen tulisi valmistaa, käsittää auditiivisen signaalin ja kielitaidon lisäksi taidon olla vuorovaikutuksessa toisten puhujien kanssa. Puhetilanteessa välittyy myös paljon visuaalista informaatiota esimerkiksi katseen, ilmeiden ja eleiden kautta. Vieraskielistä puheviestintää harjoitellaan tavallisimmin parikeskusteluin, joita käytetään myös suullisen kielitaidon arvioinnissa. Arviointitapana parikeskustelu on autenttinen, mutta tuottaa ongelmia arvioinnin yhdenmukaisuuteen, koska puhujan suoritukseen vaikuttavat esimerkiksi puhekumppanin kielitaito ja vuorovaikutuksen onnistuminen. Ajankohtainen ja kansainvälisessä tutkimuksessa tunnistettu haaste on laajentaa suullisen kielitaidon käsitettä kattamaan relevantteja vuorovaikutuspiirteitä ja toisaalta edistää näiden systemaattista ja tehokasta mittaamista automaattisen arvioinnin avulla.
AASIS-hankkeen tieteellisinä tavoitteina on:
1) tutkia suullisen kielitaidon arvioitavaa käsitettä laajentamalla sitä vuorovaikutteiseen suuntaan ja sisällyttämällä siihen vuorovaikutuksen kielellis-semanttisia ja foneettisia piirteitä sekä paralingvististä ja ei-kielellistä viestintää sekä
2) kehittää automatiikkaa tunnistamaan ja arvioimaan näitä piirteitä.
Hankkeen huomattavin implikaatio on puhumisen arvioinnin autenttisuuden ja luotettavuuden samanaikainen paraneminen, koska parikeskustelut ovat sekä pedagogisesti autenttinen tehtävätyyppi ja automatiikka potentiaalisesti pystyy tunnistamaan määritellyt vuorovaikutuspiirteet yhdenmukaisemmin kuin ihmisarvioijat.
Tutkimushenkilöinä ovat suomen kielen aikuisoppijat, jotka opiskelevat suomea toisena kielenä. Heidän parikeskustelujaan tallennetaan videotiedostoiksi, ja ihmisarvioijat antavat arvionsa puhujien taitotasosta eurooppalaisen viitekehyksen kuusiportaisella asteikolla. Lisäksi käytämme aiemmassa DigiTala-hankkeessamme puheen analyyttiseen arviointiin kehitettyjä asteikkoja soveltuvin osin. Tämän lisäksi hankkeessa kehitetään vuorovaikutuksen ja visuaalisen informaation arviointiin soveltuvia asteikkoja. Tiedot yhdistetään ja tutkitaan, miten kone oppii ennustamaan taitotasoa kielellisten ja ei-kielellisten piirteiden perusteella. Arvioitavat piirteet rajataan sellaisiin, joista vuorovaikutustutkimuksessa ollaan mahdollisimman yksimielisiä (esim. katseen suunta mielenkiinnon tai sen puutteen indikaattorina).
Hankkeen konsortiopartnerit ovat Helsingin yliopisto (Vieraiden kielten tutkimusyksikkö; PI prof. Raili Hildén PI), Aalto-yliopisto (Signaalin käsittely ja akustiikka; PI prof. Mikko Kurimo) ja Jyväskylän yliopisto (Kielten ja viestinnän laitos; PI dos. Mikko Kuronen).
Tuloksia hyödynnetään kielenopetuksessa ja arvioinnissa lisäämällä tietoisuutta puheviestinnän onnistumiseen vaikuttavista piirteistä ja antamalla niistä myös automaattista palautetta opiskelijoille.
Taito puhua vieraita kieliä on keskeinen osa ihmisten välistä vuorovaikutusta ja siksi oleellinen opetuksen ja oppimisen tavoite kaikilla koulutusasteilla. Saavutetun osaamisen arviointi on puhumisen osalta perinteisesti hidasta ja työlästä, ja siksi siihen on viime aikoina kehitetty digitaalisia työkaluja, jotka perustuvat automaattiseen puheentunnistukseen. Konearviointi tavoittaa jo suhteellisen luotettavasti puheen mitattavia piirteitä kuten puhenopeuden, ääntämisen, sanaston ja oikeakielisyyden, mutta rajoittuu usein monologiseen puheeseen, joka kattaa suullisen kielitaidon käsitteen varsin kapeasti. Kielitaidon pragmaattiset ja vuorovaikutukselliset ulottuvuudet rajautuvat siinäkin arvioitavan käsitteen ulkopuolelle, vaikka suoritus arvioitaisiin videotallenteelta.
Tavallisesti puheviestintä, johon koulutuksen tulisi valmistaa, käsittää auditiivisen signaalin ja kielitaidon lisäksi taidon olla vuorovaikutuksessa toisten puhujien kanssa. Puhetilanteessa välittyy myös paljon visuaalista informaatiota esimerkiksi katseen, ilmeiden ja eleiden kautta. Vieraskielistä puheviestintää harjoitellaan tavallisimmin parikeskusteluin, joita käytetään myös suullisen kielitaidon arvioinnissa. Arviointitapana parikeskustelu on autenttinen, mutta tuottaa ongelmia arvioinnin yhdenmukaisuuteen, koska puhujan suoritukseen vaikuttavat esimerkiksi puhekumppanin kielitaito ja vuorovaikutuksen onnistuminen. Ajankohtainen ja kansainvälisessä tutkimuksessa tunnistettu haaste on laajentaa suullisen kielitaidon käsitettä kattamaan relevantteja vuorovaikutuspiirteitä ja toisaalta edistää näiden systemaattista ja tehokasta mittaamista automaattisen arvioinnin avulla.
AASIS-hankkeen tieteellisinä tavoitteina on:
1) tutkia suullisen kielitaidon arvioitavaa käsitettä laajentamalla sitä vuorovaikutteiseen suuntaan ja sisällyttämällä siihen vuorovaikutuksen kielellis-semanttisia ja foneettisia piirteitä sekä paralingvististä ja ei-kielellistä viestintää sekä
2) kehittää automatiikkaa tunnistamaan ja arvioimaan näitä piirteitä.
Hankkeen huomattavin implikaatio on puhumisen arvioinnin autenttisuuden ja luotettavuuden samanaikainen paraneminen, koska parikeskustelut ovat sekä pedagogisesti autenttinen tehtävätyyppi ja automatiikka potentiaalisesti pystyy tunnistamaan määritellyt vuorovaikutuspiirteet yhdenmukaisemmin kuin ihmisarvioijat.
Tutkimushenkilöinä ovat suomen kielen aikuisoppijat, jotka opiskelevat suomea toisena kielenä. Heidän parikeskustelujaan tallennetaan videotiedostoiksi, ja ihmisarvioijat antavat arvionsa puhujien taitotasosta eurooppalaisen viitekehyksen kuusiportaisella asteikolla. Lisäksi käytämme aiemmassa DigiTala-hankkeessamme puheen analyyttiseen arviointiin kehitettyjä asteikkoja soveltuvin osin. Tämän lisäksi hankkeessa kehitetään vuorovaikutuksen ja visuaalisen informaation arviointiin soveltuvia asteikkoja. Tiedot yhdistetään ja tutkitaan, miten kone oppii ennustamaan taitotasoa kielellisten ja ei-kielellisten piirteiden perusteella. Arvioitavat piirteet rajataan sellaisiin, joista vuorovaikutustutkimuksessa ollaan mahdollisimman yksimielisiä (esim. katseen suunta mielenkiinnon tai sen puutteen indikaattorina).
Hankkeen konsortiopartnerit ovat Helsingin yliopisto (Vieraiden kielten tutkimusyksikkö; PI prof. Raili Hildén PI), Aalto-yliopisto (Signaalin käsittely ja akustiikka; PI prof. Mikko Kurimo) ja Jyväskylän yliopisto (Kielten ja viestinnän laitos; PI dos. Mikko Kuronen).
Tuloksia hyödynnetään kielenopetuksessa ja arvioinnissa lisäämällä tietoisuutta puheviestinnän onnistumiseen vaikuttavista piirteistä ja antamalla niistä myös automaattista palautetta opiskelijoille.
Principal Investigator
Other persons related to this project (JYU)
Primary responsible unit
Fields of science
Follow-up groups
Profiling area: Multidisciplinary research on learning and teaching (University of Jyväskylä JYU) MultiLeTe
