A1 Alkuperäisartikkeli tieteellisessä aikakauslehdessä
Can we automate expert-based journal rankings? : analysis of the Finnish publication indicator (2020)
Saarela, M., & Kärkkäinen, T. (2020). Can we automate expert-based journal rankings? : analysis of the Finnish publication indicator. Journal of Informetrics, 14(2), Article 101008. https://doi.org/10.1016/j.joi.2020.101008
JYU-tekijät tai -toimittajat
Julkaisun tiedot
Julkaisun kaikki tekijät tai toimittajat: Saarela, Mirka; Kärkkäinen, Tommi
Lehti tai sarja: Journal of Informetrics
ISSN: 1751-1577
eISSN: 1875-5879
Julkaisuvuosi: 2020
Volyymi: 14
Lehden numero: 2
Artikkelinumero: 101008
Kustantaja: Elsevier
Julkaisumaa: Alankomaat
Julkaisun kieli: englanti
DOI: https://doi.org/10.1016/j.joi.2020.101008
Julkaisun avoin saatavuus: Ei avoin
Julkaisukanavan avoin saatavuus:
Julkaisu on rinnakkaistallennettu (JYX): https://jyx.jyu.fi/handle/123456789/67782
Tiivistelmä
The publication indicator of the Finnish research funding system is based on a manual ranking of scholarly publication channels. These ranks, which represent the evaluated quality of the channels, are continuously kept up to date and thoroughly reevaluated every four years by groups of nominated scholars belonging to different disciplinary panels. This expert-based decision-making process is informed by available citation-based metrics and other relevant metadata characterizing the publication channels. The purpose of this paper is to introduce various approaches that can explain the basis and evolution of the quality of publication channels, i.e., ranks. This is important for the academic community, whose research work is being governed using the system. Data-based models that, with sufficient accuracy, explain the level of or changes in ranks provide assistance to the panels in their multi-objective decision making, thus suggesting and supporting the need to use more cost-effective, automated ranking mechanisms. The analysis relies on novel advances in machine learning systems for classification and predictive analysis, with special emphasis on local and global feature importance techniques.
YSO-asiasanat: tieteellinen julkaisutoiminta; julkaisut; tiedelehdet; arviointi; rankinglistat; tutkimusrahoitus; automaatio; koneoppiminen
Vapaat asiasanat: performance-based research funding system; machine learning; automation; feature importance
Liittyvät organisaatiot
Hankkeet, joissa julkaisu on tehty
- Hybridinanopartikkelien rakenteiden ennustaminen tekoälyä hyväksi käyttäen
- Kärkkäinen, Tommi
- Suomen Akatemia
- Yliopistojen profiloitumisen vahvistaminen kilpaillulla rahoituksella. Profilointitoimet JYU:ssä, 3. kierros
- Hämäläinen, Keijo
- Suomen Akatemia
OKM-raportointi: Kyllä
Raportointivuosi: 2020
JUFO-taso: 3