Laura Himanen, Yrjö Leino & Hanna-Mari Puuska
Tutkimusta, tutkijoita ja TKI-asiantuntijoita arvioidaan jatkuvasti. Tutkijan arviointi alkaa jo uran alkuvaiheessa, kun haetaan jatko-opinto-oikeutta. Arviointi jatkuu, kun haetaan tutkimusrahoitusta, lähetetään artikkeli tai muu tuotos julkaistavaksi, haetaan akateemisia tehtäviä ja edetään uralla. Tutkimusaiheita ja sitä, miten tutkimusta tehdään, arvioidaan rahoitusta jaettaessa ja päätettäessä, mitkä tuotokset julkaistaan.
Tutkijan ja tutkimuksen arviointi vaikuttaa merkittävästi yksittäisten tutkijoiden urakehitykseen ja toisaalta kansallisella ja kansainvälisellä tasolla siihen, mitä ylipäänsä tutkitaan. On siis tärkeää, että arviointi toteutetaan vastuullisesti: avoimesti, läpinäkyvästi ja tasapuolisesti.
Vastuullisessa tutkimuksen arvioinnissa on paljolti kyse tasapainosta sen suhteen, minkälaisia aineistoja käytetään arvioinnin pohjana ja miten. Nyrkkisääntö on, että tutkimusta arvioitaessa laadullisen arvioinnin tulisi aina olla pääasiallinen menetelmä ja määrällisiä indikaattoreita voidaan käyttää sen tukena. Aineistojen ja menetelmien valinnan tulisi perustua ymmärrykselle siitä, miksi arvioidaan ja mihin arvioinnin tuloksia halutaan käyttää ja mikä on arvioinnin kohde. Lisäksi aina tulee ottaa huomioon arvioinnissa käytettävien aineistojen keräämiseen ja käsittelyyn tarvittavat resurssit, sekä rahalliset että työmäärä ja tarvittava asiantuntijuus.
Vastuullinen arviointi
Tutkimuksen arvioinnin vastuullisuudesta on julistettu ja linjattu jo yli vuosikymmen.
Ensimmäinen ja edelleen tunnetuin julistus, DORA-julistus (San Francisco Declaration on Research Assessment 2012) julkaistiin vuonna 2012, ja siinä keskiössä oli tarve toisaalta välttää tutkimuksen arvioinnissa artikkeleiden julkaisukanavaan pohjautuvan metriikan käyttöä ja toisaalta arvioida tutkimusta perustuen sen omiin ansioihin. DORA-julistusta on seurannut useita julkaisuja, jotka ovat laajentaneet ymmärrystä siitä, mitä kaikkea vastuullisuus tutkimuksen arvioinnissa tarkoittaa.
Vuonna 2015 julkaistiin sekä Metric Tide (Wilsdon et al. 2015) että Leidenin Manifesti (Hicks et al. 2015), joista kumpikin tarjosi ratkaisuja julkaisumetriikan käytön haasteisiin periaatteiden muodossa. Vuonna 2019 julkaistiin Hong Kongin periaatteet (Moher et al. 2020), joissa korostetaan eettisyyden ja rehellisyyden merkitystä tutkimustoiminnassa ja kehotetaan huomioimaan hyvää tieteellistä käytäntöä edistävä toiminta tutkijan arvioinnissa. Samana vuonna julkaistiin myös monikielisen tiedeviestinnän Helsinki-aloite (TSV et al. 2019), jonka pääviesti on, että tutkimus on kansainvälistä ja monikielisyys pitää paikallisesti tärkeän tutkimuksen elossa.
Myös Suomessa on oltu aktiivisia vastuullisemman tutkimuksen arvioinnin edistämiseksi. Vuonna 2020 julkaistiin Tutkijanarvioinnin hyvät käytännöt -suositus, joka keskittyy ensisijaisesti tutkimuksen arvioinnin rakenteisiin ja prosesseihin (Vastuullisen tutkijanarvioinnin työryhmä 2020). Tavoitteena on alusta loppuun vastuullisesti toteutettu arviointiprosessi.
Viimeisin ja kattavin julkaisu on eurooppalainen sopimus tutkimuksen arvioinnin uudistamisesta (European University Association et al., 2022). Sopimuksen ytimessä on tutkimustoiminnan monipuolisempi huomioiminen arvioinnissa sen sijaan, että nojataan helposti saatavilla oleviin määrällisiin indikaattoreihin, joiden mahdollisuudet kuvata tutkimustoimintaa ovat rajalliset. Uudistuksella on erityisen suuri rooli organisaatioille, jotka tavoittelevat tieteellisen laadun ja vaikuttavuuden lisäksi tunnetusti hankalasti mitattavaa yhteiskunnallista vaikuttavuutta. Sopimuksen olivat lokakuuhun 2023 mennessä allekirjoittaneet kaikki suomalaiset yliopistot, 18 ammattikorkeakoulua ja kolme muuta tutkimusta tekevää tai tukevaa organisaatiota.
Monimuotoisuuden huomioimisen haasteista
TKI-toiminnan moninaisuuden aito tarkastelu vaatii tuekseen uudenlaista aineistoa, sekä laadullista että määrällistä. On selvää, ettei määrällisiä indikaattoreita kannata kokonaan hylätä, sillä vastuullisesti käytettyinä niiden rooli laadullisen arvioinnin tukena on arvokas.
Korkeakouluilla on keskenään erilaisia ulkopuolelta asetettuja tehtäviä ja itsenäisesti päätettyjä tavoitteita. Tästä syystä samat suoraviivaiset indikaattorit eivät sovi sellaisenaan kuvaamaan kaikkien organisaatioiden toimintaa. Korkeakoulun pitää kertoa selkeästi TKI-toimintansa päämäärät ja sitten itse valita indikaattorit, jotka mittaavat onnistumista nimenomaan näiden päämäärien suhteen.
Jos korkeakoulu ilmoittaa tavoitteekseen harjoittaa huippututkimusta, voidaan edellyttää, että korkeakoulussa tuotetut julkaisut keräävät paljon viittauksia. Jos taas painopiste on esimerkiksi yritystoiminnan tukemisessa, mittariksi sopii paremmin yritysten kanssa tuotettujen yhteisjulkaisujen lukumäärä tai näiden osuus kaikesta julkaisutoiminnasta tai vaikkapa kehitysprojektien määrä tai yrityksiltä saatu tutkimusrahoitus – tällöinhän yritykset ovat kokeneet työn niin merkittäväksi, että siitä kannattaa maksaa.
Erityisen vaikeasti mitattavaa on tieteellisen tutkimuksen yhteiskunnallinen merkitys, koska tulosten julkaisun ja havaittujen vaikutusten välinen aika voi olla hyvin pitkä. Vaikutukset voivat myös olla hyvin erilaisia eri tieteenaloilla, eikä niitä välttämättä pystytä mittaamaan – ainakaan suoraan – euroissa, sekunneissa tai kiloissa, kun kyse on esimerkiksi jonkin ihmisryhmän elämänlaatua parantavista tuloksista. Näissä tapauksissa voidaan yrittää karkeasti arvioida lukumääräisesti, kuinka monen ihmisen elämään jokin tulos on vuosien mittaan vaikuttanut, tai kuinka korkeakoulun ja yritysten yhteistyö on toiminut alueen elinkeinoelämän piristäjänä ja katalyyttina. Luonnollisesti tällainen arviointi vaatii tapauskohtaisia erityistietoja.
Tavoitteita tukevien indikaattorien lisäksi vaikuttavuuden arviointiin tarvitaankin nimenomaan valittujen indikaattorien suhteen riittävän kattava ja luotettava data. Vastaavasti saatavilla oleva data rajaa mahdollisten indikaattorien joukkoa. Yleensä mitä spesifimpi indikaattori, sitä heikompi maantieteellinen edustavuus on saavutettavissa. Käytännössä tämä merkitsee, että korkeakoulun vaikuttavuutta ei puuttuvan datan vuoksi aina ole mahdollista verrata maailman keskitasoon, ei ehkä edes Suomen keskitasoon, jos käytössä on vain oman organisaation data. Tällöin on tyydyttävä tarkastelemaan esimerkiksi organisaation valitseman indikaattorin aikakehitystä.
Suuret kansainväliset tietokannat (Scopus, Web of Science) sisältävät kymmeniä miljoonia julkaisuja, mutta suomalaisten ammattikorkeakoulujen julkaisutoiminnasta suurin osa ei päädy niihin. Julkaisuanalyyseja tehdessä kannattaa siis miettiä muita vaihtoehtoja.
Kattava tietopohja suomalaisen julkaisutoiminnan seurantaan
Suomessa julkaisujen tietoja on kerätty korkeakouluilta ja tutkimuslaitoksilta vuodesta 2011 osana opetus- ja kulttuuriministeriön tiedonkeruita ja tiedot tarjoavat monipuolisen ja kattavan tietopohjan suomalaisen julkaisutoiminnan kehityksen seurantaan.
Tietoja on alun perin kerätty tilastoinnin sekä korkeakoulujen rahoitusmallin laskennan tueksi, mutta vuonna 2020 avatun Tiedejatutkimus.fi -palvelun myötä ne ovat hyödynnettävissä myös muihin käyttötarkoituksiin, esimerkiksi korkeakoulujen omille verkkosivuille.
Tiedejatutkimus.fi kokoaa laajasti myös muuta tietoa tutkimuksesta, kuten julkisten ja yksityisten tutkimusrahoittajien hankkeista, Suomessa toimivista TKI-asiantuntijoista ja tutkimusaktiviteeteista sekä tilastotietoa tutkimuksen henkilöstön, rahoituksen sekä julkaisujen tieteellisen vaikuttavuuden kehityksestä. Hiljattain Tiedejatutkimus.fi-palvelussa käyttöönotettu uusi työkalu tarjoaa tutkijoille ja TKI-asiantuntijoille mahdollisuuden oman profiilin luomiseen, mikä mahdollistaa omaa tutkimustoimintaa kuvaavien tietojen kokoamisen useista eri lähteistä yhteen paikkaan.
Tulevaisuudessa palvelun vakiintuessa ja sen käytön yleistyessä se tulee helpottamaan eri alojen asiantuntijoiden löytämistä Suomessa. Lisäksi se tulee luomaan kansallisesti pohjaa myös vastuulliselle arvioinnille, kun asiantuntija voi itse päättää, mitä tietoja haluaa omasta TKI-toiminnastaan tuoda näkyville ja tuottaa esimerkiksi erilaisten arviointitilanteiden tueksi.
Yhtenä suurimpana haasteena liittyen eurooppalaisen sopimuksen mukaiseen tutkimuksen arvioinnin uudistamiseen on se, ettei kansainvälisesti tai edes kansallisesti ole vielä päästy yhteisymmärrykseen siitä, mitä monipuolisesti TKI-toimintaa kuvaava aineisto voisi olla, miten sitä voitaisiin luotettavasti kerätä tai miten sitä voitaisiin vastuullisesti hyödyntää erilaisissa arviointilanteissa.
Suomessa vastuullisen tutkimuksen ja tutkijan arvioinnin edistämiseksi on tehty yhteistyötä työryhmissä ja verkostoissa jo ennen sopimusta. Kansallista toimintaa koordinoi Tieteellisten seurain valtuuskunta (TSV) ja työryhmissä ja verkostoissa on edustettuna koko suomalainen tutkimusyhteisö, joten foorumi uudenlaisten aineistojen ja niiden hyödyntämisen määrittelyyn on olemassa. Lisäksi TSV on sopimuksen toimeenpanoa edistävän yhteenliittymän (Coalition for Advancing Research Assessment, CoARA) puitteissa jättänyt alustavan hakemuksen kansallisen osaston perustamisesta, joka tulee vahvistamaan sekä jo tehtävää yhteistyötä että osallistumista kansainväliseen keskusteluun.
Suomessa ollaan kansainvälisesti katsottuna edelläkävijöitä vastuullisemman tutkimuksen ja tutkijan arvioinnin edistämisessä. Pitkään jatkunut tiivis kansallinen yhteistyö tarjoaa hyvän tuen myös kattavan tietopohjan kokoamiselle. Eurooppalainen sopimus on sopusoinnussa sitä kaksi vuotta aiemmin julkaistujen kansallisten suositustemme kanssa, joten uutena sen myötä tuli oikeastaan vain aikataulu uudistusten toteuttamiselle sopimuksen allekirjoittaneille organisaatioille.
Paljon voidaan ja kannattaakin tehdä kansallisessa yhteistyössä, mutta jokaisen organisaation on aina itse tehtävä valintansa sen suhteen, mitä aineistoja ja menetelmiä missäkin arvioinnissa käytetään perustuen sille, miksi arvioidaan ja mihin arvioinnin tuloksia halutaan käyttää.
Kirjoittajat
Laura Himanen, YTM, projektipäällikkö, CSC – Tieteen tietotekniikan keskus, laura.himanen(at)csc.fi.
Yrjö Leino, TkL, vanhempi sovellusasiantuntija, CSC – Tieteen tietotekniikan keskus, yrjo.leino(at)csc.fi
Hanna-Mari Puuska, FT, johtaja, Digitaaliset palveluekosysteemit, CSC – Tieteen tietotekniikan keskus, hanna-mari.puuska(at)csc.fi.
Lähteet
European University Association, Science Europe, European Commission, & Stroobants, K. (2022). Agreement on reforming research assessment. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf.
Helsinki Initiative on Multilingualism in Scholarly Communication. 2019. Helsinki: Federation of Finnish Learned Societies, Committee for Public Information, Finnish Association for Scholarly Publishing, Universities Norway & European Network for Research Evaluation in the Social Sciences and the Humanities. https://doi.org/10.6084/m9.figshare.7887059.
Hicks, D., Wouters, P., Waltman, L., de Rijke, S. & Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Nature 520, 429–431. https://doi.org/10.1038/520429a.
Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Sham, M. H., Barbour, V., Foeger, N. & Dirnagl, U. 2020. The Hong Kong Principles for assessing researchers: Fostering research integrity. PLoS Biol 18(7): e3000737. https://doi.org/10.1371/journal.pbio.3000737.
San Francisco Declaration on Research Assessment. 2012. https://sfdora.org/read/.
Vastuullisen tutkijanarvioinnin työryhmä. 2020. Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus. Helsinki: Tiedonjulkistamisen neuvottelukunta ja Tieteellisten seurain valtuuskunta. https://doi.org/10.23847/isbn.9789525995268.
Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R., Kerridge, S., Thelwall, M., Tinkler, J., Viney, I., Wouters, P., Hill, J., & Johnson, B. 2015. The Metric Tide: Report of the independent review of the role of metrics in research assessment and management. https://doi.org/10.13140/rg.2.1.4929.1363.
Abstract
To date, 34 Finnish organisations have signed the European agreement on reforming research assessment. At the core of the agreement is acknowledging the diversity of research activity instead of relying on quantitative indicators with very limited ability to describe research activity. The reform is especially important for organisations aiming for societal impact in addition to scientific quality and impact, as societal impact is notoriously difficult to measure. To be able to genuinely assess the diversity of RDI activity requires new types of qualitative data.
However, before we can realise the commitments of the agreement, we need to come to a mutual understanding on what these new types of data could be, how they could be collected reliably and how they could be used in different evaluation settings in a responsible way. In Finland, reaching a mutual understanding is supported by several working groups and networks the members of which represent the research community.
