1. Johdanto
Korkeakoulujen uudistaminen niin rakenteellisen kehittämisen kuin rahoitus‐ ja hallintomallien uudistamisen muodossa vahvistuu alkaneella hallituskaudella. Ammattikorkeakoulut valmistautuvat muutoksiin aktiivisesti ja pyrkivät uudistamaan rakenteita omaehtoisesti. Yhtenä esimerkkinä on työ ammattikorkeakoulujen TKI‐toiminnan tuloksellisuutta arvioivien mittarien uudistamiseksi.
Korkeakoulujen rahoitusjärjestelmän odotetaan perustuvan tulevaisuudessa entistä vahvemmin tuloksellisuuteen mm. rahoitus‐ ja hallintomallia pohtineiden selvityshenkilöiden Hannele Salmisen ja Pekka Ylä‐Anttilan (OKM 2010) ehdotuksen mukaisesti. Merkityksen kasvaessa on kiinnitettävä entistä enemmän huomiota tuloksellisuuden arviointiin ja menetelmiin, jotta varmistutaan arvioinnin totuudenmukaisuudesta, objektiivisuudesta ja ennen kaikkea siitä, että menetelmät tuottavat tietoa oikeista asioista.
Tämä artikkeli keskittyy ammattikorkeakoulujen tutkimus‐ ja kehittämistoiminnan nykyisten ja mahdollisten tuloksellisuusmittareiden pohdintaan. Raportoin työryhmän esityksen uusiksi TKI‐ toiminnan virallisiksi tuloksellisuusmittareiksi ja artikkelin loppuosassa pohdin TKI‐toiminnan tuloksellisuuden ja vaikuttavuuden arviointia ja sen mahdollisuuksia. (1)
1 Artikkeli on koottu pilotointia ohjanneen työryhmän raportista ja kirjoittajan Korkeakoulujen laadunvarmistus koulutuksessa palautetusta kehittämishankkeesta. Kirjoittaja kiittää Eero Pekkarista, Matti Lähdeniemeä, Susannan Näreahoa ja Riitta Paasivuorta hyvästä ja rakentavasta työskentelystä sekä Juha Kettusta kehittämishankkeen kommentoinnista.
2. Tutkimuksen mittaamisen haasteet
Opetus‐ ja kulttuuriministeriö on jakanut vuosittain muutamalle parhaimmin menestyneelle ammattikorkeakoululle tuloksellisuusrahaa toiminnan volyymin, kilpaillun rahoituksen ja julkaisujen määrästä muodostetulla TKI‐toiminnan mittarilla. Mittarit ovat säilyneet lähivuosina suurin piirtein samoina:
- Kilpailtu kansallinen tutkimusrahoitus (SA, Tekes) / kokonaisrahoitus
- Kotimainen ja ulkomainen yritysrahoitus ja EU‐rahoitus / ammattikorkeakoulun kokonaisrahoitus
- Julkaisujen määrä / päätoimiset opettajat ja t&k‐henkilöstö
- Ammattikorkeakoulujen t&k‐hankkeissa suoritetut opintopisteet / läsnä olevien opiskelijoiden määrä
Lisäksi aluevaikuttavuutta ja työelämäyhteistyötä arvioidaan työllistyneiden määrän, maksullisen palvelutoiminnan tulojen määrän, yrittäjien osuuden tutkinnon suorittaneiden määrän ja avoimessa ammattikorkeakoulussa suoritettujen opintopisteiden määrän perusteella. Mittareihin on kuitenkin liittynyt seuraavassa esiteltyjä perustavanluonteisia haasteita.
Mittareiden relevanttisuus
Ammattikorkeakoulujen TKI‐toimintaa mittavat mittarit on luotu yliopistojen tieteellistä tutkimusta arvioivista mittareista. Ongelmallisin tämä on kilpaillun tutkimusrahoituksen kohdalla, jossa ammattikorkeakouluja mitataan Tekesin ja Suomen Akatemian tutkimusrahoituksen perusteella.
Ammattikorkeakouluilta odotetaan kuitenkin vahvemmin soveltavaa tutkimus‐ ja kehittämistoimintaa, jota Akatemia ei rahoita. Myös Tekes on ilmaissut toiveenaan, että ammattikorkeakoulut hakisivat rahoitusta tiedeyliopistojen kanssa yhteiskonsortioissa.
Mittarit eivät arvioi politiikkatavoitteiden toteutumista
Soveltavaa T&K‐toimintaa kuvaava yritysrahoitus ja toisaalta kansainvälinen TKI‐rahoitus on yhdistetty samaan mittariin, jolloin näiden tavoitteiden toteutumisen arviointi ei onnistu. Tuloksellisuutta mitataan tällä hetkellä julkaisujen määrässä, joka soveltavaa T&K‐toimintaa ajatellen on varsin kapea mittari. Innovaatiotoiminnalle ja vaikuttavuudelle ei ole mittaria lainkaan.
Tiedonkeruun monimutkaisuus
Tiedot kerätään tällä hetkellä kolmen eri lähteen kautta: ministeriön tiedonkeruussa Amkota järjestelmään (julkaisut, TKI‐opintopisteet ja TKI henkilötyöaika) sekä rahoitus‐ ja kustannustiedot Opetushallituksen ja Tilastokeskuksen tiedonkeruuseen. Tiedonkeruu toteutetaan tällä hetkellä eri järjestelmiin kolmessa vaiheessa keväisin. Rahoitus‐ ja kustannustiedot kerätään eri aikoihin ja erilaisin perustein tilastokeskukselle ja Opetushallitukseen, silti samassa mittarissa käytetään mitattavana määreenä tilastokeskuksen lukuja suhteessa opetushallituksen lukuihin.
Mittareiden määrittelyn tulkinta mahdollisuudet
Suurimpaan osaan mittareista liittyy perustavan laatuisia määrittelyyn liittyviä ongelmia. TKI‐ opintopisteet ovat eniten keskustelua ammattikorkeakoulujen piirissä herättänyt mittari, sillä suhteelliset pistemäärät vaihtelevat erittäin paljon ammattikorkeakouluissa. Nykyinen määrittely voidaan tulkita monin tavoin ja joissakin ammattikorkeakouluissa kohtaan lasketaan kokonaisia koulutusohjelmia. Myös muiden mittareiden tulkintaan iittyy tulkintamahdollisuuksia, jotka heikentävät mittarin objektiivisuutta.
Tuloksellisuuden arvioinnin tehtävä on mitata strategian toteutumista. Mittarit on rakennettava niin, että ne mittaavat strategisten tavoitteiden saavuttamista. (Norton ja Kaplan 1996, ks. s. 135.) Verrattaessa nykyisiä mittareita Nortonin ja Kaplanin BSC‐mallikartan neljään näkökulmaan (taloudellinen, asiakas, prosessi ja oppiminen ja kasvu) huomataan, että asiakkaan näkökulma ei välity nykyisissä mittareissa lainkaan.
3. Käytännön pilotointi analyysin ja esityksen mahdollistajana
Pilotointiryhmän työskentely käynnistyi ammattikorkeakoulujen rehtorineuvosto Arenen käynnistämän työn pohjalta. Arenen työryhmän tavoitteena oli löytää uudenlaisia ammattikorkeakoulujen tutkimus‐, kehittämis‐ ja innovaatiotoimintaa kuvaavia mittareita, jotka toisivat esille ammattikorkeakoulujen soveltavan tutkimuksen luonteen. Ryhmä teki ehdotuksen tuloksellisuusmittareista, joiden periaatteista on laaja hyväksyntä ammattikorkeakoulujen kentässä ja joita on esitelty myös opetus‐ ja kulttuuriministeriölle. Esitykseen liittyi kuitenkin vielä käytännön toteuttamisen kannalta avoimia seikkoja, joita niin Arenen hallitus kuin ministeriökin suositteli tarkentamaan pilotoinnin avulla.
Esitetyt mittarit pilotoitiin 16 ammattikorkeakoulun AMKtutka verkostossa. AMKtutka verkosto on osallistuja‐ammattikorkeakoulujensa rahoittama kolmivuotinen kehittämisverkosto, jossa tavoitteena on kehittää yhdessä T&K‐toiminnan laatua, kansainvälisyyttä ja innovaatiotoimintaa. Pilotointiin osallistui verkostosta kymmenen ammattikorkeakoulua. Työskentelyä ohjasi pieni työryhmä: Riikka Ahmaniemi AMKtutka verkostosta, Eero Pekkarinen Kemi‐Tornion ammattikorkeakoulusta, Susanna Näreaho Metropoliasta, Riitta Paasivuori Savonia‐ ammattikorkeakoulusta sekä Matti Lähdeniemi Satakunnan ammattikorkeakoulusta.
Pilotoinnin tiedonkeruu oli kaksivaiheinen. Ensimmäisessä vaiheessa kerättiin määrällisten mittarien tiedonkeruuta. Toisessa vaiheessa kerättiin laadullista aineistoa ammattikorkeakoulujen tavoiteasetantaan perustuvaa tulosaineistoa varten vasten rakennetulla itsearviointilomakkeella.
Laadullisen arvioinnin perusteella pyrittiin analysoimaan laadullisten mittareiden ja tuloksellisuutta arvioivien uusien mittareiden mahdollisuuksia toimia tuloksellisuusmittareina. Tässä artikkelissa keskitytään ensimmäisen vaiheen rapotointiin.
4. Tutkimuksen ja kehittämistoiminnan hyvän arvioinnin periaatteet
Mittareilla ja erityisesti rahoituskriteereinä käytettävillä mittareilla on suuri merkitys toimintaan. Mittareiden taustalla olevat poliittiset tavoitteet on pohdittava tarkkaan. Samoin on varmistettava, arvioivatko mittarit taustalla olevien poliittisten tavoitteiden toteutumista ja suuntaavatko ne toimintaa haluttuun suuntaan.
Euroopan komission (OECD 2010) mukaan hyvät tutkimustoiminnan indikaattorit ovat:
- tarkoitukseen sopivia (fit for purpose)
- toteen näytettävissä
- oikeudenmukaisia
- tarkoituksenmukaisia
- mahdollistavat vertailun tieteenalojen ja instituutioiden välillä
Mittarit eivät koskaan mittaa suorituskykyä täysin kattavasti ja objektiivisesti. Ihanteellisen mittarin tavoittelu johtaa herkästi työläisiin ja käyttökelvottomiin mittareihin. Toisaalta heikkoja mittareita pyritään herkästi kompensoimaan rakentamalla lisää mittareita, jolloin vaarana on tiedonkeruun paisuminen (Hansen 2010, 11). Mittaamisen ja siihen käytettävän työn välillä on löydettävä tasapaino, joka määrittää milloin mittaaminen on riittävällä tasolla.
Kansallisen Raketti hankkeen Tutki‐ryhmän Tunnusluvut ja tiedontarpeet työryhmässä sovittiin yliopistojen ja ammattikorkeakoulujen edustajien yhteiset periaatteet (Raketti‐hanke 2011) tiedonkeruun taustalle:
- Ensisijaisesti tiedonkeruun tulee perustua korkeakoulujen yhteiseen tietovarastoon, johon on määritelty rajapinnat tiedonsiirtoon korkeakoulujen operatiivisista järjestelmistä = tiedonkeruun yksinkertaistaminen.
- Korkeakoulut siirtävät vain etukäteen sovittuja tietoja sovitulta tarkastelujaksolta sovituin väliajoin
- OKM koordinoi hallinnonalansa sisäisiä ja ulkopuolisia tietotarpeita ja sopii menettelyistä, joilla niihin vastataan yhteisen tietovaraston avulla
Aiemmin kuvatut haasteet johtuvat pitkälti koordinaation puutteesta ja tiedonkeruuseen liittyvistä haasteista.
TKI‐toiminnan tuloksellisuusindikaattorien pilotoinnissa taustalle koottiin seuraavat periaatteet ohjaamaan prosessia. Hyvät mittarit
- ovat oikeudenmukaisia
- ovat tarkoituksenmukaisia
- ohjaavat tavoitteeseen – ”ei sinne päin”
- mahdollistavat vertailun
Hyvien mittareiden lisäksi tarvitaan onnistunutta tiedonkeruuta. Hyvä tiedonkeruu
- perustuu luotettavaan tietoon
- perustuu yksiselitteisiin mittareihin ja käsitteisiin
- tapahtuu luotettavasti ja yksinkertaisesti, ei vaadi käsityötä ja pitää työpanoksen suhteellisena
- on pitkäjänteistä
- vain etukäteen sovitut mittarit sovituilta tarkastelujaksoilta sovituin väliajoin
Lisäksi on todettava, että tiedon keruun määrää ei ole syytä kasvattaa ilman perusteltuja tarpeita. Pilotoinnissa myös korostettiin tuloksellisuuden – ei toiminnan – arviointia.
Hyvien mittareiden periaatteet ja erityisesti tiedon luotettavuus ja tiedonkeruutapojen yhdenmukaisuus korostuvat sellaisissa kriittisissä mittareissa, joiden tuottamaa tietoa käytetään rahoituksen jaon perusteena. Ammattikorkeakoulujen suhteellisen nuoren tutkimus‐, kehittämis‐ ja innovaatiotyön kannalta on erittäin tärkeä saada tietoa, millaisia tuloksia projekteissa syntyy ja missä, miten ja ketkä niitä hyödyntävät. Sellaiset tiedot kertovat sisällöllisesti paljon enemmän kuin volyymimittarit. Niin pitkään, kuin niiden luotettavuudesta ei ole varmuutta, rahoituksen jaon perusteena ei niitä kuitenkaan ole hyvä käyttää. Pilotointityön perusteella työryhmä esittääkin seuraavia mittareita tuloksellisuusmittareiksi.
5. Esitettävät mittarit tarkennettuna perusteluineen
TKI‐toiminnan laatu, tuloksellisuus ja vaikuttavuus
Mittari 1. Hakemuspohjainen TKI–toiminnan rahoitus / ammattikorkeakoulun kokonaisrahoitus
Mittaan liittyy nykyisellään politiikkatavoite: ”lisätään tutkimustoiminnan kilpailtua rahoitusta”.
Rahoitusta koskevat mittarit kertovat TKI‐toiminnan volyymista ja ovat siksi tärkeitä tuloksellisuusmittareita. Nykyisellä sopimuskaudella käytettävä kilpailtu tutkimusrahoitus suositellaan pilotoinnin perusteella säilytettävän tuloksellisuuden mittarina mutta muokattuna. Kilpailtu tutkimusrahoitus suositellaan muutettavaksi hakemuspohjaisen TKI‐toiminnan rahoitusta koskevaksi, jolloin mittari kuvaa ammattikorkeakoulujen toimintaa ja roolia innovaatiojärjestelmässä.
Hakemuspohjaiseen rahoitukseen sisältyy kaikki hakemuksen perusteella arvioitu ja myönnetty TKI‐ toiminnan rahoitus sisältäen nykyisen Tekesin ja Suomen Akatemian rahoituksen lisäksi EU:n rakennerahastot, EU:n muut ohjelmat (esim. puiteohjelma), säätiöt, ministeriöiden suoraan T&K‐ hankkeisiin myöntämä rahoitus jne. Nykyinen kilpaillun tutkimusrahoituksen mittari asettaa ammattikorkeakoulujen ja yliopistojen tutkimukselle samanlaiset tavoitteet, vaikka valtion taholta on useassa yhteydessä todettu niiden T&K‐työllä olevan erilainen tehtävä. Hakemuspohjainen rahoitus kuvaa paremmin ammattikorkeakoulujen TKI‐toiminnan roolia ja asemointia. Termiä hakemuspohjainen on edelleen täsmennettävä.
Kirjanpidon kautta saatavat rahoituksen luvut ovat luotettavia mittaritietoina. Tiedonkeruu on mahdollista toteuttaa Tilastokeskuksen tiedonkeruussa nykyisen määrittelyn mukaisesti, jossa kerätään tiedot rahoituslähteittäin valtion hallinnonalalta, muista julkisista rahoituslähteistä (SITRA, Finnvera), kotimaisista rahastoista ja säätiöistä, EU‐rahoituksesta sekä muista kansainvälisistä järjestöistä (esim. CERN, ESA, OECD, YK).
Ohjeisiin työryhmä suosittelee lisättävän tarkennuksia mm. hallinnointiin ja valmisteluun liit yvien kustannusten sisällyttämisestä sekä tarkennukset hankkeiden ammattikorkeakoululle myönnetystä rahoitusosuuksista ja tilinpäätöksessä näkyvästä rahoituksesta. Ammattikorkeakouluissa on erilaisia tulkintoja kansallisen vastinrahan kirjaamisesta valtion rahoitukseen ja alkuperäiseen rahoituslähteeseen. EU‐hankkeissa mahdollinen kansallinen vastinraha on hyvä sisällyttää ulkopuolisen rahoittajan rahoitukseen, koska tällä hetkellä toteuttaja ei voi aina seurata sitä irrallaan EU‐rahasta.
OPH:n ja Tilastokeskuksen rahoitusta koskevien tietojen keruiden ohjeiden ristiriitaisuus on aiheuttanut sekaannusta TKI‐toiminnan laskentaan. TKI‐toimintaa koskeva tiedonkeruu tulisi keskittää Tilastokeskukseen ja ammattikorkeakoulujen kokonaisrahoitusta koskeva tiedonkeruu määrittää Tilastokeskuksen perusteella, jolloin TKI‐toiminnan kustannuksia koskevaa rahoitusta ei lasketa kahteen kertaan kuten nyt. Tämä ongelma mahdollisesti poistuu rahoitusjärjestelmää uudistettaessa. Myös vertailulukuna käytettävä ammattikorkeakoulujen kokonaisrahoitus on täsmennettävä.
Mittari 2. TKI‐toiminnan suora asiakasrahoitus / ammattikorkeakoulun kokonaisrahoitus (suoraan yrityksiltä ja julkisilta kumppaneilta TKI‐toimintaan saatu rahoitus)
Nykyisen mittaan liittyvän politiikkatavoitteen, ”lisätään tutkimustoiminnan kilpailtua rahoitusta”, työryhmä suosittelee korvattavan tavoitteella ”lisätään työelämää ja aluekehitystä tukevaa soveltavaa TKI‐työtä”.
Suoran asiakasrahoituksen mittari kuvaa, kuinka paljon kumppanit ovat valmiita sijoittamaan rahaa toimintaan kuvaten tuloksellisuutta välillisesti. Nykyisessä tuloksellisuusmittarissa (Yritysrahoitus ja EU‐rahoitus / amk‐kokonaisrahoitus) ammattikorkeakoulujen yrityslähtöistä toimintaa kuvaava mittari hukkuu esim. rakennerahastoista tulevaan rahoitukseen.
Tiedonkeruu on mahdollista toteuttaa Tilastokeskuksen nykyisen määrittelyn mukaisesti, jossa kerätään tiedot kuntien, kotimaisten yritysten ja yrityksiä palvelevien järjestöjen sekä ulkomaisten yritysten antamasta rahoituksesta. Pilotoinnissa mittari todettiin helpoksi ja luotettavaksi tiedoksi kerätä.
Mittari edellyttää muutamia tarkennuksia: suoran asiakasrahoituksen käsitettä tulee tarkentaa. Pilotoinnissa osa oli laskenut mittariin julkisen rahoituksen alle myös hakemuspohjaisen julkisen rahoituksen. Lisäksi mittariin olisi tarkennettava, luetaanko siihen amk‐omisteisten yritysten tulokset.
Suhteelliset osuudet ovat pieniä, joten työryhmä pohti vertailuluvuksi ammattikorkeakoulun kokonaisrahoituksen sijaan TKI‐toiminnan kokonaiskustannusta (Tilastokeskus). Vertailuluku ei kuitenkaan ole yhtä yksiselitteinen kuin kokonaisrahoitus, joten työryhmä päätyi esittämään nykyisen säilyttämistä ennallaan.
Mittari 3. TKI–toiminnan kansainvälinen rahoitus / ammattikorkeakoulun kokonaisrahoitus, sisältäen
- Ammattikorkeakoulun kansainvälisistä rahoituslähteistä peräisin oleva TKI–toiminnan rahoitus
- Sellaiset kansallista rahoitusta saaneet hankkeet, joiden kansainväliset partnerit saavat rahoitusta samaan hankkeeseen.
Mittaan liittyisi politiikkatavoite: ”lisätään tutkimustoiminnan kansainvälistä rahoitusta”.
Pilotoinnin perusteella suositellaan kansainvälisen rahoitusmittarin käyttöönottoa. Mittari mahdollistaisi tärkeän tavoitteen, kansainvälisen tutkimusrahoituksen, seuraamista. Pilotoinnissa mittari erotteli pilottiammattikorkeakoulut selkeästi.
Tiedonkeruu ei tällä hetkellä ole mahdollista toteuttaa Tilastokeskuksen nykyisen määrittelyn mukaisesti. Tilastokeskus kerää tiedot ulkomaisten yritysten sekä muiden kansainvälisten järjestöjen (esim. CERN, ESA, OECD, YK) rahoituksesta sekä muusta ulkomaisesta rahoituksesta. Ongelmia aiheuttaa EU‐rahoitus, jota Tilastokeskus ei erottele suoraan EU:sta tulevaan rahoitukseen (kansainvälinen rahoitus) ja rakennerahastojen kautta tulevaan EU‐rahoitukseen (kotimainen rahoitus). Tämä muutos voisi kuitenkin opetus‐ ja kulttuuriministeriön suosituksesta olla mahdollinen. Lisäksi mittariin todettiin kuuluvaksi sellaiset kansainväliset rahoitusohjelmat, jotka edellyttävät kansainvälisiä partnereita vaikka rahoitus jaetaankin kansallisten väylien kautta (esim. AAL). Kansallisen rahoituksen saaminen kuitenkin edellyttää, että partnerit saavat samasta väylästä kansallista rahoitusta samaan hankkeeseen. Näiden tietojen saaminen edellyttäisi ammattikorkeakoulujen sisällä tiedonkeruiden samankaltaistamista tarkennettujen ohjeiden mukaisesti.
Ohjeisiin työryhmän mielestä mittarissa on hyvä tarkentaa, sisältyykö mahdollinen vastinraha mittariin, mikäli EU‐rahoitus kokonaisuudessaan tulisi säilymään mittarissa. Myös kansainvälisen rahoituksen kohdalla työryhmä pohti vertailulukuna ammattikorkeakoulun kokonaisrahoituksen sijaan TKI‐toiminnan kokonaiskustannusta (Tilastokeskus). Vertailuluku ei kuitenkaan ole yhtä yksiselitteinen kuin kokonaisrahoitus, joten työryhmä päätyi esittämään nykyisen säilyttämistä ennallaan.
Mittari 4. Julkaisujen määrä / henkilöstö
Pilotoinnin perusteella työryhmä esittää mittaria säilytettäväksi: julkaisujen määrä / opettajien ja T&K‐henkilöstön lukumäärä.
Nykyisen mittaan liittyvän politiikkatavoitteen: ”kohotetaan suomalaisen tutkimuksen laatua ja tuottavuutta, työryhmä suosittelee korvattavan tavoitteella ”kohotetaan ammattikorkeakoulujen tutkimus‐, kehitys‐ ja innovaatiotoiminnan tulosten hyödyntämistä ja leviämistä”.
Mittari osoittaa projektien tulosten levittämistä tavalla, joka voidaan nykyisen tiedonkeruun avulla todentaa. Tulosten raportointi on oleellinen osa projektien toimintaa. Uusi julkaisuluokittelu on selkeä ja siinä nousee esille myös taiteellinen toiminta.
Mittariin on syytä sisällyttää nykyisen julkaisuluokittelun muut luokat paitsi opinnäytteet (G) ja patentit ja keksintöilmoitukset (H). Nykyisessä arvioinnissa kirjat saavat kaavassa painokertoimen 2. Painokerroin tulisi suhteuttaa politiikkatavoitteeseen, jolloin esimerkiksi ehdotetulla politiikkatavoitteella julkaisuluokkien D ja E merkitys voisi korostua. Pilotointiryhmän yhteisenä kantana oli painokertoimen poistaminen. Parhaillaan käynnissä olevassa Raketti‐hankkeessa on kehitetty yliopistojen julkaisutoimintaan erillistä julkaisufoorumia, jonka työryhmä näkee kankeana ja ammattikorkeakouluille asetettujen TKI‐toiminnan tavoitteiden kannalta ei niin relevanttina arviointiväylänä.
Julkaisulukujen tiedonkeruusta huolehtivat kirjastot, joiden puolesta ei pilotoinnissa noussut esille ongelmia. Pilotoinnissa vertailuluvun (päätoimiset opettajat ja T&K‐henkilöstö) määrittäminen herätti sen sijaan kysymyksiä. Nykyisessä tiedonkeruussa esimerkiksi TKI‐toiminnan tukihenkilöitä ei lasketa T&K‐henkilöstöön vaan muuhun henkilöstöön. He voivat olla kuitenkin aktiivisia julkaisijoita. Vertailuluvuksi esitetäänkin yksiselitteisemmin päätoimista henkilökuntaa.
TKI‐toiminnassa suoritettujen opintopisteiden määrä / läsnä olevat opiskelijat
Pilotoinnin perusteella työryhmä esittää mittaria TKI‐toiminnassa suoritettujen opintopisteiden määrä / läsnä olevat opiskelijat säilytettäväksi mutta siirrettäväksi koulutuksen asiakokonaisuuteen kuvaamaan opintoprosessin laatua.
Mittariin sisällytetään tutkintoon johtavan koulutuksen opiskelijoiden suorittamat opinnäytetöihin, harjoitteluun ja muuhun opiskeluun sisältyvät opintopisteet, jotka on
- suoritettu ammattikorkeakoulun tutkimus‐ ja kehittämishankkeissa kalenterivuonna
- suoritettu yritysten, julkisten tai muiden yhteistyökumppaneiden tehdyissä tutkimus‐ ja kehittämishankkeissa kalenterivuonna
- suoritettu muina oppimistehtävinä TKI‐toiminnassa kuitenkin niin, että opiskelijan tähän luettavien opintopisteiden osuus täyttää hankkeen kriteerit
- Tutkimus‐ ja kehittämistoiminnan määritelmänä käytetään Tilastokeskuksen tiedonkeruussaan käyttämää virallista määritelmää http://www.tilastokeskus.fi/til/tkke/
Hankkeen tulee täyttää seuraavat kriteerit:
- Hanke on kokonaisuus, joka tähtää uuden osaamisen tuottamiseen systemaattisella toiminnalla tiedon lisäämiseksi ja tiedon käyttämistä uusien sovellusten löytämiseksi ja levittämiseksi.
- Hanke on budjetoitu (resurssit kohdennettu) aikataulutettu, johdettu ja sillä on seuranta ja arviointi määritelty. Hanke voi olla osa suurempaa hankekokonaisuutta (osatoteutus).
Hanke sisältää:
a) suunnittelun
b) toteutuksen
c) raportoinnin
d) levittämisen
Mittaan liittyy politiikkatavoite: ”kehitetään korkeakouluopetuksen työelämävastaavuutta kytkemällä työelämä sekä tutkimus‐ ja kehitystyö tiiviimmin osaksi opetusta”.
Mittari on vakiintunut ammattikorkeakoulujen toimintaan ja tiedonkeruu on vakiintunut toteutettavaksi Asion tai Winhan kautta. Pilotoinnin aikana käydyissä keskusteluissa mittari on nähty olevan tärkeä erityisesti opetuksen, TKI‐toiminnan ja työelämän integraatiota kuvaavana mittarina ja sillä on myös tärkeä ohjaava vaikutus. Näillä perustein työryhmä suosittelee mittarin säilyttämistä.
Mittari kertoo nykyisellä määrityksellä ja nykyistä politiikkatavoitetta vasten vahvemmin opetuksen uudistamisesta kuin varsinaisesta TKI‐toiminnasta, sen vuoksi työryhmä esittää sen siirtämistä koulutuksen mittareihin.
Mittarilla on suuri vaikutus TKI‐toiminnan ja opetuksen integroinnin muotoihin. Mikäli mittari määriteltäisiin hyvin tiukasti esim. ulkopuolisella rahoituksella toteuttaviin T&K‐hankkeisiin, sulkisi se hyvin laajan osan nykyisestä toiminnasta pois. Pilotoinnissa ehdotettu hankkeistettu TKI‐toiminta tarkentaa määrittelyä osaksi ja sulkee esim. kokonaisen koulutusohjelman toteuttamisen pois mittarista. Se ei kuitenkaan sulje laajaa osaa toiminnasta pois, sillä hankkeistaminen voi tapahtua esim. yrityksen ja opiskelijan välillä. Pilotoinnin perusteella opintopisteitä ei ole syytä rajata ammattikorkeakoulun omiin hankkeisiin vaan kyseeseen voisivat tulla myös yritysten tai muiden työelämän organisaatioiden kanssa tehdyt hankkeet.
OKM:n uuden ohjeistuksen mukaisesta etukäteismäärityksestä pilotointiryhmä antoi sekä positiivista että negatiivista palautetta. Harjoittelujen ja opinnäytetöiden kohdalla etukäteismäärittely saattaa olla teennäistä kun työ saattaa edetä eri suuntaan kuin on aiottu.
Ohjeisiin työryhmä suositteli muutamia lisättäväksi ohjeistukseen pilotoinnissa olleen hanketyypittelyn ja lisätarkennuksia. Tilastokeskuksen määritelmä T&K‐toiminnasta on väljä eikä rajaa sisältöä kovin tarkkaan. Nykyiset tarkennukset XDW‐oppaassa ovat selkeyttäneet määritystä. Innovaatiotoimintaa kuvaava nykyinen tarkennus on syytä jättää mittariin.
Taiteellisten suoritusten opintopisteet eivät tule nykyisellä määrittelyllä näkyväksi. Uuteen julkaisuluokitteluun tehty määrittely taideteollisesta toiminnasta on syytä ottaa käyttöön myös opintopisteisiin.
6. Onko tutkimuksen tuloksellisuuden arviointi mahdollista?
Tutkimus‐ ja kehittämistoiminnan sekä innovaatiotoiminnan tuloksellisuuden arviointi on vaikeaa. Erityisen vaikeaa mittareiden löytäminen tuntuu olevan soveltavalle tutkimus‐ ja kehittämistyölle ja sen tuloksellisuuden ja vaikuttavuuden arvioinnille. Yliopistojen rahoitusmallissa tutkimuksen tuloksellisuuden osuus on 8,4 % yliopistojen kokonaisra sisältyvät seuraavat tunnusluvut (Raketti Tutki 2010):
- Tutkija ja opettaja HTV,
- Tohtoritavoitteet
- Tohtoritoteuma
- Suomen Akatemian rahoitus
- Tekesin rahoitus
- Kansainvälinen tutkimusrahoitus
- Referee‐julkaisut
- Muut julkaisut
- Kansainväliset vierailut
Professori Hansen (2010, 4) on koonnut eurooppalaisia tutkimus‐ ja yliopistojen tutkimusta arvioivia mittareita ja arviointitapoja. Hän jakaa tutkimuksen mittarit kolmenlaisiin arviointitapoihin:
- Tutkimuksen suorituskykymittarit arvioivat tyypillisesti panos–oiminta–tuotos‐suhdetta (taulukko 2)
- Vaikuttavuuden arviointi (tieteellisessä tutkimuksessa tyypillisesti sitaatioendiksit)
- Laadulliseen luokitukseen tähtäävä arviointi (arviointipaneelit)
Muutamissa maissa tutkimusta arvioidaan yhdellä arviointityypillä. Osassa maista taas hyödynnetään kahta tai kolmea arviointityyppiä. Näistä kolmesta suorituskyky arviointi on tällä hetkellä käytössä suomalaisten ammattikorkeakoulujen TKI‐toiminnan tuloksellisuuden mittarina. Esimerkkejä käytetyistä mittareista eri mittarityypeissä on koottu seuraavaan taulukkoon.
ERA‐alueelle (European Research Area) (ERA 2010) ollaan kehittämässä mm. Euroopan Komission toimesta yhteisiä tutkimustoiminnan mittareita, jotka paremmin ottaisivat huomioon tutkimustoiminnan tuloksellisuutta ja vaikuttavuutta. Käytössä ja pohdinnassa olevia mittareita on koottu yhteen eri tahojen kommentoitavaksi. Ehdotetut mittarit ovat pääosin aluekohtaisia.
Eurooppalaista soveltavien yliopistojen verkostossa UASNETissa on toteutettu Eduprof‐hanketta, jossa yhtenä osa‐alueena on pohdittu yhteiseurooppalaisia soveltavan TKI‐toiminnan mittareita. Pilotoinnin kautta välitetään suomalaisesta kehitystyöstä tietoa myös eurooppalaiseen verkostoon. Yhteistyötä ja pilotointia jatketaan AMKtutka verkostossa mm. hankkeessa esitettyjen mittareiden pohjalta:
- Number of new artefacts and services in professional fields
- Number of publications relevant to professional fields
- Number of presentations relevant to professional fields (incl. conferences, events, posters)
- Funding (third party funding, chairs co‐funded by industry, proof of concept fund/seed fund/pre‐seed fund)
- Number of start‐up firms/spin‐offs ‐ (start‐ups per year)
- Number of patents/licenses
- Number of continuous Professional Development (CPD) courses offered as result of research
- Number of students involved in research (active participation in projects of a minimum size)
- Number of teachers involved in research ‐ (as a % of the total fte capacity of teaching)
- Number of new (parts of) study programs resulting from research activities
- Number of publications/presentations/appearances in popular media
- Number of prestigious awards and prizes won
- Collaboration within relevant networks ‐ number of companies / organization
- Number of new products, services for consumers and citizens
Vaikuttavuutta arvioitaessa suorituskykymittarit osoittautuvat heikoiksi (kritiikistä ks. esim. Lemola ym. 2008). Vaikuttavuuden arviointiin liittyy monia muita vaikeuksia. Yksitäisen organisaation, esimerkiksi ammattikorkeakoulujen vaikutusta on vaikeaa tai mahdotonta osoittaa todeksi.
Tutkimuksen vaikuttavuuden arviointia on pyritty kehittämään muutamilla suurilla projekteilla. Suomessa Akatemian ja Tekesin yhteistyönä on kehitetty laaja vaikuttavuuden arvioinnin vaikuttavuuskehikko, jossa vaikuttavuutta arvioidaan neljällä alueella, joissa kussakin on määrällisiä indikaattoreita 20–40 (Lemola ym. 2008). Jari Ritsilä ym. ovat rakentaneet yliopistojen yhteiskunnalliselle vuorovaikutukselle barometriä, joka koostuu 12 mittaristosta ja 16 alateemasta sekä kuhunkin niihin liittyvästä 3–5 mittarista (OPM 2007, liitteet 1–6). Vaikuttavuuden arviointi onkin työlästä, ja vaarana on, että siihen käytetty työ ylittää varsinaisesti saavutettavat hyödyt.
Oman vaikeutensa ammattikorkeakoulujen TKI‐toiminnan tuloksellisuuden ja vaikuttavuuden arviointiin tuo niiden omalaatuinen vielä muokkaantumassa oleva TKI‐toiminnan rooli kansallisessa innovaatiojärjestelmässä. Yhteisesti käytettäviä laadullisia mittareita ei ole vielä kehitetty. Suomessa muutama ammattikorkeakoulu on toteuttanut ulkoisia TKI‐toimintansa arviointeja (Seinäjoen ammattikorkeakoulu 2010, Laurea 2011, Jyväskylän ammattikorkeakoulu 2011), joissa kuitenkin arviointi on kohdistunut toiminnan, ei tulosten arviointiin. Opetus‐ ja kulttuuriministeriö odottaa mittareita parhaillaan olevasta kansallisesta ammattikorkeakoulujen TKI‐toiminnan arvioinnista, jossa kansainvälisen arviointiryhmän odotetaan pureutuvan aiheeseen vuoden 2011 lopulla.
Vaikuttavuuden mittareita ollaan kehittämässä monella taholla. Innovaatiotoiminnan mittaaminen ja arviointi ovat vielä uusi asia. Pitkään käytettyjä immateriaalioikeuksien hyödyntämisen mittarit – keksintöilmoitukset, patentit, spin off ‐yritykset, lisensointitulot – ovat käytettyjä ja selkeitä mittareita. Niihin liittyy kuitenkin poliittisiin tavoitteisiin perustuvia ongelmia. Useassa ammattikorkeakoulussa ei esimerkiksi patenttien omistamista pidetä tavoitteena, sillä innovaatioroolinsa mukaisesti ammattikorkeakoulu pyrkii saamaan yhteisten tutkimusprojektien tulokset kumppaniensa hyödynnettäviksi. Kumppanien hyödyntämien innovaatioiden määrän mittaria ei kuitenkaan ole vielä keksitty. Toinen suuri haaste innovaatioiden kohdalla on innovaationtason ar viointi. Suuri osa esimerkiksi pk‐yritysten ja julkisen sektorin organisaatioiden kanssa tehtävästä kehitystyöstä tuottaa varsinaisia innovaatioita pienempiä ns. renovaatioita tai inkrementaalisia innovaatioita. Tällaisia tuloksia on vaikea kirjata mihinkään.
Tutkimuksen vaikuttavuuden arvioinnin luonteen vuoksi herää pohdittavaksi kysymys, kannattako yksittäisen ammattikorkeakoulun TKI‐toiminnan vaikuttavuuden arviointia koskevia yksittäisiä kriteerejä sisällyttää tuloksellisuuden mittareihin. Vai onko vaikuttavuuden arviointia järkevämpi tehdä joko yksittäisillä arvioinneilla (vrt. tulossa oleva ammattikorkeakoulujen TKI‐toiminnan kokonaisarviointi) tai laajemmalla taholla kuten esimerkiksi rahoittajien rahoitustoiminnan vaikuttavuuden arvioinnit (vrt. Tekes arviointi, ESR‐hankkeiden alueelliset arvioinnit, esim. Ritsilä ym. 2005)? Ehkä parhaillaan KKA:n toimeenpanema kansallinen ammattikorkeakoulujen TKI‐arviointi tuo kysymykseen vastauksia.
Itsearvioinnin tuottamat tuloksellisuuden mittarit
AMKtutka‐verkoston pilotoinnin toisessa vaiheessa kerättiin tietoa ammattikorkeakoulujen sisäisistä mittareista TKI‐toiminnan tuloksellisuudesta ja vaikuttavuudesta. Työryhmä kehitti ammattikorkeakoulujen omiin strategisiin tavoitteisiin ja niiden pohjalta tulosten arviointiin perustuvan itsearviointitaulukon. Laadullisen pilotoinnin tavoitteena oli saada näkyville TKI‐ toiminnan tuloksellisuutta ja vaikuttavuutta kuvaavat tilastolliset ja laadulliset mittarit. Samalla testattiin myös kehitettyä itsearviointimallia. Pilotoinnin sai halutessaan toteuttaa itsearviointiprosessina. Kussakin arviointikohdassa kysyttiin ammattikorkeakoulun tavoitteita, sanallista arviota toteutumisesta sekä tuloksia. Tämän jälkeen oli mahdollista halutessaan antaa arvio toteutumisen tasosta. Arviointimalliin sisällytettiin seitsemän arviointikohtaa:
- TKI‐toiminnan strategialähtöisyys ja tarvelähtöisyys
- TKI‐toiminnan johtaminen ja prosessien toimivuus
- TKI‐toiminnan, opetuksen ja työelämän integrointi
- Innovaatiotoiminnan ja yrittäjyyden vahvistaminen
- TKI‐toiminnan kumppanuudet ja verkostot
- TKI‐toiminnan kansainvälisyys
- Alue‐ ja yhteiskunnallinen vaikuttavuus
Kevyesti läpivietynä itsearviointimalli vaati muutaman hengen ryhmältä 2–4 tunnin työn. Palautteissa todettiin, että malli on kattava ja nostaa esiin puutteet. Tuloksellisuuden arviointiin se tuotti runsaasti uusia ehdotuksia määrällisiä mittareista mutta hyvin vähän laadullisia. Mittareita käytiin läpi toukokuun lopussa pilotoinnin työpajassa. Jatkotyöksi niistä jää pilotointiaineiston kokoaminen tavoitteena valikoida sopivat mahdolliset mittarit yhteisiksi seurantaindikaattoreiksi, joista parhaimmat voisivat mahdollisesti tulevina kehittyä myös tuloksellisuusmittareiksi.
Yhteenveto
Pilotointiryhmän tuottaman aineiston perusteella päädyttiin neljä mittaria sisältävään esitykseen uusiksi TKI‐toiminnan tuloksellisuusmittareiksi, joka paremmin vastaa poliittisella tasolla ammattikorkeakoulujen TKI‐toiminnalle asetettuja tavoitteita. Kirjallisuuden ja empiirisen prosessin aikana tehdyn jatkuvan analysoinnin pohjalta muodostuivat periaatteet, joiden pohjalta mittarit ovat hyvin perusteltuja.
Tuloksellisuuden laadullisiin mittareihin ja vaikuttavuuden arviointiin liittyy paljon haasteita. AMKtutkan pilotoinnissa haasteisiin pureuduttiin itsearviointivälineellä mutta työ työ pääsi vasta hyvään alkuun. Työ jatkuu vielä innostuneen ryhmän toimiessa ja seuraavan vuoden puolella pääsemme julkaisemaan laadullisen arvioinnin tuottamia tuloksia.
Kirjoittaja
Riikka Ahmaniemi, projektipäällikkö, riikka.ahmaniemi(at)jamk.fi, Jyväskylän ammattikorkeakoulu, AMKtutka‐verkosto
[vc_tta_accordion active_section=”0″ no_fill=”true” el_class=”lahteet”][vc_tta_section title=”Lähteet” tab_id=”1458134585005-b3f22396-5506″]
Hanne Foss Hansen (2010) Performance indicators used in performance‐based research funding systems. OECD‐Norway Workshop on Performance‐Based Funding of Public Research in Tertiary Education Institutions. Directorate For Science, Technology And Industry, Committee For Scientific And Technological Policy.
Lemola Tarmo, Lehenkari Janne, Kaukonen Erkki ja Timonen Juhani (2008). Vaikuttavuuskehikko ja indikaattorit, Suomen Akatemian julkaisuja 6/08.
Norton David, Kaplan Robert S. (1996) Balanced Scorecard, Translating strategy into action. Boston (MA) Harvard Business School Press.
OECD (2010) Performance‐Based Funding For Public Research In Tertiary Education Institutions. Workshop Proceedings Paris, 21 June 2010.
Opetusministeriö (2007) Yliopistojen yhteiskunnallinen vuorovaikutus. Arviointimalli ja näkemyksiä yliopistojen rooleihin. Jari Ritsilä, Mika Nieminen ja Markku Sotarauta. Opetusministeriön työryhmämuistioita ja selvityksiä 2007:22.
Opetus‐ ja kulttuuriministeriön ammattikorkeakoulujen tiedonkeruukäsikirja 2010 (päivätty 9.11.2010)
Opetus‐ ja kulttuuriministeriö (2010). Ammattikorkeakoulujen taloudellisen ja hallinnollisen aseman uudistaminen. Hannele Salminen ja Pekka Ylä‐Anttila. Opetus‐ ja kulttuuriministeriön julkaisuja 2010:23.
ERA core indicators in development, Indicators for the STC 2010 report ja TABLE: ERA‐objectives and indicators ‐ with comments and discussion points.
Raketti hanke (2011) TUTKI‐TYÖRYHMÄN ”Tunnusluvut ja tiedontarpeet” raportti, saatavilla hankkeen sivuilla: http://raketti.csc.fi/
Ritsilä, Jari ja Haukka Jukka (2005), ESR‐hankkeet alueellisen osaamisen kehittämisessä – hanketoiminnan vaikutuksia Satakunna, Päijät‐Hämeen ja Keski‐Suomen maakunnissa. Väliraportti II. Opetusministeriön julkaisuja 2005:3.
[/vc_tta_section][/vc_tta_accordion]
