Salla Sipari, Sari Helenius & Nea Vänskä
Tutkimus-, kehittämis- ja innovaatiotoiminnan (TKI) on vastattava moninaisiin tarpeisiin yhteiskunnan nopeassa muutoksessa. Yhteiskunnallisten haasteiden ja kompleksisten TKI-ilmiöiden ratkaiseminen vaatii uudistuvaa osaamista, eri näkökulmien yhdistelyä ja vuorovaikutusta tutkijoiden sekä niiden tahojen välillä, joita TKI-ilmiö koskee. TKI-toiminnassa korostuu kumppanuuksien ja ekosysteemien vahvistaminen samoin kuin osallisuutta edistävien ja vaikuttavien toimintatapojen kehittäminen, kun tavoitteena on TKI-toiminnan laadun parantaminen (Valtioneuvosto 2023).
Monialainen ja verkostomainen toimintatapa vaatii uudenlaista arviointia, joka kohdistuu yhteistoiminnan laatuun TKI-prosessissa. Tässä artikkelissa keskitytään tarkastelemaan osallistuvan tutkimuskumppanuuden kehittävää arviointia ja sen vaikuttavuutta TKI-kumppanuudessa.
Osallistuvan TKI-kumppanuuden arviointi
Osallistuvalla TKI-kumppanuudella tarkoitetaan tutkijoiden, kansalaisten, ammattilaisten ja muiden aiheeseen liittyvien toimijoiden kumppanuuteen perustuvaa osallistumista TKI-prosessin kaikissa vaiheissa. (Sipari ym. 2022a.) Osallistuvassa TKI-kumppanuudessa mahdollistuu moninäkökulmainen ymmärrys, yhdessä oppiminen ja arkeen kiinnittyvä tutkimus ja parhaiden käytänteiden kehittäminen tulevaisuutta varten. Tämäntyyppisen TKI-toiminnan arviointi edellyttää systeemistä vaikuttavuusajattelua ja kehittävää arviointia, mikä osaltaan vahvistaa TKI-toiminnan vaikuttavuutta.
Metropolia Ammattikorkeakoulun TKI-toimintaa on profiloitu osallistuvaan TKI-kumppanuuteen vuodesta 2019 lähtien. Osallistuvaan TKI-kumppanuuteen on luotu vahva arvoperusta ja ominaispiirteet, jotka ohjaavat uudenlaisen yhdessä tehtävän TKI-toimintakulttuurin rakentumista Metropoliassa ja sen verkostoissa. Osallistuvan TKI-kumppanuuden ydintekijät ovat yhdenvertaisen osallistumisen mahdollistaminen, moninaisen osaamisen hyödyntäminen ja systeeminen kehkeytyminen (Sipari ym. 2022a).
Kumppanuuteen perustuvassa TKI-toiminnassa rakennetaan avointa ja vastavuoroista yhteistoimintaa koko TKI-prosessin ajan. Prosessissa voidaan hyödyntää Osallistuva tutkimuskumppanuus -mallia.
Osallistuva tutkimuskumppanuus -malli yhteiskehitettiin REcoRDI-hankkeessa kuntoutuksen soveltavan tutkimuksen kontekstissa. Mallia ja sen työpohjia on edelleen kehitetty ja sovellettu ilmiölähtöiseen ja monialaiseen TKI-toimintaan Hytke-hankkeessa Metropolian kansallisissa ja kansainvälisissä verkostoissa. Malli kuvaa kumppanuusperustaista yhteistoimintaa tutkimusprosessin toisiinsa kytkeytyvissä vaiheissa (Kuvio 1).
Kumppaneita voivat tutkijoiden kanssa olla kaikki toimijat, joita tutkimusaihe koskettaa, kuten opiskelijat, opettajat, kehittäjät, yrittäjät tai kansalaiset. Lähtökohtana on se, että kaikilla osapuolilla on arvokasta asiantuntijuutta, kun tutkittua tietoa tuotetaan yhdessä. Malli on hyödynnettävissä yhdessä tehtävän tutkimuksen erilaisissa lähestymistavoissa. Malliin sisältyvä kehittävä arviointi varmistaa yhteistoiminnan ja tutkimuksen laatua ja edistää toiminnalle asetettujen tavoitteiden saavuttamista eettisesti kestävällä tavalla (Sipari ym. 2022b).
Systeeminen kehittävä arviointi TKI-toiminnassa
Vaikuttavan TKI-toiminnan tekijänä on moninäkökulmaiset, transdisiplinaariset ja ilmiölähtöiset TKI-ekosysteemit, joissa kumppanit rakentavat yhteistoimintaa jaetun tavoitteen suunnassa (Rantakokko & Sipari 2022; Strategia 2030. Metropolia 2020). Tällöin vaikuttavuuden arvioinnissa tulee olla kokonaisvaltainen ote yksittäisten toimenpiteiden, menetelmien tai palveluiden arvioinnin sijaan. Vaikuttavuutta tarkastellaan TKI-toiminnan vuorovaikutussuhteiden rikkautena, voimavarojen yhdistämisenä ja yhteisöllisenä voimaantumisena.
Yksisuuntaisiin kausaalisuhteisiin perustuva lineaarinen vaikuttavuuskäsitys ei vastaa vuorovaikutteisen toiminnan vaikuttavuuden arvioinnin tarpeisiin (ks. Patton 2011; Rodriguez-Campos 2012). Systeemisen vaikuttavuuskäsityksen kokonaisvaltainen ote puolestaan soveltuu ilmiölähtöiseen TKI-toimintaan, jossa eri osatekijät muovaavat toisiaan ja arvioinnin tulos voi olla erilainen eri ympäristöissä (Koivisto 2021).
Systeemisessä arvioinnissa ajatellaan, että kompleksisissa ilmiöissä muutos kehkeytyy monenlaisten tekojen, toimijoiden ja ympäristötekijöiden verkostossa ja yhteisvaikutuksesta (Vataja 2023). Systeeminen vaikuttavuuskäsitys ja arviointi edellyttävät uutta ja luovaa arviointitapaa, joka ohjaa navigoimaan kompleksisissa ilmiöissä tavoitteiden suunnassa ja tunnistamaan myönteisiä muutosvirtauksia tai -tarpeita.
Kehittävä arviointi on jatkuvaa arviointia TKI-prosessin jokaisessa vaiheessa. Siinä ennakoidaan tulevaa ja varmistetaan tarkoituksenmukaista toimintaa ja tavoitteiden saavuttamista. Tavoitteiden saavuttamisen lisäksi kehittävä arviointi antaa tilaa uusien odottamattomien tulosten ja myönteisten muutosten tunnistamiselle kuten toimintaan osallistuvien yksilöiden ja yhteisöjen oppimiselle, uudelle osaamiselle ja yhteisöön kuulumisen vahvistumiselle (Atjonen 2015).
Kehittävä arviointi kohdistuu siihen, mitkä tekijät vaikuttavat TKI-prosessiin ja mahdollistavat sen etenemistä tavoitteiden mukaisesti. (Patton 2011.) Sen holistinen ote vastaa kysymyksiin, miksi ja miten muutokset syntyvät eri tekijöiden vuorovaikutuksen tuloksena (ks. Vataja 2023). Kehittävä arviointi toteutuu yhteistoimijuudessa ja dialogissa kumppaneiden kanssa kärkiosaamista ja kehittämiskohteita tunnistaen. Se kuvaa toiminnan ja muutoksen luonnetta, laatua sekä ohjaa huippulaadun toteutumiseen TKI-kumppanuudessa. (ks. Fetterman 2001; Atjonen 2015.)
Kehittävä arviointi Osallistuva tutkimuskumppanuus -mallissa
Osallistuva tutkimuskumppanuus -malli sisältää kehittävän arvioinnin, joka kytkeytyy mallin jokaiseen vaiheeseen. Malli muodostuu viidestä vuorovaikutteisesta tutkimusprosessia mukailevasta vaiheesta: Tutkimuskumppanuuden käynnistäminen, Tutkimusryhmän rakentaminen, Vastavuoroinen tutkimuksen yhteissuunnittelu, Uuden tutkimustiedon tuottaminen yhdessä ja Tutkimustiedon hyödyntäminen arjessa. Eettisten tekijöiden arviointi huomioidaan osana kehittävää arviointia prosessin kaikissa vaiheissa. (Sipari ym. 2022b.)
Kehittävä arviointi varmistaa mielekkään kumppanuuden rakentumista sekä yhdenvertaisen ja vastavuoroisen osallistumisen toteutumista koko TKI-prosessin ajan eettisesti kestävällä tavalla. Käytettävät menetelmät suunnitellaan tutkimusryhmässä arviointikohteiden ja -kysymysten mukaisesti. Osallistuvan tutkimuskumppanuuden kehittävä arviointi tuo esiin olemassa olevia ja tarvittavia voimavaroja sekä vahvistaa yhteistoimintaa verkostoissa tavoitteiden saavuttamiseksi. Sen avulla tunnistetaan toimintaan vaikuttavia edistäviä ja estäviä tekijöitä sekä ratkotaan estäviä tekijöitä yhdessä. Arvioinnilla vahvistetaan tutkimusryhmän yhteistä ymmärrystä ja kuvataan TKI-kumppanuudesta nousevia hyötyjä. (Sipari ym. 2022b.)
Osallistuvan tutkimuskumppanuuden malliin sisältyy konkreettinen työpohja kehittävälle arvioinnille, joka on täytettävissä sähköisenä tai tulostettuna lomakkeena (työpohja 6, Sipari ym. 2022b). Työpohja sisältää arvioinnin kohteita ja esimerkkejä arviointikysymyksistä tutkimusprosessin eri vaiheissa. Esimerkkikysymykset voivat toimia ennakoivina tai menneeseen aikaan liittyvinä ja niitä voi soveltaa eri tilanteisiin ja tarpeisiin. Taulukossa 1 on kuvattuna osallistuvan tutkimuskumppanuuden kehittävä arviointi ja muutamia esimerkkikysymyksiä arviointikohteittain.
Taulukko 1. Osallistuvan tutkimuskumppanuuden vaiheet, arviointikohteet vaiheittain ja esimerkkejä arviointikysymyksistä.
Osallistuva tutkimuskumppanuus -malli on julkaistu myös englannin kielellä (Sipari ym. 2022c). Metropolia on varmistanut englanninkielisen mallin toimivuutta kehittävässä koulutusprosessissa. Kansainväliseen prosessiin osallistui viisikymmentä eri alojen asiantuntijaa, jotka kokeilivat ja arvioivat mallia. Malli osoittautui tarkoituksenmukaiseksi sekä hyvin sovellettavaksi ja hyödynnettäväksi kansainvälisessä TKI-kumppanuudessa. Kuviossa 2 on esimerkki sähköisestä arvioinnin työpohjasta englannin kielellä.
Osallistuvassa TKI-kumppanuudessa kehittävä arviointi tuottaa rikkaan ja moninäkökulmaisen aineiston, mikäli keskustelut ja aineistot tallennetaan systemaattisesti TKI-prosessissa. Tällöin kumppaneilla on myös mahdollisuus hyödyntää arvioinnin tuottamaa tietoa ja yhteistä ymmärrystä. Arvioinnin tulokset voivat olla laajemmin käytettävissä, kun ne raportoidaan esimerkiksi avoimena julkaisuna. Kehittävää arviointia voidaan toteuttaa myös eri hankkeiden yhteistyössä siten, että hanketoimijat fasilitoivat toistensa arvioinnin toteuttamista (esim. Helenius & Kaipainen 2023). Tällöin voi avautua uusia yhdyspintoja ja synergiaetuja, jolloin syntyy rikastettu näkymä TKI-kumppanuudessa.
Osallisuus vauhdittamassa vaikuttavuutta TKI-kumppanuudessa
Kehittävä arviointi ohjaa kokonaisuuksien hahmottamiseen ja ymmärtämiseen sekä siihen, miten kumppanuuteen perustuva yhteistoiminta vaikuttaa yhteisten tavoitteiden saavuttamiseen. Tämä arviointikeino edistää TKI-toiminnan vaikuttavuutta erityisesti sosiaalisen pääoman kasvun kautta. Se edistää kumppaneiden vuorovaikutussuhteita ja verkostojen muodostumista.
Kehittävä arviointi, joka tehdään yhdessä, mahdollistaa osallisuuden kokemisen, näkökulmien monipuolistamisen ja jatkuvan oppimisen TKI-toiminnassa. Arviointi rakentuu osallistuvassa TKI-kumppanuudessa, mikä vahvistaa TKI-toiminnan laatua, vastuullisuutta ja eettisestä kestävyyttä.
Kumppanien osallistuminen kehittävään arviointiin vahvistaa heidän tunnettaan osallisuudesta ja yhteenkuuluvuudesta yhteisöön, joka tekee merkityksellistä TKI-toimintaa. Kehittäjäkumppanit osallistuvat arviointiprosessiin vaikuttaen TKI-toiminnan laatuun ja suuntaan siten, että se edistää vaikuttavaa TKI-toimintaa ja hyvää tulevaisuutta.
Tällaisen arvioinnin parhaimmillaan tuottama voimaantuminen ja hyvinvointi eivät rajoitu pelkästään arvioinnin tekijöiden hyödyksi. TKI-kumppanuudessa toteutuva kehittävä arviointi voi tuottaa verkostoista nousevien voimavarojen kautta myös laajempaa yhteiskunnallista vaikuttavuutta.
Kirjoittajat
Salla Sipari, FT, yliopettaja, projektipäällikkö, Metropolia Ammattikorkeakoulu, salla.sipari(at)metropolia.fi.
Sari Helenius, fysioterapeutti YAMK, lehtori, Metropolia Ammattikorkeakoulu, sari.helenius(at)metropolia.fi.
Nea Vänskä, väitöskirjatutkija, TtM, lehtori, projektipäällikkö, Metropolia Ammattikorkeakoulu, nea.vanska(at)metropolia.fi.
Lähteet
Atjonen, P. 2015. Kehittävä arviointi kasvatusalalla. WSOY.
Fetterman, D. 2001. The Transformation of Evaluation into a Collaboration: A Vision of Evaluation in the 21st Century. American Journal of Evaluation 22(3); 381–385. https://doi.org/10.1177/10982140010220031.
Helenius, S. & Kaipainen, A. 2023. Vuoroin vieraissa – vertaisista vauhtia hankearviointiin. Tikissä-blogi 12.5.2023. https://blogit.metropolia.fi/tikissa/2023/05/12/vuoroin-vieraissa-vertaisista-vauhtia-hankearviointiin/.
Hytke – Kestävää hyvinvointia yhdessä tutkimalla ja kehittämällä 2023. Metropolia Ammattikorkeakoulu https://hytke.metropolia.fi/.
Koivisto, J. 2021. Lineaarisesta systeemiseen vaikuttavuuskäsitykseen.
https://innokyla.fi/fi/ajankohtaista/lineaarisesta-systeemiseen-vaikuttavuuskasitykseen.
Opetus- ja kulttuuriministeriö 2021. Kansallinen tutkimuksen, kehittämisen ja innovaatioiden päivitetty tiekartta. https://okm.fi/documents/1410845/22508665/Kansallinen+tutkimuksen,+kehitt%C3%A4misen+ja+innovaatioiden+p%C3%A4ivitetty+tiekartta.pdf/b47931b4-3490-01a4-b2e2-83193329c5ef/Kansallinen+tutkimuksen,+kehitt%C3%A4misen+ja+innovaatioiden+p%C3%A4ivitetty+tiekartta.pdf?t=1639483581267.
Patton, M. Q. 2011. Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use. The Guildford Press.
Rantakokko, M. & Sipari, S. (toim.). 2022. Kuntoutuksen soveltavan tutkimuksen strateginen tiekartta. Jyväskylän ammattikorkeakoulun julkaisuja. https://urn.fi/URN:ISBN:978-951-830-636-1.
Rodriguez-Campos, L. 2012. Stakeholder Involvement in Evaluation: Three Decades of the American Journal of Evaluation. Journal of MultiDisciplinary Evaluation 8:17. https://doi.org/10.56645/jmde.v8i17.335.
Sipari, S. & Helenius, S. & Vänskä, N. & Foster, R., & Salonen, A. O. 2022a. Osallistuva tutkimus-, kehittämis- ja innovaatiokumppanuus ammattikorkeakoulukontekstissa. Ammattikasvatuksen Aikakauskirja, 24(4), 10–27. https://journal.fi/akakk/article/view/125872.
Sipari, S. & Vänskä, N. & Lehtonen, K. & Helenius, S. & Väisänen, S. & Harra, T. 2022b. Osallistuva tutkimuskumppanuus kuntoutuksessa. OIVA-sarja 50. Metropolia Ammattikorkeakoulu. https://urn.fi/URN:ISBN:978-952-328-332-9.
Sipari, S. & Vänskä, N. & Lehtonen, K. & Helenius, S. & Väisänen, S. & Harra, T. 2022c. Participatory Research Partnership in Rehabilitation. OIVA 55. Metropolia University of Applied Sciences. https://urn.fi/URN:ISBN:978-952-328-342-8
Strategia 2030. Ilmiölähtöiset innovaatiokeskittymät. https://www.metropolia.fi/fi/metropoliasta/strategia-2030/ilmiolahtoiset-innovaatiokeskittymat.
Valtioneuvosto 2023. Tutkimus- ja kehittämistoiminnan rahoituksen käyttöä koskeva monivuotinen suunnitelma. Parlamentaarisen TKI-työryhmän 2022 loppuraportti. Valtioneuvoston julkaisuja 2023:13. Valtioneuvoston kanslia. http://urn.fi/URN:ISBN:978-952-383-978-6.
Vataja, K. 2023. Systeemisen muutoksen arviointi ja vaikuttavuus. Teoksessa Uusikylä, P. & Jalonen, H. (toim). Epävarmuuden aika. Kuinka ymmärtää systeemistä muutosta? Into Kustannus.
Developmental evaluation for impact in RDI partnerships
Impactful research, development and innovation (RDI) activity is enhanced by multi-perspective, transdisciplinary and phenomenon based RDI ecosystems, where partners build collaboration towards a shared goal. Therefore, the evaluation of RDI activities requires a systemic perception of effectiveness and a holistic approach to impact evaluation instead of evaluating individual actions, methods or services.
In this article, focus is on the developmental evaluation of participatory RDI partnerships, strengthening the achievement of the common goals and ensuring the ethical sustainability in the RDI process. Developmental evaluation in RDI partnerships is continuous and collaborative evaluation at every stage of the RDI process that guides to anticipate, develop and learn together. It generates added value not only through the production of knowledge and solutions, but also by enhancing the results’ usability in daily life, partners’ involvement and influence opportunities, as well as the sustainability and quality of the RDI activities.
