Yhteinen ja kumuloituva hankearviointi: Case Laurea

Mitä tarkoittaa tuloksekas ja vaikuttava hanke? Miten näitä ominaisuuksia voidaan todentaa? Laurea-ammattikorkeakoulussa on vuosina 2022–2023 kehitetty hankearvioinnin käytäntöjä ja arviointityötä helpottavia malleja. Tavoitteena on kehittää arviointikäytäntöjä, jotka tukisivat yksittäisten hankkeiden toteutusta ja tuloksellisuutta, arviointitiedon kumuloitumista eli hankkeissa tuotetun arviointitiedon kertymistä ja tulkintaa sekä organisaation oppimista.
Tässä artikkelissa pohdimme hankkeiden vaikuttavuuden määrittelyä ja tunnistamista sekä kertyvän arviointitiedon hyödyntämistä. Kuvaamme artikkelissa hankearvioinnin kehittämistä ja arviointitiedon keräämisen suunnittelua.

Arviointi, vaikutukset ja vaikuttavuus ovat käsitteitä, joita määritellään eri tavoin. Hankkeissa voidaan arvioida toiminnan etenemistä prosessina, hankkeen seurauksia tai saavutuksia, toiminnan tuloksia, yhteiskunnallista vaikuttavuutta tai rahoittajan asettamien tavoitteiden, kuten esimerkiksi kestävän kehityksen periaatteiden toteutumista. Vaikutukset ovat ymmärrettävissä suoraviivaisempina ja helpommin tunnistettavina seurauksina hankkeen toiminnasta kuin vaikuttavuus, joka viittaa laajempiin muutoksiin yhteiskunnallisessa keskustelussa tai päätöksenteossa (Pulliainen, 2021; Pulkkinen, 2023).

Hankearviointia voi tehdä suppeasti tai laajasti. Suppea arviointi voi perustua esimerkiksi palautekyselyihin ja hanketilastoihin. Arviointia voidaan tehdä tarpeen vaatiessa laajemminkin suunnittelemalla tutkimusasetelma ja keräämällä uutta määrällistä ja/tai laadullista aineistoa hankkeen toiminnasta vaikutusten ja vaikuttavuuden todentamiseksi. Ammattikorkeakoulun tai muun koulutus-, tutkimus- ja kehittämisorganisaation sisäistä kehittämistä varten arviointitietoa olisi myös hyvä kerryttää riittävän yhdenmukaisessa ja vertailtavassa muodossa. Tämä voi tapahtua määrällisesti esimerkiksi hanketyön eri vaiheissa tehtävillä kyselyillä ja laadullisesti vaikkapa avovastauksin tai kirjallisesti toteutetulla itse- tai vertaisarvioinnilla.

Arvioinnin ei pitäisi olla irrallinen osa hanketta. Tutkimus- ja kehittämishankkeen arjessa voidaan joutua reagoimaan ketterästi uusiin tilanteisiin, kokeilemaan uusia ideoita ja tekemään muutoksia suunniteltuihin toimenpiteisiin. Jos hankkeen arviointi on irrallinen hankkeen toimenpiteiden toteutuksesta, voi tapahtua tietokatkoksia, ja arviointi voi myöhästyä toimenpiteiden toteutuksesta. Arvioinnin onnistunut suunnittelu ja toteutus vaativat ajantasaista tietoa siitä, mitä hankkeessa tehdään. Sen käytössä on oltava riittävästi dokumentaatiota sekä mahdollisesti erikseen kerättyä aineistoa. Irrallisena hankkeiden arviointi voi myös näyttäytyä ylimääräisenä työnä tai pakollisena pahana, ja sitä ei välttämättä hyödynnetä hanketoiminnan ja kehitystyön tukena.

Hankearvioinnin kehittäminen Laureassa

Laurea-ammattikorkeakoulussa arviointia tehdään hankkeissa säännöllisesti, sillä usein rahoittaja edellyttää arviointia ja sen raportointia. Laureassa havahduttiin kuitenkin pari vuotta sitten, että arviointiosaamista ja -keinoja kyllä on, mutta osaaminen on hajallaan eri puolilla organisaatiota. Yhteisten käytäntöjen kehittäminen todettiin tärkeäksi, sillä se helpottaisi hanketoimijoiden työtä ja tekisi arviointia yhteismitallisemmaksi. Arviointiosaaminen on tärkeää kaikissa hankkeissa. Sen merkitys myös korostuu, sillä joissain yhteishankkeissa arviointi määritellään juuri ammattikorkeakoulujen vastuulle.

Laureassa hankearvioinnin kehittäminen lähti liikkeelle arjen hanketyöstä ja huomiosta, että hankearvioinnilla on erilaisia merkityksiä ja se ymmärretään eri tavoin. Tämän myötä hankearvioinnin kehittämisestä kiinnostuneet asiantuntijat ehdottivat organisaation sisäisen TKI-hankkeiden arvioinnin periaatteiden ja eri muotojen kirkastamista. Kehitystyötä varten koottiin työryhmä, joka on työskennellyt 1–2 vuoden ajan muiden tehtävien ohella ja osana VoimaProfi-hanketta (Empowering People Towards Socially Inclusive Society) sekä muita hankkeita, joissa arviointi on ollut Laurean vastuulla.

Työryhmän jäsenet kartoittivat Laureassa olemassa olevia käytäntöjä ja kokemuksia hankearvioinnista sekä tutustuivat niin muiden korkeakoulujen käytäntöihin kuin hankearviointikirjallisuuteenkin. Selvitystyön pohjalta muotoiltiin ensimmäiset versiot hankearvioinnin ohjeista ja työkaluista. Kehittämistyössä on ollut sparrailuapuna myös Metropolia-ammattikorkeakoulun arvioinnin asiantuntija.

Arviointia varten on monenlaisia kehikkoja ja työkaluja eri painotuksin. Yleensä ydin on kuitenkin sama. Laureassa lähdettiin liikkeelle arvioinnin yleiskuvauksen, arvioinnin aikajanan ja tarkistuslistan sekä arviointisuunnitelmapohjan laatimisesta. Arvioinnin yleiskuvauksen tarkoituksena on kuvata keskeisiä käsitteitä ja arvioinnin peruslogiikkaa muun muassa vaikuttavuusketjun (esim. Heliskoski ym., 2018) avulla. Arvioinnin aikajana ja tarkistuslista ovat käytännönläheisempiä työkaluja arvioinnin toteutukseen. Arviointisuunnitelmapohja puolestaan ohjaa tarkentamaan arvioinnin kohteet ja menetelmät. Tarkoituksena on lisäksi kehittää valmiita lomakepohjia, joilla voi kerätä määrällistä ja laadullista aineistoa ja joita voi muokata hankkeiden tarpeisiin sopivaksi.

Hankearvioinnin työpajatyöskentely

Tuotetut työkalut testattiin hankearvioinnin työpajoissa, joihin osallistui 30–40 henkeä kahdessa samalla formaatilla pidetyssä tilaisuudessa. Työpajojen rakenteesta ja fasilitoinnista vastasi palvelumuotoilija. Työpajoissa käytyjen keskustelujen ja niistä saadun palautteen mukaan toiveena oli, ettei arvioinnista tulisi erillistä muodollisuutta jo olemassa olevan työmäärän päälle. Hankkeiden arjessa arvioinnin tulisi olla riittävän yhdenmukaista ollakseen hanketoimijoille helposti toteutettavaa, mutta riittävän muuntuvaa mukautuakseen erilaisten hankkeiden tavoitteisiin ja työtapoihin. Arviointitiedon kerääminen pitäisi integroida osaksi jo käytössä olevia järjestelmiä, tavoitteena ”rakenteistettu tieto”. Tämän ohella tuli esiin, että ”kokemuksellisen tiedon kerryttäminen [on] myös tärkeää”.

Työpajoissa pohdittiin lisäksi sitä, miten ja minkälaista rakenteistettua arviointitietoa hankkeista kannattaisi kerryttää organisaatiotasolla. Hanketiedon kumuloitumisen vuoksi tietojen keräämisen pitäisi olla helppoa ja vaivatonta. Hanketiedon käsittelyä ja analyysia varten pitää nimetä vastuuhenkilöitä, joiden työn osaksi tulee arviointitiedon kokonaiskuvan ja pidemmän aikavälin kehityksen hahmottaminen. Koska osa hankkeiden tuloksista, vaikutuksista tai vaikuttavuudesta toteutuu viiveellä, arviointi ei voi olla vain hankkeiden vastuulla. Tämänkin vuoksi vastuuhenkilöt organisaatiossa ovat tarpeen. Työpajassa myös ehdotettiin hankkeiden vaikuttavuuden esittelyä sidosryhmille. Organisaatiossa työstettyä kestävän kehityksen tavoitteiden arviointia ehdotettiin myös yhdistettäväksi hankearviointiin.

Työpajojen jälkeen hankkeiden arvioinnin tueksi kehitettyjä ohjeita ja työkaluja vielä muokataan ja pilotoidaan valikoiduissa hankkeissa. Lisäksi työpajoissa esitettyjen toiveiden mukaisesti kootaan arviointimenetelmäkirjasto tai infopankki tukemaan projektipäälliköitä ja muita TKI-toimijoita hankkeiden arviointiin liittyvässä työssä hanketoiminnan eri vaiheissa. Tavoitteena on, että tehdyn kehitystyön lopputuloksena syntyy organisaation tarpeisiin suunniteltu ja eri laajuisiin hankkeisiin skaalautuva hankearviointi, joka sulautuu osaksi sekä hankkeiden suunnittelun (pre-award) että hankkeiden toteuttamisen (post-award) arkea.

Lopuksi

Parhaimmassa tapauksessa hankearviointi edistää hankkeen suunnittelua ja toteutusta ja auttaa pääsemään parempiin tuloksiin. Kun arvioinnin näkökulma otetaan tarpeeksi ajoissa hankkeen suunnittelussa mukaan, se auttaa määrittelemään täsmällisempiä tavoitteita ja toimenpiteitä tavoitteiden saavuttamiseksi. Hankkeen aikana toteutettu arviointi myös mahdollistaa toiminnan kehittämisen arviointitiedon pohjalta. Arviointi voi siis auttaa tekemään asioita paremmin. Toive siitä, että arviointi ei saisi aiheuttaa ylimääräistä työtä, kuvastanee sitä, että arvioinnin hyötyjä tai sen oleellisuutta hanketyössä ei nähdä täysimääräisesti.

Arviointiosaaminen on olennainen osa TKI-hankkeissa työskentelevien osaamista. Jokaisella toimijalla olisi hyvä olla siitä edes suppea käsitys, ja osa voi perehtyä aiheeseen syvemmin. Arviointi otetaan Laureassa osaksi projektipäälliköiden koulutusta, ja siitä järjestetään jatkossa tiiviitä koulutuksia kiinnostuneille samalla tavalla kuin esimerkiksi palvelumuotoilusta tai fasilitoinnista. Arvioinnista pyritään viestimään jatkossa tietyn tunnisteen alla, jotta viestintää on helpompi seurata.

On ollut hyödyllistä perehtyä hankearvioinnin eri muotoihin ja kuulla muiden korkeakoulujen hankearvioinnin käytännöistä. Ammattikorkeakoulut Suomessa varmastikin hyötyisivät vertaiskehittämisestä tässäkin asiassa, ja jopa yhteinen hanke arvioinnin kehittämisen teemasta voisi olla tarpeen.

LISÄÄ AIHEEN YMPÄRILTÄ / RELATED POSTS