Osallisuutta edistämässä – Luontolähtöisen kuntoutustoiminnan vaikuttavuuden mittaaminen ORS-mittarilla

Johanna Rintala, TtM, lehtori, Tulevaisuuden terveyspalvelut, Lapin ammattikorkeakoulu

Panu Huczkowski, TtM, lehtori, Tulevaisuuden terveyspalvelut, Lapin ammattikorkeakoulu

Lataa PDF

Johdanto

Luontolähtöinen toiminta yhteiskunnan varoista kustannettuna tai ainakin yhteisistä voimavaroista subventoituna toimintana on tilivelvollinen toimintansa vaikuttavuudesta siinä missä muukin julkinen sosiaali- ja terveyspalvelujen tuottaminen. Julkisten palvelujen vaikuttavuuden arvioinnista ollaan Suomessa oltu kiinnostuneita jo vuosikymmeniä, vaikkakin sen varsinainen läpimurto lienee ajoitettavissa 2010-luvulle. Juuri tällä hetkellä usko vaikuttavuuden mahdollisuuksiin palvelujen tuottamisessa (esim. Vataja, Dufva & Parkkonen, 2019) on yhteiskunnallisella tasolla varsin korkealla, löytyyhän vaikuttavuuteen liittyviä viittauksia nykyisestä hallitusohjelmastakin helposti 30 maininnan edestä.

Vaikuttavuuden määritelmästä itsessään ei olla yhtä mieltä, mikä kertoo ainakin käsitteen monimerkityksellisyydestä ja sen soveltamisen lukuisista mahdollisuuksista. Yhteistä erilaisille sosiaali- ja terveysalan vaikuttavuuden määritelmille on, että vaikutus ymmärretään konkreettisena muutoksena (esim. Teperi 2018) asiakkaan mittauksin todennettavassa tilassa. Tässä artikkelissa nojataan tuohon em. vaikuttavuuden määritelmään sen sopiessa myös luontolähtöisen toiminnan kontekstiin. Vaikuttavuuden mittaamisella pyritään siis selvittämään, että onnistutaanko arvioinnin kohteena olevalla toiminnalla saamaan muutos aikaan toiminnan perimmäisessä tavoitteessa. Vaikuttavuuden mittaamiseen läheisesti liittyvä vaikutusketju sekä vaikuttavuuden ekosysteemin käsitteet käydään artikkelin seuraavassa vaiheessa läpi. ORS-mittarin käyttäminen ruotsalaisessa Gröna Gången -hankkeessa kuvataan artikkelin loppuosassa.

Ruotsalainen Gröna Gången -hanke on Lapin AMKin hallinnoiman Luontoa toimintaan -hankkeen kv-yhteistyöhanke. Molempien hankkeiden keskinäisestä yhteiskehittämisestä vastaa Lapin AMKin Luontoa toimintaan yli rajojen -hanke.

Vaikutusketju luontolähtöisessä toiminnassa vaikuttavuuden mittaamisen perustana

Vaikutusketju on tapa esittää ja kuvata jonkin toiminnan, palvelun tai tuotteen kyky muuttaa ihmisten elämää ja kuinka muutokset näkyvät myös laajemmin yhteiskunnassa. Vaikutusketjun avulla on mahdollista hahmottaa yhteiskunnallisen vaikuttavuuden komponentit ja niiden väliset

Vaihekaavio.

Kaavio 1. Iooi-malli (Lähde: Bertelsmann Stiftung iooi -method, kirjoittajien muokkaama)

Vaikutusketjun viimeinen pala, yllä olevassa kuvassa äärimmäisenä oikealla, on vaikuttavuus (impact), joka tarkoittaa yhteiskunnallista hyötyä. Yhteiskunnallinen hyöty voi liittyä esimerkiksi ihmisten terveyteen,  hyvinvointiin tai yhteisöjen elinvoimaan. Yhteiskunnallinen hyöty syntyy keskipitkällä (3-6 vuotta) tai pitkällä (>6 vuotta) aikajänteellä. Yhteiskunnallisten hyötyjen indikaattoreita on kehitetty lukuisia.

Jotta tavoiteltavat yhteiskunnalliset hyödyt – toiminnan vaikuttavuus – voidaan saavuttaa, on tapahduttava konkreettisia muutoksia ihmisten käyttäytymisessä, asenteissa ja monesti myös yhteisöjen ja yhteiskunnan rakenteissa. Edellä kuvattuja konkreettisia muutoksia kutsutaan vaikutuksiksi (outcome). Vaikutuslähtöisesti suunniteltu toiminta ponnistaa siis konkreettisten muutosten aikaansaamisen tavoitteesta. Vaikutukset määritetään tavoiteltavien yhteiskunnallisten hyötyjen perusteella. Konkreettisten muutosten tulee olla perusteltuja suhteessa niiden merkitykseen yhteiskunnallisten hyötyjen syntymiseen. Konkreettisten muutosten taustalla onkin usein yhteiskunnallisten muutosten analyysi, jonka perusteella niiden rooli yhteiskunnallisten muutosten taustalla on perusteltavissa. Vaikutuksien syntymisen aikaikkuna on usein keskipitkä (3-6 vuotta). Tavoitteena olevien konkreettisten muutosten toteutuminen kertoo tavoitteiden saavuttamisesta. Tälläinen konkreettinen muutos on esimerkiksi osallisuuden kokemuksen lisääntyminen, joka edelleen vaikuttaa ihmisten hyvinvointia parantavana yhteiskunnallisena hyötynä.

Kuvassa toisena on mitattava tehty työ (output), jota voidaan monissa tapauksissa kutsua myös interventioksi. Vaikuttavuuslähtöisessä toiminnassa interventioita kehitetään nopeasti ja luovasti yhdessä kohderyhmän kanssa. Tekojen täytyykin osua hyvin maaliinsa, jotta niillä onnistutaan saamaan haluttu konkreettinen muutos. Vaikuttavuustavoitteisiin pohjautuen määriteltyjen interventioiden jatkuvalla seurannalla on mahdollista reaaliaikaisesti arvioida todennäköisyyttä haluttuihin muutoksiin pääsemisessä.

Vaikutusketjun ensimmäisessä osassa esitellään tekojen vaatimia erilaisia resursseja eli panoksia (input). Panokset voivat koostua työstä, rahasta, materiaaleista, ajasta, oikeuksista, sopimuksista, osaamisesta, ideoista, kontakteista, koneista, laitteista jne. Panosten määrittelyn tulee olla riittävän laaja-alaista. Panosten määrittely mahdollistaa paitsi vaadittavien tekojen toteuttamisen, mutta lisäksi myös vaikuttavuutta ja vaikutuksia tukevien yhteistyöverkostojen tunnistamisen.

Ruotsalaisen Gröna Gången -hankkeen vaikuttavuuden mittaaminen hankkeen vaikutusketjussa kuvataan kaaviossa 2.

Kaavio 2.

Kaavio 2. (Lähde: Sitra, 2014. Muokattu kirjoittajien toimesta).

Vaikuttavuuden logiikkaketju tarkastelussa olevassa Gröna Gången -hankkeessa perustuu vaikuttavuuden kädenjälki -ajatteluun. Vaikuttavuuden kädenjälkiajattelussa toiminta suunnitellaan alusta lähtien vaikuttavuustavoitteesta käsin siten, että tavoitteet saavutetaan. Konkreettisten muutosten mittaaminen on suunniteltu tehtäväksi Outcome Rating Scale -mittarilla, johon paneudumme seuraavaksi tarkemmin.

Outcome Rating Scale vaikuttavuuden mittarina Gröna Gången -hankkeessa Ruotsissa

Gröna Gången -hankkeessa on tiedostettu erilaisten vaikuttavuutta mittaavien mittareiden erilaiset ominaisuudet ja niiden käytettävyyteen liittyvät mahdolliset haasteet. Erilaisten interventioiden kohteena olevien ihmisten konkreettisten muutosten seuraamiseen on olemassa lukuisia moniulotteisia, pätevästi ja luotettavasti muutosta mittaavia mittareita. Laajoissa mittareissa niiden metodologinen kompleksisuus, mittariston hallinnan laajuus ja niiden käyttämiseen liittyvät korkeat kustannukset ovat usein hyvin tyypillisiä. Laajat mittarit eivät sovikaan välttämättä kaikille palvelun tuottajille, eikä niiden käytettävyys aina ole riittävällä tasolla kaikkiin toimintaympäristöihin.

Gröna Gången -hankkeessa luontolähtöiseen maatilatoimintaan osallistuvien hyvinvoinnin konkrettisten muutosten (outcome) seuraamiseen mittariksi oli valittu Outcome Rating Scale (ORS).  ORS on ultralyhyt, analogiseen visuaaliseen skaalaan perustuva konkreettisten muutosten mittari. Mittarin hyvä käytettävyys tarjoaa kelpo vaihtoehdon pidemmille ja monimutkaisemmille mittareilla, koska ORS-mittarin psykometriset ominaisuudet ja käytettävyys ovat reliabiliteetin ja validiteetin osalta käyttökelpoinen kompromissi verrattuna monimutkaisempien ja pidempiin mittareihin verrattuna (Miller ym. 2003). Tämän mittarin kohdalla vaakakupissa on siis mittarin käytettävyys, sen täyttämisen nopeus ja vastakkaisella puolella on monimutkaisempien mittareiden usein työläs täyttäminen, joka vaatii runsaasti aikaa. Pidempien ja monimutkaisempien mittareiden etuna on mittarin tarjoaman tiedon yksityiskohtaisuus.

ORS-mittari on vaikuttavuuden jatkuvaan seurantaan tarkoitettu helposti käytettävä mittari, joka tarjoaa informaatiota toiminnan ohjaamisen suunnitteluun ja toteutukseen sekä vahvistaa toiminnan aikaansaamaa vaikutusta. Lukuisissa tutkimuksissa on myös todettu, että asiakkaan subjektiivinen kokemus muutoksesta omassa hyvinvoinnistaan kuntoutuksen alkuvaiheessa ennustaa varsin hyvin kuntoutuksen konkreettisia muutoksia asiakkaassa kuntoutuksen päättyessä (Miller ym. 2003 viittaa Duncan, Miller & Sparks 2000). Käyttäjän itsensä arvioilla täytettävää mittaria voidaan käyttää yli 13-vuotiaiden kohdalla jatkuvasti toiminnan aikana sekä ns. loppuarvioinnin välineenä. Ultralyhyt mittari antaakin mahdollisuuden edistymisen seurantaan interventiosta toiseen etenevässä toiminnassa.

Kuva 1.

Kuva 1. Outcome Rating Scale -mittarin osat (Scott. D. Miller ja Barry L. Duncan 2000).

Outcome Rating Scale koostuu erityisesti mittarin kolmen ylimmän janan kuvaamasta asiakkaan toiminnan määrittelystä: yksilöllinen hyvinvointi, läheiset ihmissuhteet ja sosiaaliset suhteet. Mittarissa on myös yleisen hyvinvoinnin kuvaamiseen tarkoitettu jana.

Mittari toimii siten, että asiakas laittaa merkin janalta omaa vointiaan kuvaavaan kohtaan jokaiselle10 cm pituiselle janalle. Matalat arviot ovat janan vasemmassa päässä, ja oikealla on vastaavasti korkeat arviot.

Grafiikkakaavio.

Kuva 2. ORS-mittarin tuloksien edistymisen seuranta. (Lähde: Pragmatic Tracker 2020)

Mittariin merkitty janan pituus mitataan senttimetrin kymmenesosan tarkkuudella. Senttimetreinä ilmoitettu mittaustulos vastaa ORS-mittarin pistemäärää yksinkertaisesti jättämällä janalta mitatun alkuperäisen mittaustuloksen senttimetri- yksikkö pois.  Janalta mitattu 3,2 cm vastaa siis 3,2, pistettä. Korkein mahdollinen pistemäärä ORS-mittarissa on näin ollen 40 pistettä. Interventioiden edetessä mittaustuloksista yhdistetty jana antaa hyvän kuvan asiakkaan hyvinvoinnin kehittymisestä. Useista mittaustuloksista koostettu jana sijoitetaan edistymistä kuvaavalle taulukkopohjalle.

Pohdinta

Gröna Gången -hankkeessa mittarilla onnistuttiin seuraamaa hankkeeseen osallistuvien maahanmuuttajien ja pitkäaikaissairaiden sekä pitkäaikaistyöttömien hyvinvoinnin kehittymistä. Mittarin tulosten koettiin tarjoavan osallistujille arvokasta ja ymmärrettävää tietoa omasta edistymisestään. ORS-mittaustulokset toimivat myös rahoittajan suuntaan osoituksena hankkeen toiminnan vaikuttavuudesta. Mittarista saatu tieto oli hankkeen alkuvaiheessa tärkeää myös hankkeen sidosryhmäyhteistyölle sen osoittaessa maatilavusteisen toiminnan vaikutukset osallistujiin.

Mittarin käytettävyys koettiin hyväksi hankkeessa. Myös osallistujien kanssa käydyissä henkilökohtaisissa suunnittelu- ja arviointikeskusteluissa mittarin tuloksien avulla pystyttiin tarttumaan oikeisiin asioihin positiivisten konkreettisten muutosten edistämiseksi.

Ruotsalaisen Green Care -hankkeen innoittamana ORS-mittaria on kokeiltu Luontoa toimintaan -hankkeen luontolähtöisissä toiminnoissa Pellon kunnassa ja Oulun kaupungin nuorten työpajatoiminnassa. Mittaria on kokeiltu kustomoimalla sitä omiin tarkoituksiin: Kysymyksistä viimeinen (yleinen hyvinvointi) on vaihdettu omaan hankkeen toimintaan liittyväksi kysymykseksi ja janan ääripäihin on vaihdettu hymynaama- ja irvistysnaama -hymiöt. Luontoa toimintaan -hankkeen kokeiluissa reilusti kustomoidulla mittarilla on kerätty palautetta luontolähtöisen toiminnan osana tehdyistä retkistä luontoon, jossa sen käytettävyys on myös vaikuttanut hyvältä.

Ylipäätään helposti ja nopeasti käytettävä konkreettisia muutoksia vaikuttavuutta rakentavina tekijöinä mittaava mittari tarjoaa runsaasti mahdollisuuksia luontolähtöisen toiminnan vaikuttavuuden osoittamiseen. Tämän hankkeen kokemusten perusteella ORS-mittaria kannattaa harkita, jos etsinnässä on hyvin käytettävä, nopea mittari toimenpiteiden jatkuvaan seurantaan.

Lähteet

Duncan, L., Miller, S. & Sparks, J. (2004). The Heroic Client: A Revolutionary Way to Improve Effectiveness Through Client-Directed, Outcome-Informed Therapy. San Fransisco: Jossey Bass.

Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Saila Tykkyläinen. (2018). Vaikuttavuuden askelmerkit. Työkaluja ja esimerkkejä palveluntuottajille. Sitran selvityksiä 130. Viitattu 23.11.2020 https://media.sitra.fi/2018/03/27105443/vaikuttavuuden-askelmerkit.pdf.

Miller, S., Duncan, B., Brown, J., Sparks, J. & Cloud, D. (2003). The Outcome Rating Scale: A Preliminary Study of the Reliability, Validity and Feasibility of a Brief Visual Analog Measure. Journal of Brief Therapy vol. 2 No 2, 91-100.

Teperi, J. (2018). Vaikuttavuus – mitä se on ja mitä sitten. Terve-sos -päivien esitys. Juha Teperi, dekaani, Tampereen yliopisto. Viitattu 23.11.2020 https://www.slideshare.net/THLfi/vaikuttavuus-mit-se-on-ja-mit-sitten.

Vataja, Katri, Mikko Dufva & Pinja Parkkonen. 2019. Evaluating the impact of a Futures-oriented Organization. World Futures Review, vol. 11, (4), 320-330. Viitattu 23.11.2020 https://journals.sagepub.com/doi/pdf/10.1177/1946756719858802?casa_token=yyUT2oS0sWYAAAAA:2GZU-7AEZngO4oc6Qc9FfjaroqOyjuG5zoqtV7cEk1eNNct5BdgWBFo75nHUDHNLO94MfyoRIHo.

 

Asiasanat: Luonto, vaikuttavuus, osallisuus, arviointi