Oppimisen ja koulutuksen vaikuttavuuden arvioinnin vaikeudesta

OPPIMISEN JA KOULUTUKSEN VAIKUTTAVUUDEN ARVIOINNIN VAIKEUDESTA

– Arvioinnin ja vaikuttavuuden teoreettinen käsitteentarkastelu koulutuksen ja oppimisen näkökulmasta

1 JOHDANTO

Mitä on vaikuttavuus tai mitä on arviointi? Miltä vaikuttavuuden arviointi näyttää oppimisen ja koulutuksen kontekstissa? Mitä kasvatustieteilijän tulisi tietää vaikuttavuuden arvioinnista tai mitä konkreettista hyötyä hänelle voisi olla kyseisestä tiedosta? Äkkiä ajatellen kasvatustieteilijän elämää tai tutkimuskenttää ei arviointi ja vaikuttavuus juurikaan kosketa. Toisaalta koulutuksen vaikuttavuutta arvioidaan läpi koulujärjestelmän yksittäisen opiskelijan suoriutumisen kautta, esimerkkinä tentti tai koe, koko koulutusjärjestelmän toimivuuteen, esimerkkinä PISA .

Tässä kasvatustieteen aineopintoihin kuuluvassa teemaseminaarin raportissa perehdytään edellä esiteltyihin teemoihin eli arviointiin ja vaikuttavuuteen kasvatustieteellisestä näkökulmasta. Keskeisenä kiinnekohtana voidaan pitää koulutuksen vaikuttavuutta, johon tässä raportissa pyritään avaamaan useita erilaisia näkemyksiä erilaisten käsitysten ja teorioiden avulla. Erilaisten käsitysten avulla, esimerkiksi vaikuttavuudesta, on myös kasvatustieteilijän helpompi ymmärtää koulutuksen alalla ehkä hieman outoja tuloksellisuusvaatimuksia ja odotuksia sijoitetulle rahalle.

Vaikka yhtäältä yhteiskunnassamme on vahva usko koulutukseen ja sen mukanaan tuomiin positiivisiin vaikutuksiin, toisaalta koulutukselle asetetaan paljon vaatimuksia. Koulutuksen odotetaan tänä päivänä olevan tehokasta, tuottavan merkittäviä hyötyjä niin yksilölle kuin laajemmille yhteisöille ja ennen kaikkea tuloksellista, toisin sanoen sijoitetulle rahalle on saatava vastine, taloustieteellisesti ilmaistuna mahdollisimman suuri tuotto.

Koulutus nähdään tällöin pelkästään välineellisessä roolissa, oppilaat ja opiskelijat muovattavana massana, joiden avulla pyritään mahdollisesti menestymään paremmin kansainvälisessä kilpailussa. Tällöin saattaa unohtua koulutuksen sivistykselliset arvot ja tavoitteet, puhumattakaan opettajien ja oppilaiden omista tavoitteista ja valinnoista. Koulutus voidaan nähdä myös uudistavana ja kyseenalaistavana voimana, jota on mahdotonta suunnitella täysin etukäteen saati kontrolloida.

Erilaisten näkemysten ja vaatimusten ymmärtämiseksi arviointia ja vaikuttavuutta lähestytään toisaalta melko kaukaa, perinteisen käsiteanalyysin avulla. Erilaisia käsityksiä ja käsitteitä sijoitetaan eri yhteyksiin ja erilaisten teoreetikoiden ja tutkijoiden käsityksiä vertaillaan toisiinsa. Vaikuttavuus ja arviointi kytkeytyvät kiinteästi siihen ympäristöön ja teoreettiseen viitekehykseen, joissa niitä käytetään. Tämä huomioon ottaen on tärkeää selvittää myös se, miten koulutuksen ylipäätään voidaan ymmärtää vaikuttavan. Oppimista käsittelevässä luvussa erilaisia käsitteitä avataan metaforien eli vertauskuvien avulla käsiteanalyysin sijaan.

Tämä kasvatustieteen teemaseminaarin raportti koostuu kolmesta luvusta: johdannosta, teoreettisista suuntaviivoista sekä pohdinnasta. Keskeisin ja painavin teoriaosuus esitellään toisessa luvussa, joka jakautuu kolmeen alalukuun: arvioinnin tarkasteluun, vaikuttavuuden tarkasteluun sekä koulutusta ja oppimista käsittelevään alalukuun. Viimeisessä pohtivassa ja päättävässä luvussa pohditaan tämän raportin sisältöä laajemmin kasvatustieteen tutkimuksen, koulutuksen ja käytännön kannalta.

2 TEOREETTISIA SUUNTAVIIVOJA

2.1 Mitä arvioinnilla tarkoitetaan?
Tässä alaluvussa taustoitetaan arviointia käytännön toimintana sekä teoreettisemmista lähtökohdista. Ennen kaikkea luvussa ilmenee arvioinnin moniulotteisuus ja tarkan määrittelemisen mahdottomuus. Arvioinnin ulottuvuuksista esitellään arvioinnin historia ja siinä tapahtuneet keskeiset muutokset, arvioinnin sitoutuminen arvoihin, arvioinnin ja tutkimuksen suhde, sekä arviointiin liittyvä poliittinen ulottuvuus. Luvun lopussa esitellään lyhyesti arvioinnin viimeaikainen kehitys Suomessa.

Arviointi on hyvin moniulotteinen ja -selitteinen käsite. Erilaisissa yhteyksissä arvioinnilla tarkoitetaan hyvinkin erilaisia asioita, eikä arvioinnista ole mahdollista esittää yleisesti hyväksyttyä tai täysin yksiselitteistä määritelmää. Suomalaisessa tutkimuskirjallisuudessa käytetäänkin erilaisia termejä, kuten arviointi, arviointitutkimus, evaluaatio ja evaluaatiotutkimus .

Sirkka Sinkkonen ja Juha Kinnunen (1994, 15, 28) pitävät arviointia yläkäsitteenä, jolla usein viitataan hyvin erilaisiin toimintoihin, kuten tarkastukseen tai seurantaan. Arvioinniksi kutsutaan monenlaista toimintaa ilman, että edes kyseenalaistetaan, mistä loppujen lopulta on kyse. Petteri Paasio (2003, 3) arveleekin arvioinnin olevan suomen kielen väärinkäytetyin käsite, sillä melkeinpä mitä tahansa arvostelmaa, näkemystä, arvausta tai estimaattia kutsutaan yleensä arvioinniksi.

Hyvän lähtökohdan arvioinnin määrittelylle antaa Reijo Laukkasen (1995, 315) tiivistelmä evaluaatiosta: evaluaatio on järjestelmällistä ilmiön tai asian kuvaamista sekä sen arvon ja hyödyn määrittämistä. Laukkanen liittää systemaattisuuden kontrolloituun prosessiin, jossa kerätään tietoa, analysoidaan sitä sekä raportoidaan siitä (mt.).

Arvioimiseen liittyy oleellisesti siis järjestelmällisyys, systemaattisuus. Usein pelkän arvioinnin sijaan puhutaan arviointitutkimuksesta, jolloin tutkimuksellinen ote korostuu. Toisaalta sekä arviointia että arviointitutkimusta on käytetty usein synonyyminä toisilleen (Sinkkonen & Kinnunen 1994, 30). Arviointi ja tutkimus eivät kuitenkaan ole, eivätkä voi olla täysin sama asia. Evaluaation erottaa tutkimuksesta etenkin sen käytäntöä palveleva tarkoitus. Reijo Raivolan (1995, 23) mukaan selkeä ero on tiedonintressissä: tutkimuksella pyritään lisäämään objektiivista ja intressitöntä tietoa. Evaluaatio sen sijaan pyrkii tehostamaan ja parantamaan toimintoja, jonka lisäksi evaluaatioon on sisäänrakennettu vaatimus muutoksesta (mt.; Raivola 2000, 66).

Arviointiin sisältyy tällöin selkeä arvoulottuvuus. Arvioinnissa havainnoitavaa kohdetta arvotetaan, vertaamalla sen ominaisuuksia ennalta valittuihin arvoperusteisiin, kriteereihin. Käytettävät kriteerit voivat vaihdella erittäin paljon, jolloin voidaan erottaa erilaisia arviointimalleja tai lähestymistapoja. Lisäksi arvot voivat ohjata toimintaa jo arviointitoimenpiteiden toteutuksessa, sillä kriteerit johdetaan aina arvoista. Tällöin päätetään myös se, mikä on hyvää ja toivottua, mikä huonoa ja ei-toivottua. (Sinkkonen & Kinnunen 1994, 37)

On kuitenkin esitetty, että pelkässä kriteeriperustaisessa tai tavoiteperustaisessa arvioinnissa ei havaita kaikkia vaikutuksia. Tavoiteperustaisen arvioinnin ongelmana saattaa tällöin olla arvioinnin kapeutuminen ja rajoittuminen vain toivottuihin ja tavoiteltuihin vaikutuksiin (Sinkkonen & Kinnunen 1994, 84). Vaihtoehdoksi onkin ehdotettu niin sanottua päämäärältään vapaata tai avointa arviota (goal-free evaluation). Pattonin (1997, 181) mukaan tällöin kerätään laajasti informaatiota todellisista vaikutuksista ja arvioidaan näiden vaikutusten suhdetta esitettyihin tarpeisiin. Päämäärältään vapaa arviointi on hyvin haasteellinen, sillä arvioijan tulee keskittyä pelkästään todellisiin ja mitattaviin tuloksiin, ilman perehtymistä tavoitteisiin tai tavoiteltuun hyvään (mt.). Myös päämäärältään vapaata arviointia on kritisoitu paljon ja Patton (1997, 184) ehdottaakin, että tarvittaessa arviointia tulisi tehdä joustavasti joko päämäärät mielessä pitäen tai niistä luopuen.

Täsmällisen määritelmän tekeminen arvioinnista on vaikeaa, ellei peräti mahdotonta, koska arviointi on aina riippuvaista siitä toimintaympäristöstä ja -tilanteesta, jossa arviointitietoa hankitaan ja käytetään (Sinkkonen & Kinnunen 1994, 21). Arvioinnin sanotaankin olevan kontekstisidonnaista, joten kontekstiin liitetään hyvin monenlaisia eri tekijöitä. Sinkkonen ja Kinnunen (mt., 23) liittävät arviointiin vaikuttavaan kontekstiin muun muassa arvioijan sijainnin, joka voi olla sisä- tai ulkopuolista, arvioijan tieteenala- ja kokemustaustan, sekä arvioinnin kohteiden ja kriteerien valinnat tai valitsematta jättämiset. Tällöin erilaiset arviointimallit voivat vaihdella hyvinkin paljon arvioijan alan sekä tietenkin arvioitavana olevan kohteen mukaan.

Arviointiin ei siis voida yleisesti ottaen sanoa olevan olemassa aukotonta mallia, joka olisi käyttökelpoinen ja tarkoituksenmukainen tilanteesta riippumatta. Arvioinnissa voidaan erilaisten mallien ohella erottaa myös arvioinnin ajankohta tai -kohdat. Erilaisia hankkeita ja ohjelmia on mahdollista arvioida etu- tai jälkikäteen, minkä lisäksi entistä enemmän pyritään reaaliaikaiseen arviointiin. Oleellista tällöin on huomioida arvioinnin kohteen kesto, esimerkiksi lyhytaikaista projektia ja sen vaikuttavuutta voi olla sekä tarpeetonta että miltei mahdotonta arvioida vuosien päästä.

Erilaisia lähestymistapoja ja jaotteluja itse arvioimisesta ovat esittäneet useat eri tutkijat. Erilaisten lähestymistapojen laajuudesta ja moninaisuudesta kertoo esimerkiksi George Madausin ja Thomas Kellaghanin (2000, 26–31) jaottelu, missä he erittelevät yhteensä 20 erilaista lähestymistapaa, joissa kaikissa on taustalla useita eri teoreetikkoja ja jopa omia tutkimusperinteitä.

Erilaisten lähestymistapojen runsaus ja monimuotoisuus kertoo arvioinnin pitkästä ja vaiherikkaasta historiasta. Madaus ja Stufflebeam (2000, 4) viittaavat koulutuksen arvioinnissa niinkin kauas historiaan kuin vuoteen 1792, jolloin ensimmäinen koetulos määritettiin kvantitatiivisesti, pisteyttäen. Erilaista arviointia on harjoitettu enemmän tai vähemmän tieteellisesti siis jo yli 200 vuoden ajan. Toisaalta moderni evaluaatio mielletään useimmiten vasta noin 100-vuotiaaksi (Raivola 1995, 27). Laajamittaisesti arviointia alettiin harjoittaa Yhdysvalloissa 1960-luvulla (Patton 1997, 10).

Myös suomalainen arviointikulttuuri noudattaa kansainvälisiä trendejä. Sinkkosen ja Kinnusen (1994, 62) mukaan voidaan puhua kahdesta arvioimisaallosta, joista ensimmäinen alkoi hyvinvointipalvelujen kehittämisen ja laajenemisen kaudella ja toinen 1970- ja 1980-lukujen vaihteessa. Keskeisinä muutostekijöinä arvioinnin tulemiseen on esitetty taloudellisia ja poliittisia muutoksia, jotka ovat lisänneet arviointitiedon kysyntää (mt.). Myös koulutuksen arviointi otti ensimmäiset askeleensa suomalaisessa koulutuksen piirissä 1970-luvulla, jolloin lähinnä mitattiin oppimistuloksia ja koulutussaavutuksia (Valtonen 1997, 9).

Erilaisia jaotteluja arvioinnin historiasta ja kehityskuluista on olemassa useita. Perinteisen, vuosikymmenittäin etenevän, jaottelun esittelevät George Madaus ja Daniel Stufflebeam (2000). He jaottelevat erilaiset vaiheet arvioinnin yhdysvaltalaisessa historiassa seitsemään eri aikakauden vaiheeseen: alkaen uudistusten aikakaudesta (aika ennen 1900-lukua), jatkuen tehokkuuteen ja testaamiseen (1900–1930), jota seurasi Tyleriläinen aikakausi (1930–1945) . Neljättä, viattomuuden aikakautta (1946–1957), seurasi kehityksen aikakausi (1958–1972), minkä seurauksena arviointi ammatillistui (1973–1983). Ammatillistumiselle luonnollisena jatkona seurasi arvioinnin sekä leviämisen että integroitumisen aikakausi (1983–2001). (Madaus & Stufflebeam 2000, 3–18)

Hieman samantyyliseen jaotteluun arvioinnin taustoista, historiasta ja kehittymisestä päätyvät myös Egon Guba ja Yvonne Lincoln (1989). He tosin eivät tukeudu jaottelussaan pelkästään historialliseen edistymiseen, vaan pyrkivät huomioimaan entistä paremmin arvioinnissa mukana olevat erilaiset tekijät ja arvioijan roolin. Guba ja Lincoln (1989) viittaavat erilaisten aikakausien sijaan arvioinnin kehittymisen neljään sukupolveen:
1. sukupolvi, jossa keskeistä on mittaaminen ja testaaminen.
2. sukupolvi, jossa arvioitavan kohteen kuvailu ja tavoitteiden arvioiminen on keskeistä.
3. sukupolvi, jossa kuvailun lisäksi arvioijan on tehtävä päätöksiä ja annettavan mahdollisesti tuomio.
4. sukupolvi, jota kuvaa parhaiten arviointiprosessi, missä eri osapuolet ja asianosaiset pyritään ottamaan mukaan arviointiin neuvotellen.

Molemmissa jaotteluissa korostuvat selkeät muutokset ensinnäkin mittaamisessa, joka on muuttunut ajan myötä hyvin teknisestä ja kvantitatiivisesta lähestymistavasta kuvailevampaan muotoon. Myös käytettävät välineet ovat monipuolistuneet, hyvin kvantitatiivisen mittaamisen rinnalle on noussut entistä enemmän kvalitatiivisia eli laadullisia menetelmiä. Tänä päivänä menetelmiä käytetään yhä enemmän myös rinnakkain, riippuen paljolti arvioinnin kontekstista. Raivola (1995, 40) kuvaa jyrkkää vastakkainasettelua naturalististen ja objektivististen evaluaatiomenetelmien välillä laantuvaksi.

Vaikka vastakkainasettelu erilaisten evaluaatiomenetelmien välillä onkin laantumassa, on tapahtunut selkeä siirtymä laadullisten menetelmien piiriin. Pertti Töttö (2004, 109) kuvaa siirtymää sosiaalitieteissä pois kokeellisesta lähestymistavasta prosessiarviointiin ja asianosaisten haastatteluihin. Ongelmallisena Töttö (mt.) pitää sitä, että laadullisen tiedon avulla on usein saatu juuri toivottu tulos tutkimuksesta ja intervention vaikuttavuudesta. Prosessiarviointia ja kokeellista lähestymistapaa ei kuitenkaan tulisi nähdä hierarkkisesti siten, että systemaattinen, kontrolloitu koeasetelma on huipulla ja muita evaluaatiomenetelmiä käytetään vain, kun kokeellista koeasetelmaa ei voida hyödyntää (Sefton ym. 2004). Myös koulutuksen arvioinnissa satunnaisotokseen perustuva kontrolloitu koeasetelma on edelleen hyvin vähän käytetty ja hieman vieras asetelma (Nave, Miech & Mosteller 2000, 159). Ongelmista ja ristiriidoista huolimatta molempia menetelmiä voi ja tulisi tilanteen ja mahdollisuuksien mukaan hyödyntää.

Käytettävien arviointimenetelmien lisäksi selkeä muutos on havaittavissa itse arvioijan roolissa, joka on muuttunut arvioinnin historian aikana merkittävästi. Reijo Raivola (1995, 28–37) kuvaa arvioijan roolin muuttumista seuraavasti: arvioija oli aluksi teknikko (1.vaihe), jolloin organisaation henkilöstö nähtiin vain raaka-aineena, jota voitiin tarpeen mukaan prosessoida ja mitata uudet testitulokset. Toisessa vaiheessa arvioijasta tuli kuvailija, joka eritteli ohjelman vahvuuksia ja heikkouksia tavoitteisiin suhteutettuna. Kolmannessa vaiheessa arvioijan tuli toimia tuomarina ja päättää, vertailun ja arvon määrittämisen jälkeen, onko koko ohjelma jatkamisen arvoinen. Neljännessä vaiheessa arvioija sovittelee, tuo esiin ja tiedostuttaa toimijoille erilaisista näkökulmista toimien ristiriitojen ja erilaisten näkemysten välisenä neuvottelijana ja sovittelijana. (Raivola 1995, 28–37)

Myös arvioinnin kohteessa on tapahtunut selkeitä siirtymiä. Yksittäisen opiskelijan suoriutumisesta on siirrytty kohti yleisempien ja laajempien tavoitteiden arviointia. Guban ja Lincolnin (1989, 27–28) mukaan arvioinnin toisessa vaiheessa arvioinnin kohteiksi tulivat esimerkiksi opetussuunnitelmat, organisaatiot ja ohjelmien tavoitteet. Raivolan (1995, 31) mukaan ohjelman arviointi on ollut yleisin ja keskeisin arvioinnin muoto jo yli 50 vuotta. Suurin ohjelma-arviointia koskeva kritiikki kohdistuu Raivolan (mt., 32) mukaan juuri pelkkien tuotosten tarkkailuun, jolloin epäsuotuisat tai tavoittelemattomat tuotokset saattavat jäädä huomaamatta.

Arviointiin tuli kolmannen sukupolven vaiheessa mukaan myös entistä selkeämmin arvottaminen ja vertailu. Pelkkien tavoitteiden selvittämisen lisäksi arvioijalta on vaadittu tavoitteiden saavuttamisen lisäksi tietoa siitä, miten tehokasta toiminta on ollut. Tehokkuuden ohella arvioijan tulisi selvittää ja tehdä päätös, voisiko jokin toinen toiminta olla kannattavampaa. (Guba & Lincoln 1989, 30)

Kolmannessa vaiheessa arviointitoimintaan tuli mukaan myös kaksi keskeistä arvoihin liittyvää käsitettä: merit ja worth (Raivola 1995, 34). Vaikka suomenkielessä molemmat voitaisiin kääntää suurin piirtein arvoa tarkoittaviksi, niiden taustalla on kuitenkin selkeä käsitteellinen ero. Merit liittyy Raivolan (mt.) mukaan toiminnan ansioihin ja laatuun suhteessa asetettuihin tavoitteisiin ja kontekstuaalisiin rajoitteisiin tai edistäviin tekijöihin. Worth on itse ohjelman arvon määrittämistä, jolloin kokonaisuus korostuu (mt.).

Neljännen sukupolven arvioinnissa voidaan nähdä liikkumista takaisin yksilön suuntaan, kuitenkin hieman erilaisesta näkökulmasta. Yksilön rooli muuttuu tutkittavasta osallistuvaksi. Guba ja Lincoln (1989, 40–41) nimeävät vaiheen osallistuvaksi arvioinniksi, sillä tällöin tutkittavat yksilöt ovat osapuolena itse arvioinnissa. Osallistuvassa arvioinnissa on mukana useita eri osapuolia ja asianosaisia, jotka osallistuvat arvioitavaan toimintaan (mt.).

Raivola (1995, 36) nimittää asianosaisia (stakeholder) myös arvioinnin yleisöksi. Hän erittelee arviointitoimen osapuoliksi ohjelman kehittäjät, toimeenpanijat sekä rahoittajat, joiden lisäksi arviointitoimessa voi olla myös hyötyjiä sekä uhreja (mt.). Osallistuvassa arvioinnissa korostuvat myös eri osapuolten hyvin erilaiset arvot. Tällöin puhutaan yleisesti arvopluralismista, millä tarkoitetaan juuri eri osapuolten arvojen ja erilaisten näkemysten huomioimista. Eri osapuolten kuuleminen ja pyrkimys yhteisen arvopohjan löytämiseen muodostaakin neuvotteluprosessin, jolloin pelkästä asianosaismallista muodostuu osallistuva malli (Raivola 1995, 37).

Tällöin arvioija voidaan nähdä juuri Raivolan (1995, 36) nimeämässä neuvottelijan roolissa. Neuvottelijan sijaan arvioija voidaan nimetä myös kasvattajaksi, koordinaattoriksi, laadun varmistajaksi tai kouluttajaksi (mt., 37). Neuvottelut eivät suinkaan ole ristiriidattomia tai helppoja, sillä vähänkään suuremmalla yleisöllä tai asianosaisten joukolla voi olla hyvinkin erilaiset mielipiteet arvoista ja tavoiteltavasta hyvästä. Neljännen sukupolven arvioinnissa pyritään myös arvioitavan valtauttamiseen ja tiedostuttamiseen (Raivola, Valtonen & Vuorensyrjä 2000, 14). Valtauttamista (empowerment) perustellaan demokraattisuudella ja oikeudenmukaisuudella, jolloin asianosaisia on kuultava ja heidän on voitava vaikuttaa (Raivola 1995, 45).

Vaatimus demokraattisuudesta arvioinnissa liittyy selkeästi arviointitoiminnan poliittiseen puoleen. Madaus ja Stufflebeam (2000), mainitsevat arviointeja käytetyn ensimmäisen kerran poliittisesti oman edun tavoitteluun jo 1800-luvun puolessavälissä, jolloin kouluarviointien avulla yritettiin edistää omaa politiikkaa. Arviointeja on käytetty oman edun ajamiseen, minkä lisäksi arvioinnin ja politiikan suhde on hyvin jännitteinen. Erityisesti poliittisten päätöksentekijöiden ja arviointitoiminnan välillä on pitkään vallinnut suuri epäluottamus. Patton (1997, 10) pitää ongelmana juuri politiikan ja arvioijien tulosten yhdistämistä. Päätöksentekijät pitävät tuloksia epäkäytännöllisinä ja hyödyttöminä, jolloin suurin osa arvioinneista jää hyödyntämättä (mt., 9–10).

Keskeinen ongelma on juuri arvioinnin hyödynnettävyys. Reijo Laukkanen (2004, 70) pitää ratkaisuna sitä, ettei arviointien ja niiden poliittista käyttötarkoitusta tulisi liikaa korostaa, vaan arviointi tulisi nähdä toimeksiantajan ja toiminnan kehittäjien palvelijana. Toisaalta arviointi halutaan nähdä riippumattomana toimintana, jolloin pelkona on juuri toimeksiantajan mahdollisuus vääristellä arviointia tai sen tuloksia. Laukkanen (2004, 70) pitää riippumattomuudessa keskeisenä sitä, että arvioijalla on itsenäisyys tiedonhankinnassa ja päätelmissä. Erimielisyyksistä ja ristiriidoista huolimatta arviointi valtaa entistä enemmän alaa myös politiikan kentältä. Evert Vedung (2003, 15) pitää aikamme viimeisimpänä tieteellistämisen kohteena olevana alueena juuri politiikkaa. Hänen mukaansa politiikasta yritetään arvioinnin avulla tehdä rationaalista, harkittua, tietoon perustuvaa ja tulossuuntautunutta (mt.).

Madaus ja Stufflebeam (2000, 17) näkevät viimeaikaisen arvioinnin kehityksen entistä voimakkaampana laajenemisen aikakautena. Yli kahteen kymmeneen eri valtioon on perustettu kehittyneitä arviointiyhdistyksiä ja yhteistyö eri evaluaattoreiden välillä on lisääntynyt, minkä myötä kansainvälinen yhteistyö eri maiden välillä on viime aikoina tiivistynyt (mt.). Arvioinnin kansainvälistyminen ja entistä laajemman käyttöönoton taustalla voidaan nähdä myös ulkoisia tekijöitä, jotka aiheuttivat paineita arvioinnin suorittamiseen ja hyödyntämiseen. Keskeisimpinä ulkoisina voimina on esitetty OECD:tä, Maailmanpankkia sekä Euroopan unionia. (Furubo, Rist & Sandahl 2002, Vedungin 2003, 1 mukaan)

Kovin kaukana arvioinnin olemuksesta tänä päivänä ei ole Evert Vedung (2003, 3–4), todetessaan arviointialalle olevan tunnusomaista yksiselitteisyyden sijaan rönsyilevä monimuotoisuus. Arvioinnista onkin hänen (mt., 1) mukaansa muodostunut valtava ilmiö, joka voidaan nimetä koko aikakautemme megatrendiksi. ”Arviointiaallon” (mt.) rantautuminen Suomeen näkyy selkeästi myös suomalaisen arviointitoiminnan viimeaikaisessa kehityksessä.

Viime aikoina Suomessa on tapahtunut arvioinnin yleisellä tasolla sekä eriytymistä että yhteistyön tiivistymistä. Juha Kaakinen (2004, 94) kuvaa viimeaikaista kehitystä Suomessa monipuolistumiseksi sekä -arvoistumiseksi, mutta myös pirstoutumiseksi. Yhtäältä voidaan nähdä yhteistyön ja -toiminnan vahvistuminen, esimerkiksi Suomen arviointiyhdistys ry. pyrkii yleisellä tasolla edistämään suomalaista arviointitoimintaa, -tutkimusta ja koulutusta (Suomen Arviointiyhdistys ry. 2005). Toisaalta arviointitoiminta on pirstoutunut entistä tarkemmin rajattuihin kohteisiin. Jakautuminen on osittain ollut myös tieteenalakohtaista. Arviointiyhdistyksen lisäksi on perustettu esimerkiksi Sosiaali- ja terveysalan tutkimus- ja kehittämiskeskuksen alainen FinSoc, joka on keskittynyt sosiaalialan arviointitiedon tutkimiseen ja levittämiseen. Koulutuksen arvioinnissa keskeinen julkinen toimija tänä päivänä on opetushallitus, joka määrittelee tavoitteekseen tuottaa valtakunnallista tietoa koulutuksen laadusta ja tuloksista (Opetushallitus 2005).


2.2 Mitä vaikuttavuudella tarkoitetaan?
Tässä alaluvussa keskitytään vaikuttavuuden määrittelemiseen sekä yleisellä tasolla että koulutuksen näkökulmasta. Vaikuttavuuden määritteleminen yksiselitteisesti on vähintään yhtä haasteellista kuin arvioinnin määritteleminen. Eri tieteenalojen yhteydessä vaikuttavuus määritellään hieman eri tavoin. Tässä luvussa vaikuttavuutta lähestytään aluksi erään perusmallin kautta, sijoittamalla vaikuttavuus muiden määritelmien yhteyteen. Lisäksi vaikuttavuutta tarkastellaan tarpeiden ja muutoksien näkökulmasta. Tämän jälkeen vaikuttavuutta lähestytään koulutuksen näkökulmasta. Opetushallituksen määritelmän esittelemisen jälkeen perehdytään erilaisiin teoreettisiin rakennelmiin, joilla on pyritty kuvaamaan koulutuksen vaikuttavuutta.

Myös vaikuttavuus on käsitteenä hyvin moniulotteinen ja osin sekava. Erilaisten interventioiden ja ohjelmien vaikuttavuutta tutkitaan monen eri tieteenalan piirissä, minkä lisäksi esimerkiksi koulutuksen vaikuttavuutta voidaan tarkastella sosiologian, talous- tai kasvatustieteen näkökulmasta, tai näkökulmia ja teorioita yhdistellen, poikkitieteellisesti. Eri tieteen- ja hallinnonalasta riippuen vaikuttavuudelle onkin annettu erilaisia merkityksiä ja sisältöjä, sekä yhdistetty se usein rinnakkaisiin käsitteisiin tehokkuus, taloudellisuus, laatu, tuottavuus, tuloksellisuus tai kannattavuus (Raivola, Valtonen & Vuorensyrjä 2000, 11). Raivolan, Valtosen ja Vuorensyrjän (mt.) mukaan erilaisissa käsitteistä rakennetuista malleissa voidaan erottaa taustalla piileviä arvoja, jotka malleissa tuodaan tiedostaen tai tiedostamatta esille.

Vaikuttavuutta voidaan lähestyä sijoittamalla se muiden määritelmien yhteyteen. Selkeänä perusmallina jonkin ohjelman vaikuttavuutta arvioitaessa käytetään useimmiten niin sanottua ”neljän laatikon” mallia, joka on kuvattu kuviossa 1 (Raivola, Valtonen & Vuorensyrjä 2000, 12). Arviointiohjaukseen neljän laatikon malli tuli 1980-luvun Englannista, missä malli palveli taloudellista rationalisointia (Raivola 2000, 192).


(Paina kuva suuremmaksi)



Selkeimpänä puutteena neljän laatikon mallissa on pidetty sitä, ettei mallissa huomioida ollenkaan toimintaprosesseja (Raivola, Valtonen & Vuorensyrjä 2000, 12). Tällöin ”throughput” jää epämääräiseksi ja sen laadun tarkastelu jää analyysistä pois (Raivola 2000, 194). Mallin ansioksi voi kai todeta, että siinä pyritään ensisijassa tuomaan esille selkeästi kustannukset ja panokset. Tällöin voidaan kysyä esimerkiksi Raivolan (2000, 192) mukaisesti, mitä rahalla saadaan ja onko toiminta taloudellista?

Kari Hietala (1997, 1–3) käyttää erilaista hieman erilaista lähestymistapaa pitämällä vaikuttavuutta yksiselitteisenä syynä sille, miksi jotakin toimintaa, esimerkiksi palvelua, ylipäätään toteutetaan. Hietala (mt.) määrittelee vaikuttavuuden muutoksen näkökulmasta jakamalla vaikuttavuuden kahdeksi eri tason muutokseksi. Ensimmäisen tason muutos tapahtuu palvelun vastaanottajassa, jolloin tuotos voidaan ajatella muutokseksi (mt., 1). Toisen tason muutos liittyy asetettujen tavoitteiden ja/tai tarpeiden tyydyttymiseen (mt., 2). Tällöin ensimmäisen tason muutos on keino toisen muutoksen saavuttamiseksi, eli tuotoksen avulla pyritään saamaan tuloksia (mt., 3). Juuri kahden eri tason muutoksen avulla aiempi ”neljän laatikon” -mallin vaikuttavuuden käsitettä on helpompi ymmärtää.

Vaikuttavuutta on mahdollista lähestyä myös tarpeiden tyydyttymisen kannalta. Tällöin toiminnan voidaan sanoa olevan vaikuttavaa yhtäältä silloin, kun se tyydyttää yhteiskunnan asettamia tavoitteita ja toisaalta silloin, kun toiminta tyydyttää yksilön tavoitteita, jotka ovat hänen omien tarpeiden pohjalta asetettuja (Hölttä 1991, 57). Tarpeiden tyydyttäminen voidaan yhdistää aiempaan Hietalan (1997, 3) käsitykseen muutoksista ja niiden tasoista. Hietala huomauttaa, että muutokset voivat olla täysin irrallisia, yhtyä osittain tai kokonaan (mt.). Tällöin voi olla, että yksilö ei koe omia tavoitteitansa tyydyttyneiksi, mutta virallisemmat, ylemmän tavoitteet täyttyvät kokonaan. Tilanne voi olla myös täysin päinvastainen tai jotain siltä väliltä.

Neljän laatikon mallia saattaa auttaa ymmärtämään sen taustalla oleva selkeä kiinnostus pelkästään tuloksista. Raivola (2000, 193) liittää kiinnostuksen tuloksista kiristyneeseen julkiseen talouteen ja julkisella sektorilla tapahtuneeseen siirtymään normi- ja budjettiohjauksesta tulosohjaukseen. Tulosohjauksessa toimintaa kontrolloidaan jälkikäteen tulosindikaattoreiden avulla (mt.). Kun ollaan kiinnostuneita pelkästään tuloksista ja tulosindikaattoreista, ei tarkemmalle sisällön tutkimiselle tietenkään ole tällöin sijaa. Liekki Lehtisalo (1998, 66) pitää vakavimpana uhkana tulosohjauksessa sitä, että tulevaisuuden ja laadun näkökulmat jäävät toissijaiseksi tarkasteltaessa vain määrällisesti tuloksia.

Pelkkien tulosten tarkastelu ei siis kerro koko totuutta vaikuttavuudesta. Peter Dahler-Larsen (2005, 7) pitää vaikuttavuuden arvioinnissa keskeisenä vastauksia kysymykseen: ”mikä vaikuttaa mihinkin, miten, milloin ja millä edellytyksillä?” Dahler-Larsen korostaa prosessien ja tulosten yhdistämistä, eikä rajautumista pelkästään jompaankumpaan (mt.). Vaikuttavuuteen kuuluu hänen mukaansa itse tavoiteltavan tuloksen lisäksi sekä vaikutukset että vaikuttamisen prosessi (mt.). Vaikka Dahler-Larsen kuvaakin sosiaalisten interventioiden vaikuttavuuden tutkimista, on sillä selkeitä yhtymäkohtia epäilyyn vaikuttavuuden tarkastelun rajautumisesta pelkkiin tuloksiin.

Hieman erilainen näkökulma vaikuttavuuteen saadaan tarkastelemalla vaikuttavuutta koulutuksellisesta näkökulmasta. Suomessa opetushallitus (1995) on määritellyt koulutuksen vaikuttavuutta ARMI-työryhmässä . Opetushallitus käyttää koulutuksen vaikuttavuuden määrittelyssä samoja termejä kuin aiemmin esitellyssä neljän laatikon mallissa. Opetushallituksen mallissa tuloksellisuus on kuitenkin nostettu yläkäsitteeksi, joka rakentuu taloudellisuudesta, tehokkuudesta ja vaikuttavuudesta (Yrjölä 1995, 71). Yrjölä (mt.) erittelee osa-alueet seuraavasti:
• Taloudellista koulutus on silloin, kun resurssit on asetettu optimaalisesti tavoitteiden suhteen ja käytettyjen resurssien määrä on tarkoituksenmukaista koulutuspalveluiden ja tuotantoprosessien kannalta.
• Tehokasta koulutus on silloin, opetusjärjestelyt, opetushallinto ja koulutusjärjestelmä ovat mahdollisimman tarkoituksenmukaisesti toimivia, joustavia ja ajoitettuja.
• Koulutus on vaikuttavaa, kun koulutuksen tuottamat valmiudet sekä määrällisesti että laadullisesti edistävät yksilön henkisen kasvun ohella myös työelämän, kulttuurin ja yhteiskunnan kehitystä.

Tehokkuuden, taloudellisuuden ja vaikuttavuuden lisäksi Opetushallitus (1995, 12) korostaa yhteyttä laatuun. Opetushallituksen tuloksellisuuden arviointimallissa laatu ja sen määrittely ohitetaan kuitenkin melko ylimalkaisesti, todeten, että käytännössä koulutuksen laatu on hyvin lähellä koulutuksen tuloksellisuutta (mt.). Opetushallituksen mallissa laatu halutaan erottaa muista tuloksellisuuden osa-alueista, jotka edellä esiteltiin. Laadun erillä pitämiseen muista käsitteistä on useita syitä. On esitetty, että laadun mittaaminen on hyvin vaikeaa ja erilaisten indikaattoreiden rakentaminen vähintään kyseenalaista (Raivola, Valtonen & Vuorensyrjä 2000, 14). Laatu kuitenkin on olennainen osa onnistunutta koulutusta. Täysin laatua ei kuitenkaan sivuuteta, esimerkiksi Opetushallitus korostaa laatujärjestelmien merkitystä oppilaitosten kehittämistarpeita kartoitettaessa ja osana itsearviointia (1995, 12). Laadun ja tuloksellisuuden erillään pitäminen kertoo ennen kaikkea niiden jännitteisestä suhteesta, jopa siinä määrin, ettei niitä haluta rinnastaa tai liittää samaan käsitejärjestelmään (Raivola 2000, 5).

Yhtälailla tehokkuuden ja vaikuttavuuden suhde on jännitteinen. Ongelmaksi muodostuu se, ettei pelkkä korkea käytössä olevien resurssien taso riitä selittämään oppimistuloksia (Raivola 2000, 183). Resurssit voidaan käyttää tehottomasti ja epätarkoituksenmukaisesti, jolloin voimavarat valuvat hukkaan. Korkea resurssien taso ja kallis koulutus ei kuitenkaan voi taata oppimista tukevia prosesseja, koska oppiminen on viime kädessä yksilötasolla ja sosiaalisessa kontekstissa tapahtuvaa (mt.). Koulutuksen vaikutukset jakautuvat siis eri tason muutoksiin. Tällöin korostuu se, ettei koulussa opittu siirry suoraan ja automaattisesti oppilaitoksen ulkopuoliseksi osaamiseksi (mt.).

Silloin kun vaikuttavuuden tarkasteluun otetaan erilaisia tasoja ja tarkastelukulmia, voidaan puhua prosessiarvioinnista (Seppänen-Järvelä 1999, 91). Vaikuttavuutta tarkasteltaessa prosessiarviointi tarkoittaa esimerkiksi sitä, että vaikuttavuutta tarkastellaan laaja-alaisesti. Vaikuttavuudessa voidaan tällöin erottaa vaikutukset eri tasoilla. Yleisesti vaikutukset jaotellaan vaikutuksiin yksilö-, yhteisö- sekä yhteiskuntatasolla (mikro-, meso- ja makrotasolla).

Esimerkiksi henkilöstökoulutuksessa vaikutukset on luontevaa jakaa yksilön omassa oppimisessa, työpaikalla ja yhteiskunnassa tapahtuneisiin muutoksiin. Iiris Mikkonen (1997, 21) pitää yksilötason vaikuttavuuden määrittelyssä tärkeänä yksilön persoonallisuuden ja terveen itsetunnon kehittymistä ja muotoutumista. Ongelmana ja haasteena on tällöin etenkin operationalisoinnin vaikeus (mt.). Tarkasteltaessa eri tasoja voidaan puhua kontekstuaalisuudesta, jolloin voi käydä myös niin, että koulutus on vaikuttavaa yksilön lähtökohdista katsottuna, mutta se samaan aikaan määrittyy epäonnistuneeksi sijoitukseksi yhteiskunnalle tai toisin päin (Kirjonen, Mutka, Filander & Valkeavaara 2000, 153).

Useimmiten koulutuksen vaikuttavuus liitetään Raivolan, Valtosen ja Vuorensyrjän (2000, 12) mukaan oppimistavoitteiden tai näyttöjen vastaavuudeksi, jolloin vaikuttavuus viittaa tavoitteiden saavuttamiseen. Oppiminen ja kehittyminen eivät kuitenkaan aina etene ennalta määritellysti (Rantanen 1995, 179). Tällöin voi syntyä merkittäviä oppimistuloksia, vaikkei asetettuja tavoitteita saavutettaisikaan (Raivola ym. 2000, 12). Tällöin korostuu Raivolan ym. (mt.) mukaan se, että välittömät oppimisvaikutukset ja koulutuksen ulkopuoliset vaikutukset tulee erottaa toisistaan, eli tuotos tulee erottaa vaikutuksista.

Tällöin on tärkeää tarkastella koulutuksen vaikuttavuutta usealta eri tasolta. Koulutuksen vaikuttavuuden alalla klassikon maineeseen noussut arviointimalli on Donald Kirkpatrickin (1996; 2000; 2004) nelivaiheinen malli koulutuksen vaikuttavuudesta. Kirkpatrickin mallissa eritellään oppimisen ja vaikutusten eri tasoja, jolloin välittömät oppimistulokset erotetaan vaikutuksista. Vaikka Kirkpatrick esitti ensimmäisen version hyvin yksinkertaisesta arviointimallista jo vuonna 1956 yhdysvaltalaisessa julkaisussa, voidaan hänen malliaan pitää edelleen ajankohtaisena, sillä vuonna 2006 teoksesta ilmestyy 3. uudistettu painos. Kirkpatrick (1996, 55) pitää mallinsa suosion taustalla sitä, että malli on hyvin yksinkertainen ja käytännöllinen.

Kirkpatrick (1996, 54–59; 2000, 136–144) jakaa koulutuksen arvioinnin tasot neljään vaiheeseen, jotka kaikki sisältävät oman arviointinsa:
1. Reaktioiden arviointi, missä tarkastellaan opiskelijoiden tuntemuksia ja kokemuksia koulutuksesta. Tällöin mitataan opiskelijoiden tyytyväisyyttä koulutukseen.
2. Oppimisen arviointi, missä tarkastelun keskiössä on oppiminen, tietämyksen lisääntyminen tai asenteiden muuttuminen.
3. Käyttäytymisen arviointi, jolloin tarkastellaan missä määrin koulutus muuttaa työntekijöiden työkäyttäytymistä.
4. Tulosten arviointi, jolloin tarkastellaan koulutuksen lopullisia tuloksia, kuten työn parempi tuottavuus tai parantunut laatu.

Kirkpatrick (2000, 136) korostaa, että kaikkien tasojen arviointi on tärkeää, mutta tasojen arviointi vaikeutuu sitä mukaa, mitä korkeamman tason arviointi on kyseessä. Korkeammat tasot vaativat myös enemmän aikaa, mutta tuottavat samalla arvokkaampaa informaatiota tutkittavasta koulutuksesta (mt.). Useimmiten mielenkiinto koulutusohjelmien arvioinnissa kohdistuu pelkästään kolmannen ja neljännen tason arvioimiseen, mistä voi seurata virheellisiä johtopäätöksiä (mt., 144). Useamman tason arvioinnin avulla koulutuksesta saadaan laajempi kuva ja korkeampien tasojen tuloksia on helpompi ymmärtää.

Donald Kirkpatrickin kuuluisa malli on herättänyt myös paljon kritiikkiä. Kovin kritiikki on koskenut yhteyttä eri tasojen välillä. Elwood Holton (1996) kritisoi Kirkpatrickin asteikkoa vajavaiseksi, koska eri vaiheiden välillä ei ole kausaalista suhdetta (Stoelin 2004, 46 mukaan) . Myös Donna Abernathy (1999) erittelee Kirkpatrickin mallin ongelmia, joista keskeisinä voidaan pitää mallin hyödyttömyyttä ”pehmeiden taitojen” arvioinnissa etenkin neljännellä tasolla. Tällöin väliin tulevia muuttujia on hyvin paljon, jotka vaikeuttavat arviointia. Abernathy kritisoi myös mallin käyttämistä orjallisesti huomioimatta todellisuuden monimutkaisuutta (1999, 23).

Kirkpatrickin malli pohjautuukin hyvin kvantitatiiviseen oppimisen selvittämiseksi, hyödyntäen taitojen mittaamista ennen ja jälkeen koulutusta. Kirkpatrick (2000) korostaa eri tasojen vaikuttavuuden selvittämisessä tilastotieteellistä ja kokeellista lähestymistapaa, käyttäen esimerkiksi useita mittauksia, kokonaisotantaa ja vertailuryhmää. Haastatteluja Kirkpatrick hyödyntäisi vain työkäyttäymisen muuttumista arvioitaessa (mt., 142). Voidaan ajatella, että yksittäisen konkreettisia kädentaitoja opetettavan kurssin vaikuttavuutta on helppo vertailla ennen ja jälkeen koulutusta suoritettavilla mittauksilla. Pidempi kestoisissa koulutuksissa ongelman muodostavat erilaiset väliin tulevat tekijät, joita ei ole mahdollista huomioida jälki- ja loppumittauksen välillä (Yrjölä 1995, 72).

Osittain Kirkpatrickin mallin pohjalta ja sen lisäksi on kehitetty useita erilaisia porras- tai vaihemalleja, joissa kaikissa pyritään erottelemaan eri vaiheita, joita tutkija tai kouluttaja voi hyödyntää koulutusohjelman vaikutusten arvioinnissa (Taulukko 1). Eri teoreetikoiden välillä on pieniä eroja mallien sekä tasojen välisessä yhteydessä. Kantasen (1996, 40) mukaan esimerkiksi Hamblinin (1974) mallissa eri tasot muodostavat toisiinsa kytkeytyvän ketjun, jolloin sen katketessa ylemmät tasot jäävät toteutumatta. Tämäkin tasojen välinen riippuvuus on herättänyt yhtä lailla kritiikkiä. Esimerkiksi Pekka Ruohotie (1993, 204) esittää, että varusmiesten alokaskoulutuksessa yksilöt oppivat, vaikka kaikki eivät suhtautuisi myönteisesti annettuun koulutukseen (Kantasen 1996, 42 mukaan) .



(Paina kuva suuremmaksi)




Selkeitä yhtymäkohtia taulukossa esitettyjen eri teoreetikkojen välillä on useita. Kaikissa Kantasen (1996, 43) esittelemissä malleissa oppiminen alkaa reaktioista ja koulutustoiminnasta. Yhtymäkohtia behavioristiseen oppimisnäkemykseen, joka esitellään tarkemmin seuraavassa alaluvussa (2.3), on selkeimmin kolmessa ensimmäisessä näkemyksessä koulutuksen vaikuttavuudesta. Boothe ei sen sijaan käytä termiä reaktio, joka viittaa opiskelijassa syntyvään ärsykkeeseen, vaan hän pitää ensimmäisenä tasona itse koulutustoimintaa. Boothen näkemyksessä ensimmäiseen tasoon kuuluu koulutustoiminnan arviointi, johon sisältyy esimerkiksi oppitunnit (Kantanen 1996, 43). Itse näkemys oppimiseen on Boothen mallissa hieman aikaisemmista poikkeavampi, siinä yhdistyy aikaisempien mallien reaktiot ja oppiminen (Kantanen 1996, 43). Boothen näkemys viitannee hieman behavioristista näkemystä laajempaan käsitykseen ihmisen oppimisesta.

Kaikissa taulukossa 1 esitetyissä näkemyksissä koulutuksen vaikuttavuudesta on huomattavissa lisäksi selkeä koulutuksen vaikuttavuuden siirtyminen yksilöistä ja heidän oppimisestaan kohti laajempaa oppimista ja kehittymistä. Reaktioiden ja oppimisen kautta yksilöiden työkäyttäytyminen, toisin tai laajemmin sanoen työelämän taidot ja osaaminen, kehittyvät. Tätä kautta koko koulutus vaikuttaa yksilöiden kautta heidän työorganisaatioihin ja laajemmin yhteiskuntaan. Koulutuksen leviämistä ja siirtyvyyttä nimitetään usein juuri koulutuksen siirtovaikutukseksi. Transferilla tai siirtovaikutuksella tarkoitetaan yleisesti sitä, käytetäänkö opittua uusissa ja muissa tilanteissa, kuin itse oppimistilanteessa (Soini, Rauste-Von Wright & Pyhältö 2003, 288; Tuomi-Gröhn 2000, 325–326).

Riippuen koulutuksen yleisistä tavoitteista ja luonteesta, siirtovaikutus ja sen voimakkuus korostuvat eri tavoin. Itseopiskelussa, jossa tarkoituksena on itsensä sivistäminen, ei siirtovaikutuksen tutkiminen ole kovin mielekästä. Ammatillisessa ja täydennyskoulutuksessa koulutuksen siirtovaikutus korostuu. Kärjistettynä siirtovaikutuksen merkityksen ovat esittäneet Dana ja James Robinson (1989, 210) käyttämällä yksinkertaista laskentakaavaa koulutuksen vaikutuksista: ”Learning experience x Work Environment = Business Results.” Ajatuksena taustalla on siis se, että koulutuksen hyöty voi mennä täysin hukkaan jos työyhteisö ei hyödynnä koulutusta ja sen luomaa potentiaalia yksilössä.

Kantanen (1996, 45) korostaa työyhteisön ja koulutuksen välisen vuorovaikutuksen merkitystä siirtovaikutuksen edistämiseksi. Keskeisessä roolissa itse opiskelijoiden ja koulutettavien lisäksi voidaan pitää työyhteisöjen ja organisaatioiden esimiehiä, koska ilman esimiesten hyväksyntää ja tukea koulutus ei hyödytä organisaatiota, vaikka se muuten olisi onnistunut (mt.). Esimiesten tuen lisäksi koulutettavien määrällä on merkitystä, sillä jotta vaikuttavuus ilmenisi laajalti, tarvitaan ”kriittinen massa” (mt.) ihmisiä. Tarkkaa määrää kriittiseksi massaksi lienee vaikeaa määrittää, mutta on selvää, että jos yksittäisessä työyhteisössä useampi työntekijä on suorittanut täydennyskoulutuksen, sen vaikutukset näkyvät selkeämmin työyhteisössä.

Oleellinen ja samalla ongelmallinen kysymys liittyy kuitenkin siirtovaikutuksen ja ajan väliseen suhteeseen. Yksiselitteistä vastausta siihen, milloin siirtovaikutus näkyy selvimmin työyhteisössä, tuskin on olemassa (ks. Robinson & Robinson 1989, 226–228). Oleellista kuitenkin on, että uusien taitojen, tietojen ja uudistusten hyödyntäminen vie aikaa ja se tulisi pyrkiä huomioimaan arvioinnissa. Karkeita suosituksia aikaviiveeksi on esitetty kolmesta kuuteen kuukautta (Kirkpatrick 1996, 58; Robinson & Robinson 1989, 229). Huomionarvoinen on kuitenkin ajatus siitä, että uusien taitojen hyödyntämisen kannalta kriittisin hetki on heti koulutuksen loputtua (Robinson & Robinson 1989, 228–229). Jos uusia taitoja ei hyväksytä ja niiden käyttöä suosita, ne häviävät nopeasti, eikä pysyviä käytäntöjä synny (mt.). Tällöin viivästetyssä arvioinnissa kannattaa hyödyntää pidempää aikaväliä, jotta pysyvät käytännöt tulisivat paremmin näkyviksi.

Vaikka Donald Kirkpatrickin kehittelemä ajatus koulutuksen neliportaisesta vaikuttavuudesta on edelleen hyvin vaikutusvaltainen ja saavuttanut suuren suosion vuosien saatossa, ei se suinkaan ole ainut näkemys koulutuksen vaikuttavuuteen. Mallin suosion taustalla on ollut sen yksinkertaisuus (Kirkpatrick 1996, 55), mutta toisaalta juuri sen yksinkertaisuudessa voidaan nähdä sen suurin heikkous. Liika yksinkertaistaminen ja porrastaminen kätkevät oppimisen ja koulutuksen taustaoletuksia sekä samalla yksinkertaistavat koulutusta hyvin paljon. Oppiminen nähdään siinä hyvin yksinkertaiseksi ärsykkeeseen reagoimiseksi ja käyttäytymisen muuttumiseksi. Liiallisessa yksinkertaistamisessa on vaaransa, sillä esimerkiksi käyttäytyminen voidaan nähdä pelkästään ulkoisten olosuhteiden synnyttämäksi alempi tasoiseksi toiminnaksi (Kauppi 1989, 128). Oppimisen ja kehittymisen taustalla on kuitenkin aina moni-ulotteisempia kehystekijöitä ja mahdollisuuksia, jotka saattavat jäädä huomioimatta koulutuksen vaikuttavuutta tarkasteltaessa.

Reijo Raivola, Päivi Valtonen ja Matti Vuorensyrjä (2000, 11) ovat kartoittaneet ja jäsentäneet koulutuksen vaikuttavuuden ja tehokkuuden arvioinnissa käytettyjä käsitteitä Suomen Akatemian koulutuksen vaikuttavuusohjelmassa. Aikaisempien mallien ja teorioiden perusteella he ovat luoneet yhteenvetoa ja tulkintaa, niin sanottua meta-analyysia, kokoamalla hyvin perustavan mallin koulutuksen vaikuttavuuden viitekehyksestä, joka on esitetty seuraavalla sivulla kuviossa 2 (Raivola ym. 2000, 16). Malli poikkeaa siinä mielessä edellä esitellyistä, että koulutuksen ja sen vaikuttavuuden prosessimainen luonne ilmenee aikaisempia teorioita paremmin, jolloin edellä esitellyt ristiriidat ja korrelaatiot Kirkpatrickin vaiheiden välillä ovat jossain mielessä turhia.



(Paina kuva suuremmaksi)















Kuten Raivola ym. (2000, 15) korostavat, tarkoituksena on tuoda esiin koulutuksen vaikuttavuuden prosessimaisuutta ja monia eri ulottuvuuksia. Mallin vasemmalla puolella olevat kehystekijät toimivat eräänlaisina panoksina, jotka voivat edistää tai jarruttaa oppimisprosessia (mt., 17). Yksilön potentiaalilla mallissa tarkoitetaan yksilön koulutuksellisia ja kasvatuksellisia resursseja, minkä lisäksi potentiaaliin liittyy yksilön oppimisen kehittymismahdollisuus (mt.). Huomionarvoista mallissa on juuri vuorovaikutuksellisuus kehystekijöiden (panosten) ja potentiaalin välillä. Tällöin Raivolan ym. (2000, 17) mukaan kollektiiviset oppimistuotokset ja yksilön hyödynnetty potentiaali kasautuvat ja vaikuttavat kehystekijöihin. Voisi ajatella, että esimerkiksi koulutuksen kasautuminen niille, jotka eivät sitä välttämättä tarvitsisi, selittyy osin juuri kehystekijöiden muuttumisella.

Raivolan, Valtosen ja Vuorensyrjän (2000, 16; kuvio 2) rakentamassa kokoavassa mallissa on paljon yhteistä myös Kirkpatrickin (taulukko 1) aiemmin esitetyn porrasteisen mallin kanssa. Kirkpatrickin mallin reaktiot ja oppiminen (tasot 1 ja 2) sijoittuisivat prosessimallissa suurin piirtein oppimisprosessin ja -tuotosten alueelle. Oppimisprosessia kuvaavassa mallissa taustoitetaan huomattavasti paremmin kehystekijät ja mahdollisuudet, jotka väistämättä vaikuttavat opiskelijoiden oppimisprosessiin. Prosessimallissa tuodaan myös paremmin ilmi se, että koulutus luo yksilölle potentiaalia hyödyntää oppimaansa, mitä kautta työkäyttäytyminen (taso 3 Kirkpatrickilla) voi muuttua ja kehittyä. Kirkpatrickin tulokset (taso 4) voitaisiin sijoittaa oppimisprosessimallissa vasemmalle alhaalle, koulutuksen relevanssin alueelle.



Kahden esitellyn mallin välillä on myös eroja. Kirkpatrickin neljän tason malli poikkeaa hieman Raivolan, Valtosen ja Vuorensyrjän prosessimallista. Huomionarvoista on etenkin oppimisen jatkuva kehämäisyys oppimisprosessimallissa, mikä Kirkpatrickin neliportaisesta mallista puuttuu. Kirkpatrickin (2000, 139) neliportaisessa mallissa kehitys on pikemminkin yksisuuntaista, joka voi kuitenkin pysähtyä, jollei työpaikalla huomioida ja tueta kehittymistä ja oppimista. Prosessimallissa korostuu paremmin se, että koulutuksella on vaikutuksia, vaikka työpaikalla koulutuksen vaikutukset eivät suoranaisesti näkyisikään. Prosessimallissa oppimistuotokset vaikuttavat kehystekijöihin suoraan, riippumatta siitä hyödyntääkö yksilö potentiaaliaan työpaikalla tai laajemmin yhteiskunnassa. Työyhteisö voi jäädä siis hyötymättä koulutuksesta, mutta oppimistuotokset eivät kuitenkaan mene hukkaan.


2.3 Metaforia koulutuksen ja oppimisen taustalla
Michael Quinn Patton (1981, 93) esittelee ajatuksen metaforista, joita voidaan hyödyntää arviointia tehtäessä. Patton (mt., 94) korostaa metaforien ja vertauskuvien roolia siksi, että niiden avulla on mahdollista nähdä yhteyksiä erilaisten, jopa odottamattomien, asioiden välillä. Parhaimmillaan metaforat parantavat ymmärrystä, selventävät käytettyjä käsitteitä sekä tuovat ilmi piileviä sivumerkityksiä (mt., 101–102). Metaforat siis tuottavat merkityksiä rinnastusten avulla, jolloin yhtä seikkaa tulkitaan tai selitetään toisen kautta (Lehtonen 2004, 12). Kun maailmaa tulkitaan ja merkityksiä avataan, metaforien merkitys korostuu, koska erilaisten metaforien kautta syntyy erilaisia tulkintoja kuvattavista kohteista (mt.).

George Madaus ja Thomas Kellaghan (2000, 20) korostavat metaforien ja ajattelumallien merkitystä ja ymmärtämistä koulutuksen arvioinnin taustalla, koska koulutukseen suhtautuminen vaikuttaa paljon siihen, kuinka koulutusta arvioidaan. Hyvin vaikutusvaltaisena ja vielä tänäkin päivänä ajattelumallien taustalla vaikuttavana metaforana on esitetty ajatus koulutuksesta tehtaana (mt.).

Kun koulutus mielletään tehdasmuotoiseksi tuotannoksi, sitä voidaan ohjailla rationaalisesti vaatien koulutuksen tuotoksina yhtäläisyyttä, täsmällisyyttä, tarkkuutta sekä standardinomaisuutta (Madaus & Kellaghan 2000, 20). Voidaan ajatella, että tehdasmuotoista koulutusta ohjaavat pikemminkin markkinoiden lait, jolloin uusinta teknologiaa hyödyntämällä pyritään mahdollisimman tehokkaaseen tuotantoon, jossa poikkeamat tuotoksissa minimoidaan ja lopputuloksena on tarkkojen suunnitelmien mukainen lopputulos. Tehdasta voidaan ajatella myös putkena tai tuotantolinjana, johon yksilö laitetaan muokattavaksi tai koottavaksi, ja mistä yksilö aikanaan tulee ulos valmiina tuotteena. Tehdas-metaforassa tärkein väline koulutuksen onnistuneisuuden mittaamiseen ovat standardisoidut testit, jolloin myös vertailu eri opiskelijoiden välillä on mahdollista (Madaus & Kellaghan 2000, 21). Samalla korostuu opiskelijoiden ja kouluttajien vastuu koulutustuotoista (mt.).

Kliebard (1972) tiivistää tehdas-metaforan seuraavasti: opettajat ja kouluttajat ovat korkeasti koulutettuja teknikkoja, jotka tarkasti etukäteen laaditun opetussuunnitelman mukaisesti työstää raakamateriaalista loppuun asti vietyjä ja käyttökelpoisia tuotteita. Koulutuksessa pyritään tehokkaaseen tuotantoon suosimalla tehokkaimpia menetelmiä ja välttämällä raaka-aineiden tuhlausta. Tulevat työnantajat ovat lopputuotteen pääasiallisia käyttäjiä. (Madauksen ja Kellaghanin 2000, 21 mukaan)

Tehdas-metaforassa koulutus nähdään pelkästään välineellisessä roolissa. Silloin kun koulutus ymmärretään välineenä johonkin, sitä hyväksikäyttämällä ja kehittämällä tavoitellaan koulutuksen ulkopuolisia tavoitteita (Lampinen 1998, 13). Koulutusta itsessään ei pidetä mitenkään erityisen arvokkaana, vaan lopputulos ja se, miten ulkopuoliset tavoitteet täyttyvät ovat ensisijaisia. Esimerkiksi työvoimapoliittisen koulutuksen arvo määrittyy sen mukaan, kuinka tehokkaasti se vaikuttaa työvoimapoliittisten tavoitteiden saavuttamiseen (mt., 15).

Koulutuksen näkeminen pelkästään tehtaana tai teknologisesti tarkoin säädeltävänä toimintana on usein kuitenkin kaukana todellisuudesta. Suurimpina ongelmina tehdas-ajattelun sovittamisessa todellisuuteen on pidetty esimerkiksi sitä, ettei massatuotanto sovellu kouluihin eikä opettajia voida nähdä kokoonpanolinjan osina (Madaus & Kellaghan 2000, 22). Myös oppijan rooli tehdas-ajattelussa on mitätön, sillä hänet nähdään vain koottavana osana, mikä on hyvin kaukana käsityksestä ihmisestä ajattelevana olentona. Madaus ja Kellaghan (mt.) huomauttavatakin hieman sarkastisesti, että tehdas-ajattelussa koulun erottaakin tavallisesta tehtaan tuotantolinjasta se, ettei koulutukselle anneta takuuta.

Koulutusta voidaan ajatella tehdasmaisen tuotannon sijaan myös esimerkiksi matkusteluna . Opetussuunnitelma toimii tällöin karttana, opettaja matkaoppaana ja -kumppanina. Tällöin jokainen matkalla mukana oleva saattaa kokea matkan eri tavalla, sillä kokemusten vaihtelu on väistämätöntä. Vaikutukset rakentuvat sekä matkaajien mielenkiinnon että suunnitellun reitin mukaan. Parhaimmillaan matka on mukanaolijoille lumoava ja erityisen mieleenpainuva. (Kliebard 1972, Madauksen & Kellaghanin 2000, 23 mukaan.)

Metafora koulutuksesta matkustamisena edustaa melko selkeästi koulutusta itsessään arvokkaana asiana. Vaikka kuvitteellinen matkaryhmä päätyisi aivan toisaalle, kuin alun perin suunniteltiin, ei matkaa suinkaan pidettäisi epäonnistuneena. Koulutus itsessään on tällöin arvokas asia, eivät niinkään sen tuottamat seuraukset, jotka voivat olla joko tiedostettuja tai tiedostamattomia. Koulutuksen itseisarvoa voidaan perustella esimerkiksi sen tuottamalla sivistyksellä tai yksilön persoonallisuuden kasvulla, joita läntisessä kulttuurissa on aina arvostettu (Lampinen 1998, 13).

Tehdas-ajattelun ja matkustamisen taustalla voidaan nähdä myös erilaisia metaforia ihmisen oppimisesta. Koska oppimisen tarkka määritteleminen on vaikeaa, on sitä usein lähestytty erilaisilla vertauskuvilla. Erilaisia vertauskuvia on usein käytetty kuvaamaan erityyppistä oppimista. Yhtälailla edellä esitellyissä koulutusta koskevissa voidaan nähdä viittauksia siihen oppimiskäsitykseen tai oppimisnäkemykseen , millaiseksi oppiminen ymmärretään. Harrisin ja Bellin (1994, 15) esittämä jaottelevat oppimisen neljään opettamistyyliin: tiedon siirtämiseen, tiedon muovaamiseen, matkustamiseen sekä kasvattamiseen.

Pelkkä tiedon siirtäminen opettajalta oppilaalle tai kasvattajalta kasvatettavalle viittaa suoraan behavioristiseen näkemykseen ihmisen oppimisesta. Behavioristisessa oppimisessa ja opetuksessa todellisuus ja ympäristö pilkotaan minimalistisiksi rakenteiksi, joiden kautta opetettavat asiat pyritään siirtämään oppijalle (Patrikainen & Myller 2002, 186). Behavioristisessa opetuksessa opetettavat aineet ja opetustyyli olivat suoraan lähtöisin työelämästä ja sen haasteisiin vastaavaa (mt.).

Behavioristinen opetus sisältyy keskeisenä oppimisnäkemyksenä aiemmin esiteltyyn tehdas-metaforaan. Tällöin opiskelijat nähdään käsiteltävänä raaka-aineena, jota teknikot käsittelevät erilaisilla ärsykkeillä aiheuttaen reaktioita. Haluttuja reaktioita vahvistetaan tai sammutetaan, riippuen halutuista tavoitteista. Oppiminen on kuin ketju, joka muodostuu ärsykkeistä, reaktioista ja uusista ärsykkeistä (ks. esimerkiksi Nevgi & Lindblom-Ylänne 2002, 86). Tietoa kirjaimellisesti siirretään, minkä jälkeen erilaisilla standardoiduilla testeillä voidaan mitata, kuinka hyvin asia on opittu, toisin sanoen siirtynyt opiskelijoille.

Behaviorismin suurimpana ongelmana onkin pidetty sen näkemystä oppijasta passiivisena vastaanottajana, pelkkänä siirron kohteena (Nevgi & Lindblom-Ylänne 2002, 89). Karkeimmillaan tehdasajattelua voitaisiin kritisoida siitä, että kun lopputuote on valmis, siihen siirretyt tiedot voivat olla jo osittain vanhentuneet. Tiedon vanhentuminen ja muuttuminen liittyvät oleellisesti nyky-yhteiskuntaan, jossa tiedon ja informaation määrä lisääntyvät jatkuvasti. Tämän hetkinen tietoyhteiskunta edellyttää yksilöiltä taitoja ymmärtää ja käsittää muuttuvia asioita. Passiivisen tiedon siirtämisen sijaan nykyään oppija nähdäänkin mieluummin aktiivisemmassa roolissa. Metaforaan oppimisesta matkusteluna sisältyykin erityyppinen näkemys ihmisestä oppijana. Jos tehdasajattelussa korostui behavioristinen näkemys oppimisesta, matkustamisessa korostuvat kognitiivinen, konstruktivistinen sekä humanistinen näkemys oppimiseen.

Kognitiivinen näkemys oppimisesta liittyy juuri aiemmin esitettyyn jaotteluun tiedon muovaamisesta. Tietoa ei tällöin suoranaisesti siirretä, kuten behavioristisessa oppimisnäkemyksessä, vaan oppiminen alkaa oppijan omasta aktiivisuudesta. Opiskelijan suhtautuminen ja aktiivisuus opiskeltavaan asiaan ja oppiminen mielletään tällöin opiskelijan omien sisäisten mallien tai niin sanottujen skeemojen muuntumiseksi (Nevgi & Lindblom-Ylänen 2002, 104). Juuri tällöin opiskelija muovaa opettajan ja opetuksen avulla omia käsityksiään ja käsitteitään opetettavista asioista. Passiivisen tiedon siirtämisen sijaan oppimisessa korostuu vuorovaikutus yksilön ja ympäristön välillä.

Kognitiiviseen oppimisnäkemyksen yhteydessä puhutaan yleisesti myös konstruktivismista. Konstruktivismi itsessään ei kuitenkaan ole mikään yhteinen teoria (Tynjälä 1999, 37). Eri suuntausten välillä on tietenkin painotuseroja, mutta yleensä konstruktivismissa korostetaan sosiaalista vuorovaikutusta, jonka avulla yksilön ymmärtäminen ja ajattelu muodostuvat keskeisiksi. Konstruktivismin äärimmäisenä muotona pidetään radikaalia konstruktivismia, jonka mukaan kaikki tieto on subjektiivista eli omien havaintojen, kokemusten ja ajattelun perusteella syntynyttä (Nevgi & Lindblom-Ylänen 2002, 106).

Toisaalta on myös konstruktivistisia teorioita, joissa tietoa ei ymmärretä pelkästään yksilön subjektiiviseksi kokemukseksi. Sosiokonstruktivismissa korostetaan ympäröivän yhteisön ja kulttuurin vaikutusta tiedon rakentumiseen, jolloin tieto konstruoidaan sosiaalisessa vuorovaikutuksessa (Nevgi & Lindblom-Ylänen 2002, 107). Tällöin voidaan huomioida, että vaikka oppijan ja yhteisön roolit korostuvat tiedon rakentamisessa, ei opettaja suinkaan tule tarpeettomaksi. Mekaanisen, tehdasmaisen tiedon siirtämisen sijaan opettaja pyrkii auttamaan ja opastamaan muutoksessa, toimimaan tietyllä tavalla matkaoppaana, joka auttaa muutoksessa. Eräänlaisena tavoitteena konstruktivismissa voidaan siis nähdä kokonaisvaltainen oppiminen.

Kolmas, kahteen edelliseen oppimisteoreettiseen näkökulmaan lisänsä tuova suuntaus, on humanismi. Humanismi voidaan ymmärtää myös matkusteluun sisältyvänä, jolloin opettaja toimii juuri matkatoverina ja tasa-arvoisena kumppanina. Sirkka Hirsjärvi (1995, 134) kuvaa humanismin ytimeksi sivistyksen, jota kunnioitetaan sekä jota kohti pyritään. Humanistisessa oppimisnäkemyksessä korostuvat ihmisen itsensä toteuttaminen, oppimisen ihmistä kehittävä rooli sekä vuorovaikutteisuus muiden ihmisten kanssa (Nevgi & Lindblom-Ylänen 2002, 91). Humanismin tärkeänä tuntomerkkinä voidaan pitää ihmisen ja ihmisyyden kunnioittaminen, jolloin korostuu opettamisen sijaan pikemmin kasvattaminen.

Kasvattaminen ei suinkaan viittaa pelkästään lapsen tai nuoren kasvattamiseen vaan humanistinen oppimisnäkemys on saavuttanut suosiota myös aikuiskoulutuksen piirissä. Humanismiin sisältyvä hyvin ihanteellinen ihmiskuva, käsitys ihmisestä kehittyvänä ja kasvavana yksilönä on koettu aikuiskoulutukseen soveltuvana (Nevgi & Lindblom-Ylänen 2002, 93). Käsitys ihmisestä aina kehittyvänä ja uutta oppivana liittyy keskeisesti käsitykseen elinikäisestä oppimisesta. Elinikäisen oppimisen ydin on siinä, että ihmisen on mahdollista oppia koko elinikänsä, minkä lisäksi ihminen tarvitsee oppimista selviytyäkseen (Nyyssölä & Hämäläinen 2002, 42). Keskeiseksi ongelmaksi nousee tällöin se, kuinka ja minkälaisin ehdoin ihmisen on mahdollista uusiutua ja oppia oppimaan koko elämänsä ajan (Rauste-von Wright 1994, 131).

Erilaisten oppimisnäkemysten lisäksi metaforia koulutuksesta voidaan lähestyä myös tarkentavalla kysymyksellä: kenen oppimisesta oikeastaan tapahtumassa on kyse? Tällöin aiemmissa vertauskuvissa voidaan huomata kaksi hieman vastakkaista näkemystä. Tehdasmetaforassahan tietoa yksinkertaisesti siirretään asiantuntijalta käsiteltäville massoille, oppiminen on tällöin pelkästään kohteena olevassa yksilössä tapahtuvaa. Jos taasen vertauskuvaa matkustamisesta lähestytään oppimisen kannalta, voidaan oppiminen liittää jokaiseen matkalle osallistuvaan. Tällöin oppiminen voidaan ymmärtää yhteisöllisemmin, eikä pelkästään yksittäisen henkilön ominaisuudeksi.

Tällöin voidaan puhua organisatorisesta oppimisesta. Oppiminen voidaan tällöin jaotella eri tasojen mukaisesti: yksilötasolla, ryhmäoppimisena ja koko organisaation tasolla tapahtuvaksi oppimiseksi (Huuskonen 2001, 172). Puhe pelkästään oppivasta organisaatiosta, jolloin yksilöiden oppiminen sivuutetaan, on kuitenkin harhaanjohtavaa. Tällöin oppiva organisaatio voidaan nähdä ennen kaikkea metaforana (Ukkola 2004, 80). Ongelmallista puheessa oppivista organisaatioissa on juuri se, että jos oppiminen ymmärretään ihmisen perustavanlaatuiseksi ominaisuudeksi, kaikkia ihmisistä rakentuvia organisaatiota voidaan pitää jossain määrin oppivina organisaatioina.

Oppivia organisaatioita on lähestytty myös niin sanotusta ekspansiivisen oppimisen näkökulmasta (Engeström 2004, 59). Tällöin organisaatio ei pelkästään erittele ja arvioi toimintaansa ohjaavia erilaisia arvoja ja normeja, vaan se rakentaa ja ottaa käyttöönsä uuden toimintamallin (mt.). Juuri uuden oppiminen ja hyödyntäminen tekee organisaatioista tällöin oppivan. Ekspansiivisessa oppimisessa keskeistä on oppimisen eteneminen sykleittäin ja ristiriitojen sekä näkökulmien törmääminen. Oppiminen ei etene suoraviivaisesti, vaan se on eteen ja taaksepäin ulottuvaa, joka vaatii paljon aikaa organisaatiolta. Yksinkertaistaen organisaatio oppii kyseenalaistamalla vallitsevan käytännön, jolloin sitä analysoidaan ja uusia ratkaisumalleja etsitään. Uuden mallin tutkimisen ja käyttöönoton kautta organisaatio arvioi koko prosessia, mikä taasen voi vakiinnuttaa uuden käytännön ja laajenemisen. Edellä mainitut vaiheet muodostavat ekspansiivisessa oppimisessa syklin, joka siis ei etene aina suoraviivaisesti. (Engeström 2004, 60–61)

Keskeistä syklin toiminnan kannalta on eri osapuolten välinen dialogi, vuoropuhelu (Engeström 2004, 61). Näkökulmien törmäämisen, ristiriitojen ja väittelyn kautta organisaatio kehittyy. Ristiriidat toimivat ekspansiivisessa oppimisessa voimavarana ja lähteenä organisaation muuttumiselle, jolloin ne voidaan nähdä positiivisena ilmiönä (mt., 61–63). Ristiriidoissa ei aina tarvitse pyrkiä edes täydelliseen yksimielisyyteen, koska yksimielisyys ei ratkaise uuden toimintamallin menestystä, vaan sen elinvoimaisuus (mt., 61).

Engeströmin (2004, 60–61) eskpansiivisen oppimisen sykli, jossa lähdetään liikkeelle kyseenalaistamisesta, muistuttaa joiltain osin Peter Sengen (1997) lähestymistapaa oppivaan organisaatioon. Senge (mt., 57) pitää esimerkiksi suurena ongelmanlähteenä nykyisyydelle eilispäivän ratkaisuja, menneitä käytänteitä. Myös Sengen (mt., 58–59) teoriassa muutoksen vieminen läpi vaatii paljon voimia, ristiriitojen ja vastarinnan ylittämistä. Sengen (1997, 60–61)ja Engeströmin (2004, 60–61) teoriat yhtyvät myös muutoksen etenemisessä, jota Senge (62–63) kuvaa hitaaksi ja vaikeasti havaittavaksi. Senge (1997, 60–61) korostaa, että samat ongelmat voivat palata, jos perusteellisiin ongelmiin ei puututa. Tietyllä tapaa myös ristiriitojen ja ongelmien käsittelemisessä on yhteyksiä teorioiden välillä. Engeström (2004, 63) näkee ristiriidat ”oppimisen voimanlähteenä”, kun Senge (1997, 67) taasen korostaa jokaisen organisaation omiin ongelmiin keskittymistä, jolloin ongelmat nähdään osana organisaatiota.

Erilaisten metaforien ja teorioiden paljoudessa herää kysymys, miten koulutukseen ja oppimiseen tulisi sitten ylipäätään suhtautua. Yksiselitteistä vastausta siihen, kumman metaforan mukaisesti koulutusta tulisi lähestyä, tuskin on olemassa (Madaus & Kellaghan 2000, 25). Yksittäiseen näkökulmaan sitoutumisen sijaan vaikutuksia ja vaikuttavuutta arvioitaessa tulisi tiedostaa taustalla olevat piilevät ajatusmallit koulutuksesta ja ottaa ne parhaan mukaan huomioon arvioinnissa (mt.) Metaforien ja erilaisten vertauskuvien avulla on mahdollista löytää hyvin erilaisia lähestymistapoja arvioitavaan koulutukseen ja sen tuotoksiin ja samalla kyseenalaistaa oma suhtautumisensa koulutukseen ja sen odotettuihin vaikutuksiin.

3 POHDINTA

Kuten edeltävistä alaluvuista käy ilmi, yksiselitteistä määritelmää arvioinnin tai vaikuttavuuden, saati vaikuttavuuden arvioimiseksi ei ole mahdollista luoda. Sitäkin tärkeämpää on ymmärtää kulloiseenkin vaikuttavuuden arviointimalliin liittyvät mahdolliset ongelmat, mutta toisaalta myös hyvät puolet. Siitä huolimatta erilaisten näkökulmien ja teorioiden tarkastelua ei voitane pitää täysin turhana työnä. Kun puhutaan koulutuksen vaikuttavuudesta, on tärkeää, että molemmat osapuolet ymmärtävät mitä toinen koulutuksen vaikuttavuudella ymmärtää. Vain tällöin voi syntyä molempia osapuolia hyödyttävää kriittistä ja rakentavaa keskustelua, joka auttaa molempia osapuolia ymmärtämään toisiaan.

Kuten aiemmin käsiteltiin, arviointi on tänä päivänä hyvin monimutkainen ja -ulotteinen asia. Voi hyvin olla, että hyvin monenlaista tarkastus- tai muuta toimintaa nimetään arvioinniksi sen tarkemmin pohtimatta, mitä arviointi itse asiassa edes on. Arviointi on niin kiinteä osa esimerkiksi koulutusta, että sen irrottamista täysin opettamisesta on vaikea kuvitella. Esimerkiksi opettaja tai kouluttaja arvioi, enemmän tai vähemmän tietoisesti, koulutuksen vaikuttavuutta koko koulutuksen ajan alkaen ensi tapaamisesta ja päättyen loppuarviointiin tai seuranta-arviointiin.

Nykyaikaista arviointia nimettiin edellä jo arviointiprosessiksi, jossa arviointiin pyritään ottamaan mukaan eri asianomaisia ja osapuolia. Kasvatustieteilijä tai opettaja voi tietenkin omalla kohdallaan pohtia, mitä tällainen arviointimalli tarkoittaa oman työn kannalta. Peruskoulutusta koskevassa keskustelussa on jo monen vuoden ajan pohdittu sitä, miten perheet saataisiin osallistumaan entistä enemmän jo perusopetukseen. Toisaalta ammatillisessa koulutuksessa on jo kauan pohdittu, miten koulutus voisi vastata paremmin työelämän haasteisiin. Nykyaikaisessa koulutuksen arvioinnissa tulisikin mielestäni mahdollisuuksien mukaan huomioimaan entistä paremmin muiden sidosryhmien mielipiteet koulutuksen vaikuttavuudesta, toimivuudesta ja onnistuneisuudesta.

Erilaisia vaikuttavuuden malleja edellä esiteltiin niin perinteisestä neljän laatikon -mallista hyvinkin kattavaan koulutuksen vaikuttavuusmalliin, jossa huomioidaan entistä paremmin ja laajemmin yhteiskunnan ja yhteisöjen kehystekijät ja tarpeet yksilön näkökulman ja tarpeiden lisäksi. Tärkeäksi huomioksi noussee tällöin ymmärrys koulutuksesta potentiaalin mahdollistajana – eri asia onkin sitten se, haluaako yksilö hyödyntää potentiaaliansa.

Potentiaali käsitys liittyy oleellisesti myös aiemmin esiteltyyn ajatukseen siitä, miten koulutus poikkeaa tavarantuotannosta: koulutukselle ei koskaan voida antaa takuuta. Koulutus on aina osin ennalta-arvaamatonta ja uutta luovaa, jonka lopullisia vaikutuksia on erittäin vaikeaa ennustaa saati edes yrittää selvittää erilaisilla tutkimusmenetelmillä. Kaikissa valituissa menetelmissä on aina omat rajoitteensa ja tutkipa vaikuttavuutta millä menetelmällä tahansa, tulisi tutkijan tai arvioijan pohtia käyttämiensä menetelmien hyviä ja huonoja puolia avoimesti.

Kasvatustieteilijän tulisikin pyrkiä seikkaperäisesti pohtimaan, mitä hän itse ymmärtää oppimisella tai koulutuksella. Erilaiset vertauskuvat ja metaforat saattavat tässä työssä edesauttaa erilaisten näkökulmien avautumista. Konkreettinen kysymys käytännön koulutuksen tasolla voisi olla esimerkiksi se, miksi koulutuskäytännöt muuttuvat kovin hitaasti. Konstruktivistinen oppimisnäkemys on kirjattu jo nykyisiin opetussuunnitelmiin useimmissa oppilaitoksissa, mutta käytäntöjen tasolla opetus ja sen tulosten arviointi saattaa vieläkin nojata melko pitkälle behavioristisiin mittausmenetelmiin, yhtenä esimerkkinä vain nykymuotoiset ylioppilaskirjoitukset, jotka edelleen mittaavat melko pitkälti lopputulosta eivätkä prosessia.

Tämä raportti ei suinkaan ole ainut yritys ymmärtää tai selittää, mitä tai miten koulutuksen vaikuttavuutta voitaisiin arvioida. Tärkeää kuitenkin on, että erilaisista näkemyksistä ja varsinkin näkemyseroista on mahdollista keskustella. Jos koulutuksen vaikuttavuutta hallitsee vain siihen sijoitetun pääoman näkökulmasta käytävä keskustelu, on kasvatustieteilijän syytä valpastua ja herätä. Ainakin kirjoittajan näkökulmasta tämän tekstin laatiminen ja muokkaaminen oli kaiken kaikkiaan silmiä avaava ja ennen kaikkea opettavainen prosessi.

KIRJALLISUUS

Abernathy, D. 1999. Thinking Outside the Evaluation Box. Training & Development 53 (2), 18–24.

Dahler-Larsen, P. 2005. Vaikuttavuuden arviointi. FinSoc arviointiraportteja 3/2005. Helsinki: Sosiaali- ja terveysalan tutkimus- ja kehittämiskeskus.

Engeström, Y. 2004. Ekspansiivinen oppiminen ja yhteiskehittely työssä. Tampere: Vastapaino.

Guba, E. & Lincoln, Y. 1989. Fourth Generation Evaluation. Newbury Park, CA: SAGE.

Harris, D. & Bell, C. 1994. Evaluating and assessing for learning. 2nd edition. London: Kogan Page.

Hietala, K. 1997. Vaikuttavuus, vuodot ja muut evaluoinnin käsitteet. Helsinki: Työministeriö.

Hirsjärvi, S. 1995. Pedagogisia virtauksia ja historiallisia päälinjoja. Teoksessa Hirsjärvi, S. & Huttunen, J. Johdatus kasvatustieteeseen. 4. painos. Juva: WSOY, 124–163.

Huuskonen, V. 2001. Oppivan organisaation pahin vihollinen on oppinut organisaatio. Teoksessa Aaltio-Marjosola, I. (toim.). Organisaatio ja yrittäjyys. Helsinki: WSOY, 167–186.

Hölttä, S. 1991. Tulosvastuullinen korkeakoulu – teoriaa ja konkretiaa. Teoksessa Yliopiston tuloksellisuus: Näkökohtia, ehdotuksia. Joensuu: Joensuun yliopisto, hallintovirasto, 25–94.

Kaakinen, J. 2004. Arvioinnin paikka. Arvioitsija intressien ristipaineessa. Hallinnon tutkimus 23 (2) [Arvioinnin teemanumero], 94–99.

Kantanen, U. 1996. Henkilöstökoulutus, sen vaikutukset ja tuloksellisuus yrityksen näkökulmasta. Vammala: Vammalan Kirjapaino Oy.

Kauppi, A. 1989. Aikuiskoulutuksen suunnittelun kehityslinjoja. Helsinki: Valtionhallinnon kehittämiskeskus.

Kirjonen, J., Mutka, U., Filander, K. & Valkeavaara, T. 2000. Oppiminen työssä ja pääoman uudet muodot. Teoksessa Raivola, R. (toim.). Vaikuttavuutta koulutukseen. Suomen akatemian koulutuksen vaikuttavuusohjelman tutkimuksia. Helsinki: Edita, 141–168.

Kirkpatrick, D. L. 1996. Great Ideas Revisited. Training & Development 50 (1), 54–59.

Kirkpatrick, D. L. 2000. Evaluating Training Programs: The Four Levels. Teoksessa Piskurich, G., Beckschi, P. & Hall, B. (toim.). The ASTD Handbook of Training Design and Delivery: A Comprehensive Guide to Creating and Delivering Training Programs-Instructor-Led, Computer-Based, or Self-Directed. New York: McGraw-Hill, 133–146.

Kirkpatrick, D. L. 2004. A T + D Classic: How to Start an Objective Evaluation of Your Training Program. T + D 58 (5), 1–3.

Lampinen, O. 1998. Suomen koulutusjärjestelmän kehitys. Tampere:Gaudeamus.

Laukkanen, R. 1995. Evaluaatiotutkimuksen hyödyntämisen paradoksi. Teoksessa Kajanto, A. (toim.). Aikuiskasvatuksen arviointi. Panoraamoja ja lähikuvia. Jyväskylä: Kansanvalistusseura ja Aikuiskasvatuksen tutkimusseura, 313–334.

Laukkanen, R. 2004. Arvioinnin kolme osallista. Hallinnon tutkimus 23 (2) [Arvioinnin teemanumero], 69–72.

Lehtisalo, L. 1998. Suomalainen sivistys ja sivistyspolitiikka. Juva: WSOY.

Lehtonen, M. 2004. Johdanto: Säiliöstä suhdekimppuun. Teoksessa Lehtonen, M., Löytty, O. & Ruuska, P. Suomi toisin sanoen. Tampere: Vastapaino, 9–28.

Madaus, G. & Kellaghan, T. 2000. Models, Metaphors and Definitions in Evaluation. Teoksessa Stufflebeam, D., Madaus, G. & Kellaghan, T. (toim.). Evaluation models: viewpoints on educational and human services evaluation. 2nd edition. Boston: Kluwer Academic, 19–32.

Madaus, G. & Stufflebeam, D. 2000. Program Evaluation: A Historical Overview. Teoksessa Stufflebeam, D., Madaus, G. & Kellaghan, T. (toim.). Evaluation models: viewpoints on educational and human services evaluation. 2nd edition. Boston: Kluwer Academic, 3–18.

Mikkonen, I. 1997. Työvoimakoulutus osana työmarkkinapolkua. Koulutuksen vaikuttavuus yksilötasolla. Helsinki: Työministeriö.

Nave, B., Miech, E. J. & Mosteller, F. 2000. The Role of Field Trials in Evaluating School Practises: A Rare Design. Teoksessa Stufflebeam, D., Madaus, G. & Kellaghan, T. (toim.). Evaluation models: viewpoints on educational and human services evalua-tion. 2nd edition. Boston: Kluwer Academic, 145–162.

Nevgi, A. & Lindblom-Ylänne, S. 2002. Oppimisnäkemykset antavat perustan opetukselle. Teoksessa Lindblom-Ylänne, S. & Nevgi, A. (toim.). Yliopisto- ja korkeakouluopettajan käsikirja. Helsinki: WSOY, 82–115.

Nyyssölä, K. & Hämäläinen, K. 2002. Elinikäinen oppiminen Suomessa ja muualla. Aikuiskasvatus 22 (1), 42–47.

Opetushallitus. 1995. Koulutuksen tuloksellisuuden arviointimalli. Helsinki: Opetushallitus.

Opetushallitus. 2005. Viitattu 17.11.2005. http://www.oph.fi/SubPage.asp?path=1,436

Paasio, P. 2003. Vaikuttavuuden arvioinnin rakenne ja mahdollisuus sosiaalialalla. FinSoc työpapereita 3/2003. Helsinki: Sosiaali- ja terveysalan tutkimus- ja kehittämiskeskus.

Patrikainen, R. & Myller, L. 2002. Opettajan pedagogisen ajattelun peruspilareita. Teoksessa Julkunen, M-L. (toim.). 2002. Opetus, oppiminen, vuorovaikutus. 2. Uusittu painos. Vantaa: WSOY, 182–201.

Patton, M. Q. 1981. Creative Evaluation. Beverly Hills: Sage Publications.

Patton, M. Q. 1997. Utilization-Focused Evaluation: The New Century Text. 3rd edition. Thousand Oaks, California: Sage Publications.

Raivola, R. 1995. Mitä evaluaatio on ja mihin sitä tarvitaan? Teoksessa Kajanto, A. (toim.). Aikuiskasvatuksen arviointi. Panoraamoja ja lähikuvia. Jyväskylä: Kansanvalistusseura ja Aikuiskasvatuksen tutkimusseura, 21–62.

Raivola, R. 2000. Tehoa vai laatua koulutukseen? Juva: WSOY.

Raivola, R., Valtonen, P. & Vuorensyrjä, M. 2000. Käsitteet mallit ja indikaattorit koulutuksen tehokkuutta ja vaikuttavuutta arvioitaessa. Teoksessa Raivola, R. (toim.). Vaikuttavuutta koulutukseen. Suomen akatemian koulutuksen vaikuttavuusohjelman tutkimuksia. Helsinki: Edita, 11–28.

Rantanen, P. 1995. Kyllä, ei, kyllä, mutta… Ajatuksia vapaan sivistystyön tuloksellisuuden arvioinnista. Teoksessa Kajanto, A. (toim.). Aikuiskasvatuksen arviointi. Panoraamoja ja lähikuvia. Jyväskylä: Kansanvalistusseura ja Aikuiskasvatuksen tutkimusseura, 171–181.

Rauste-von Wright, M. 1994. Opetussuunnitelma ja oppimiskäsitys. Teoksessa Kajanto, A. & Tuomisto, J. (toim.). Elinikäinen oppiminen. Helsinki: Kirjastopalvelu, 115–142.

Robinson D. G. & Robinson J. C. 1989. Training for Impact: How to link training to business needs and measure the results. San Francisco: Jossey-Bass.

Sefton, T., Byford, S. McDaid, D., Hills, J. & Knapp, M. 2004. Taloudellinen arviointi sosiaalialalla. Helsinki: Stakes.

Senge, P. M. 1997. The Fifth Discipline. The Art and Practice of the Learning Organi-zation. 6th printing. London: Century Business.

Seppänen-Järvelä, R. 1999. Kehittämistyö ja arviointi. Teoksessa Eräsaari, R., Lindqvist, T., Mäntysaari, M. & Rajavaara, M. (toim.). Arviointi ja asiantuntijuus. Helsinki: Gaudeamus, 90–105.

Sinkkonen, S. & Kinnunen, J. 1994. Arviointi ja seuranta julkisella sektorilla. Julkaisuja E. Yhteiskuntatieteet 22. Kuopio: Kuopion yliopisto.

Soini, T., Rauste-Von Wright, M-L. & Pyhältö, K. 2003. Oppiva organisaatio ¬– tyhjä käsite vai kehittämisen väline? Aikuiskasvatus 23 (4), 283–291.

Stoel, D. 2004. The Evaluation Heavyweight Match. T + D 58 (1), 46–49.

Suomen Arviointiyhdistys ry. 2005. Suomen arviointiyhdistyksen toiminta-ajatus. Viitattu 17.10.2005. http://www.finnishevaluationsociety.net/

Tuomi-Gröhn, T. 2000. Työssäoppimisen teoreettisia lähtökohtia: katsaus erilaisiin transfer-käsityksiin. Aikuiskasvatus 20 (4), 325–331.

Tynjälä, Päivi. 1999. Oppiminen tiedon rakentamisena. Konstruktivistisen oppimiskäsityksen perusteita. Tampere: Kirjayhtymä.

Töttö, P. 2004. Syvällistä ja pinnallista. Teoria, empiria ja kausaalisuus sosiaalitutkimuksessa. Saarijärvi: Vastapaino.

Ukkola, I. 2004. Oppivia ihmisiä vai oppivia organisaatioita? Aikuiskasvatus 24 (1), 80–81.

Valtonen, P. 1997. Koulutuksen vaikuttavuustutkimuksen tilanne Suomessa. Teoksessa Koulutus, yhteiskunta, menestys. Suomen Akatemian Koulutuksen vaikuttavuusohjelman tutkimuksia. Suomen Akatemian julkaisuja 7/97. Helsinki: Edita, 9–53.

Vedung, E. 2003. Arviointiaalto ja sen liikkeelle panevat voimat. FinSoc työpapereita 2/2003. Helsinki: Sosiaali- ja terveysalan tutkimus- ja kehittämiskeskus.

Yrjölä, P. 1995. Isoveli valvoo – Mikäli valvoo, niin miten? Teoksessa Kajanto, A. (toim.). Aikuiskasvatuksen arviointi. Panoraamoja ja lähikuvia. Jyväskylä: Kansanvalistusseura ja Aikuiskasvatuksen tutkimusseura, 63–72.