Digabi II- seminaari 5.6.2014

  • View
    18

  • Download
    1

Embed Size (px)

DESCRIPTION

Digabi II- seminaari 5.6.2014. Arviointi ja validius KT, FL Najat Ouakrim-Soivio. Esityksen rakenne ja sislt. Validiudesta ksitteen Perusopetuksen pttarvosanojen validiudesta Miten pttarvosanojen validiusongelma nkyy kytnnss? Pohdintaa siit, mit pitisi tehd. - PowerPoint PPT Presentation

Transcript

Digabi II- seminaari 5.6.2014

Digabi II- seminaari5.6.2014Arviointi ja validiusKT, FL Najat Ouakrim-Soivio1Esityksen rakenne ja sisltValidiudesta ksitteenPerusopetuksen pttarvosanojen validiudesta Miten pttarvosanojen validiusongelma nkyy kytnnss?Pohdintaa siit, mit pitisi tehd

Validius-ksitteen mrittelyValidiudella eli tutkimuksen tai mittarin ptevyydell ja luotettavuudella voidaan tarkoitta mys mittaustuloksista tehtvien ptelmien sopivuutta, mielekkyytt ja kyttkelpoisuutta (Nummenmaa ym. 1997, 203).Sisinen validius = tutkimuksen tai mittarin oman luotettavuuden tarkastelua:- ovatko ksitteet oikeita, - onko teoria valittu oikein, - onko mittari oikein muodostettu, - mitk tekijt vaikuttavat mittaustilanteessa luotettavuuteen alentavasti sek - mitataanko mittarilla sit, mit on sill on tarkoitus mitata? (Metsmuuronen 2006, 55.)Tutkimusmenetelm on tss yhteydess sama kuin mittariMittarin mielekkyys, sopivuus ja kyttkelpoisuus ovat nousseet keskin 2000-luvulla, kun validiuuta teoretisoineiden Cronbachin, Messickin ja Kanen ajatukset ovat tulleet tutummiksi.3Validius-ksitteen mrittelySisist validiutta on perinteisesti tarkasteltu kolmesta nkkulmasta sen sislln, kriteereiden tai konstruktion kautta (Messick 1994, 741). Sisiseen validiuteen liittyy olennaisesti se, millaisella mittarilla kulloistakin asiaa mitataan: - Esimerkkin yhteiskuntaopin esseevastauksen pisteittminen mahdollisimman objektiivisesti ja yhteismitallisesti. - Tuottamistehtvt ovat kytnnss mahdottomia tulkita tysin yksiselitteisesti, ja siksi niiden pisteittminen tysin samalla tavalla on mahdotonta. - Oleellista on saattaa pisteitysohjeet mahdollisimman yksiselitteisiksi esimerkeiksi jakamalla arvioitava teksti osatekijihin (Metsmuuronen 2006, 118) ja merkitsemll pisteitysohjeisiin osatekijiden tuottamat pisteet.

Erilaisia nkkulmia validiustarkasteluunSislln validiustarkastelussa (content validity) on olennaista, ett sill katetaan kohdealueena oleva keskeinen sislt (Virta 1999, 80), jolloin arvioidaan testin tai koetehtvien edustavuutta ja niiden relevanssia.Sislln validiustarkastelua arvosteltu erityisesti siksi, ett sit pidetn subjektiivisena ja puolueellisena. Milloin sislln validiustarkastelu tehdn esim. tehtvryhmn toimesta, ryhmll on luonnollisesti taipumus vahvistaa itse esittmns tulkintaa (Kane 2006, 19).

Erilaisia nkkulmia validiustarkasteluunKriteerivalidiudessa (criterion validity) verrataan mittarilla saatua arvoa johonkin sellaiseen arvoon, joka toimii validiuden kriteerin. Kriteerivalidius toimii tarkastelunkkulmana hyvin silloin, kun on jo olemassa olevat, uskottavat kriteerit, joihin tulosta verrataan (Kane 2006, 18). Tllaisena kriteerin voisi toimia esimerkiksi toisella mittarilla samanaikaisesti saatu arvo, jolloin puhutaan yhtaikais- tai samanaikaisvalidiudesta. Kriteerivalidiuden mittana kytetn yleens korrelaatiokerrointa (Metsmuuronen 2006, 65). Ongelmallisena on juuri keskenn samankaltaisten kriteereiden luominen. Ebelin mukaan jos kyseenalaistetaan yksi kriteeri, voidaan samalla kyseenalaistaa kaikki muutkin kriteerit (Ebel 1961, 642).

Erilaisia nkkulmia validiustarkasteluunKsitevalidiudella (construct validity) kuvataan sit, miten hyvin tutkimuksen kohde on onnistuttu ksitteellistmn ja miss mrin mittaus kytkeytyy teoreettiseen viitekehykseen (Jakku-Sihvonen 2001, 125; Rantanen 2003, 19; Kane 2006, 1819; Metsmuuronen 2006, 118).Ksitevalidiudessa yhdistyvt sek testi- tai tutkimustulosten tulkinta ett tulosten hydyntminen, sill ksitevalidiudessa pohditaan, vastaako mittarin tai tutkimusmenetelmn ksite sen teoreettista viitekehyst (Metsmuuronen 2009, 29). Ksitevalidiuden teoreettinen viitekehys yhdist empiirisen testauksen ja teorian pohjalta laaditut rationaaliset hypoteesit testituloksiin ja niiden olennaisiin yhteyksiin (Messick 1995, 741). Nykyksitys testin, kokeen tai tutkimusasetelman validiudesta perustuu pitklti ksitevalidiuden periaatteisiin.Validius-ksitteen mrittelyViimeisten vuosikymmenten aikana validiuden mrittelyss on tapahtunut olennainen muutos mys siin, ett validiuden tarkastelun kohteena ovat saadut tulokset, ei mittari, sek tulosten tulkinta ja tulosten hydyntminen siihen tarkoitukseen, mihin mittari on alun perin laadittu (Cronbach 1971, 447; Messick 1994, 774; ks. mys Rantanen 2003, 19).

Messick mritteli validiutta kahden keskeisen kysymyksen kautta:- onko testi tai koe riittvn hyv mittaamaan niit ominaisuuksia, joita sen tulisi mitata ja - soveltuuko testi tai koe kytettvksi esitettyyn tarkoitukseen esitetyll tavalla (Messick 1980, 1012.)

Arvioinnista ja validiudestaNykyisin validius kytkeytyy jo ksitteen arviointiin; kyse on siit, ett arvioidaan sit, mit on aiottu arvioida (Koppinen, Korpinen ja Pollari 1994,32). Messickin mukaan arvioinnin peruslhtkohtiin kuuluu:- Vertailtavuus,- Oikeudenmukaisuus, - Reliaabelius ja - Validius (Messick 1994, 7; Messick 1995, 742). Oikeudenmukaisuus johtaa mys vaatimukseen yhdenvertaisuudesta => testituloksen ja siit tehtvien tulkintojen arvovapautta ja puolueettomuutta.Messick pit arvioinnin perusvaatimuksia keskeisin, koska ne sisltvt arvoja, joilla on merkityst, kun arvioinnin perusteella tehdn ptksi (Messick 1995, 742). Arvioinnista ja validiudestaJotta arviointi olisi validia, sen tulisi kattaa koko arvioitava sisltalue mahdollisimman laajasti (esimerkiksi laajuudeltaan suppeampien tehtvien avulla,) mutta arvioitavat tiedot ja taidot tulisi olla esitt mys syvllisesti (Virta 1999, 85). Arvioinnin validiudessa tulee kiinnitt huomiota mys arvioijan suorittaman arvioinnin ptevyyteen, arviointituloksen tulkintaan ja analyysiin (Virta 1999, 86; Metsmuuronen 2006, 118) sek arvioinnin asianmukaisuuteen ja mielekkyyteen-> validiutta tarkastellaan: - kuinka merkityksellisi oppilaan tiedot ja taidot ovat,- miten hyvin arviointi osoittaa oppilaan osaamista, - miten hyvin arviointi vastaa opetussuunnitelmaa ja siin ilmaistuja tavoitteita (Virta 1999, 9192).

Arvioinnista ja validiudestaKun arviointi perustuu valtakunnallisiin kriteereihin kouluissa noudatettava opetussuunnitelman ja sen toteutuksen on vastattava yleisi valtakunnallisia kriteerej. Mikli nin ei olisi, eri koulujen oppilaat joutuisivat jo opetustilanteessa eriarvoiseen asemaan, eik oppilailla olisi mahdollisuutta oppia niit tietoja ja taitoja, joita opetussuunnitelmassa painotetaan. Nin ollen arvioinnilla ei myskn olisi opetussuunnitelmallista validiutta. (Virta 1999, 89.) Arviointikytntjen epyhtenisyys ja satunnaisuus ovat olleet kritiikin kohteina ja arvioinnin kehittmisen lhtkohtina jo vuosikymmenten ajan. Arviointitiedon tulee olla objektiivista, jolloin oppilaan arviointi ei saa olla riippuvaista siit, kuka arvioi (Virta 1999, 90; Atjonen 2007, 208; Vnttinen 2011, 120).

Oppiaineen osaaminen/osaamistaso, joka perustuu kyseiselle oppiaineelle mriteltyihin tavoitteisiin ja sisltihin eli tietoihin ja taitoihin sek yleiset, oppiaineen opintojen aikaista arviointia ja pttarviointia mrittvt kriteerit. kkriteriteerit.

Luokkatyskentelyn arvioinnin validiudestaLuokkatyskentelyn arvioinnissa on kiinnitetty vhn huomiota varsinaisten tulosten arviointiin, sill suuri osa luokkatyskentelyn arvioinnista perustuu laadulliseen arviointiin, jossa keskeist on suorituksen tulkinta. Luokkatyskentelyn arvioinnissa tavoitteena ei ole ollut luokitella havaintoja suhteessa empiirisiin lainalaisuuksiin, vaan havainnot on pyritty suhteuttamaan oikeaan kontekstiin ja ymmrrettvn taustaan (Kane 2006, 47). Luokassa tapahtuvan tyskentelyn arviointia ja sen validiutta on alettu pohtia laajemmin vasta 2000-luvun alussa. Toistaiseksi sit ovat ksitelleet Brookhartin (2003; 2007) lisksi muun muassa Kane (2006), Moss (2003), Smith (2003) ja Shepard (2006). Luokkatyskentelyn arvioinnin validiudestaLuokkatyskentelyn arviointi ja siin esim. validiuden tarkastelu ovat mys kontekstisidonnaisia, sill peruskoulun oppilaiden tyskentelyn arviointi on erilaista kuin esimerkiksi korkeakoulun sisnpsykokeiden arviointi (Shepard 2006, 641).Luokkatyskentelyn arvioinnin validiudessa on kyse siit, kuinka hyvin arvioinnilla tulkitaan ja annetaan tietoa sek ohjataan ja autetaan oppilasta lismn osaamistaan (Moss 2003, 1920). Validiustarkastelun tulisi kohdentua siihen, miten hyvin erilaiset arviointimenetelmt kuvaisivat oppilaiden tietoja, taitoja, asenteita ja identiteetin kehittymist summatiivisessa arvioinnissa. Samalla validiustarkastelun tulisi kyet tukemaan formatiivista arviointia ja siin erityisesti syv ja laajaa asioiden osaamista ja hallintaa. Validiustarkastelun tulisi nimenomaan vastata kysymykseen, toimiiko arviointiprosessi niin kuin sen on ajateltu toimivan (Shepard 2006, 642).Luokkatyskentelyn arvioinnin validiuden haasteita:Brookhart (2007, 44-54) on nostanut esiin haasteita:1) Opettajien tiedot ja taidot arvioinnin validiudesta ja reliaabeliudesta. - Tutkimukset (Impara, Plake & Fager 1993; Campbell & Evans 2000; Mertler 2000) osoittivat, ett opettajilla ei ole ksityst siit, mitk periaatteet ovat olennaisia arvioinnin validiuden ja reliaabeliuden kannalta. 2) opettajat voivat valita varsin vapaasti, mill arviointimenetelmill he arvioivat kaikille yhteisten tavoitteiden, kuten esimerkiksi opetussuunnitelmassa asetettujen tavoitteiden, saavuttamista (Citzek, Fitzgerald &Rachor 1995/1996). Luokkatyskentelyn arvioinnin validiuden haasteita3) Tietyiss menetelmiss, kuten havainnoinnissa, on erityisi arvioinnin validiuteen liittyvi ongelmia. Havainnointiin perustuvaa oppilaan arviointia pidetn usein validina sen perusteella, ett oppilaan arvioinnissa saama tulos on hyv.Bulterman-Bosin ja muiden (2002) tutkimuksen mukaan havainnointiin liittyv validiusongelma johtuu taas siit, ett opettajat eivt pysty erottamaan havainnointiprosessissa itsen havainnoijan roolista, vaan opettajalla on helposti kaksoisrooli sek arvioijana ett havainnoijana. Koska havainnointiprosessi on kaksisuuntaista, opettajat voivat olla erilaisia havainnointitilanteissa, sen m