Utvärdering steg för steg, lätt reviderad handledning i ... ?· versionen av Utvärdering steg för…

  • Published on
    14-Sep-2018

  • View
    212

  • Download
    0

Embed Size (px)

Transcript

<ul><li><p>Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>NATURVRDSVERKET </p></li><li><p>Bestllningar Ordertel: 08-505 933 40 Orderfax: 08-505 933 99 </p><p>E-post: natur@cm.se Postadress: CM-Gruppen, Box 110 93, 161 11 Bromma </p><p>Internet: www.naturvardsverket.se/bokhandeln </p><p>Naturvrdsverket Tel: 08-698 10 00, fax: 08-20 29 25 E-post: natur@naturvardsverket.se </p><p>Postadress: Naturvrdsverket, SE-106 48 Stockholm Internet: www.naturvardsverket.se </p><p>ISBN 91-620-5582-8.pdf ISSN 0282-7298 </p><p> Naturvrdsverket 2006 </p><p>Elektronisk publikation Illustrationer: Idoluck, Ida Bontin </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>3</p><p>FrordUppfljning och utvrdering r en av Naturvrdsverkets tre huvudsakliga uppgifter. Det r ocks ett omrde som ska frstrkas srskilt utvrderingen av samhllets och sektorernas miljarbete. Samtliga enheter vid verket frutstts gna sig t ut-vrdering. Den hr handledningen vill vara en hjlp i det arbetet. </p><p>Utvrdering r ett vidstrckt begrepp som kan st fr allt frn kommenterade sammanstllningar av data till djuplodande analyser och bedmningar. Man kan utvrdera det mesta, och utvrderingar kan anvndas till mycket. Systemet med ml- och resultatstyrning frutstter t.ex. att man tid efter annan utvrderar hur man ligger till i frhllande till mlet fr att antingen fortstta p den inslagna vgen eller justera kursen. </p><p>Handledningen har inte ngon ambition att vara en komplett lrobok, utan mera en tnk- och beslutshjlp fr den som ska planera, genomfra eller bestlla en ut-vrdering. Med utgngspunkt frn Naturvrdsverkets utvrderingspolicy tar den ocks upp vad som gller just fr vr utvrderingsverksamhet. Fr den som inte gtt ngon utvrderingskurs kan den ge en introduktion i utvrderingens vrld, samtidigt som den kan tjna som repetition fr dem som deltagit i ngon utbild-ning.</p><p>Eftersom utvrdering av miljtillstndet r gammalt och vant fr mnga i form av arbete med miljvervakning, bedmningsgrunder, aktionsplaner etc. ligger tyngdpunkten i handledningen p utvrdering av miljarbetet. </p><p>Handledningen har skrivits av Inger Vilborg. Fr bilagan om metautvrdering svarar Ulf Hellzenius. Denna handbok r en ltt reviderad upplaga av den frsta versionen av Utvrdering steg fr steg som kom r 2001. </p><p>Stockholm i april 2006 Enheten fr strategier och utvrdering </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>4</p><p>LsanvisningHandledningen r uppdelad i fyra delar: Den frsta delen ger ett grundrecept (checklista) fr utvrdering steg fr steg. De vriga delarna ger ngot mer utfrlig information om utvrderingsarbete. Den andra delen ger en introduktion om vad utvrdering r. Del tre tar upp frgor om varfr, nr och vad man utvrderar och vem som gr det generellt och med tillmpning p Naturvrdsverket. Dr be-handlas ocks beredning och frankring av utvrderingar inom verket. Del fyra, slutligen, bestr av en genomgng av olika modeller fr utvrdering. </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>5</p><p>Innehll</p><p>FRORD 3</p><p>LSANVISNING 4</p><p>INNEHLL 5</p><p>UTVRDERING STEG FR STEG GRUNDRECEPT I PUNKTFORM 7Utvrdering att beskriva, frklara, vrdera och fresl utifrn systematiskt insamlade data. 7</p><p>VAD R UTVRDERING EGENTLIGEN? 10</p><p>UTVRDERINGENS VAD, VEM OCH VARFR 12Utvrdering vid Naturvrdsverket 12</p><p>Varfr utvrderar vi och nr? 14</p><p>Den som gapar ver mycket Vad utvrderar vi? Avgrnsningar 17</p><p>Kan vi? Vill vi? Trs vi? Vem utvrderar? 23</p><p>MODELLER HJLPMEDEL, INTE TVNGSTRJA 28En hjlp fr tanken 28</p><p>Ngra utvrderingsmodeller 29</p><p>Olika perspektiv ger olika sanningar 35</p><p>Varning fr begreppsexercis 35</p><p>ppenhet, frankring, engagemang 36</p><p>FRN ID TILL ANVND UTVRDERING 37Grundrecept med variationer 37</p><p>Lt vrlden veta! Hur fr man ut resultaten? 49</p><p>Att utvrdera utvrderingen metautvrdering 50</p><p>BILAGA 1 52Att samla data genom enkter, intervjuer och lsning. 52</p><p>Enkter 53</p><p>Intervjuer 55</p><p>Att bearbeta enkter och intervjuer 57</p><p>Lsning 58</p><p>BILAGA 2 61Utvrdering av utvrderingsprocessen 61</p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>6</p><p>LITTERATUR 68</p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>7</p><p>Utvrdering steg fr steg grundrecept i punktform Utvrdering att beskriva, frklara, vrdera och fresl utifrn systematiskt insamlade data.Vad utvrderar vi? Det r motiverat att utvrdera om vi bedmer att utvrderingen </p><p>blir anvndbar blir rtt i tiden gller ett vsentligt omrde kan ge kad kunskap och frmja miljarbetet gr att genomfra </p><p>Checklista vid utvrdering</p><p>VARFR SKA INSATSEN (VERKSAMHETEN) UTVRDERAS? Vem ska anvnda utvrderingen? Till vad? Dvs. bestm syftet. Syftet ska styra allt fortsatt utvrderingsarbete (upp-lggning, ambitionsniv, rapportering). Fr mer information se sid. 14 och sid. 37.FORMULERA KRNFRGOR UTIFRN SYFTET. Vilka frgor ska utvrderingen besvara? Fr mer information se sid. 14 ff. och sid. 17 ff. VEM SKA GENOMFRA UTVRDERINGEN? Extern utvrde-rare (upphandling av konsult)? Intern, dvs. vi sjlva (egna enheten eller annan enhet)? Tillsammans med berrda? Syfte, tidplan, resur-ser och kompetens styr vilket som r lmpligast. Fr mer informa-tion se sid. 23 ff. och sid. 37. HUR VAR DET TNKT ATT INSATSEN SKULLE FUNGERA? (gr en beskrivningsmodell programteori/karta ver hur det var tnkt att insatsen skulle verka). Frgor att fundera p vid konstruk-tionen av beskrivningsmodellen kan vara: Vilken r insatsen (verk-samheten) som ska utvrderas? Hur r den (insatsen) tnkt att genomfras (av vem, p vilket stt, vilka prestationer och resultat behvs p vgen)? Vilka resultat och effekter r det tnkt att insat-sen ska f? Vad, utver insatsen, kan frklara resultatet? Vilka hin-der och mjligheter finns att genomfra insatsen? Vilka r vra krnfrgor? r det resultatet (utfallet) av insatsen eller vgen dit (processen/omvandlingen) som r intressantast att utvrdera? Tnk ocks p att modellen inte r statisk. Den kan revideras efter hand. Fr mer information se sid. 38, se ven sid. 28 ff. </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>8</p><p>HUR SKULLE MAN KUNNA SAMLA IN DATA? Vilka data be-hvs fr att besvara det som anges i syftet? Kvantitativa data, kvali-tativa data? Statistik, textanalys, enkter, intervjuer? (Databehovet styrs av krnfrgor, kritiska punkter och frklaringsniv i beskriv-ningsmodellen). Om enkter eller intervjuer ska gras, hur mnga och till vilka? Fr mer information se sid. 43.FRANKRA FAKTA. Om utvrderingen ska bli anvnd r det vik-tigt att redovisning av data (beskrivningsmodell och verklighetsbe-skrivning) uppfattas som korrekta och tillfrlitliga. Snd grna ut faktadelen (dvs. resultatet av arbetet ungefr s hr lngt) till de be-rrda fr frankring, justering och komplettering. Fr mer informa-tion se sid. 44. JMFR VERKLIGHETEN MED KARTAN. ANALYSERA, SK ORSAKSSAMBAND. Stmmer inte verkligheten och kartan fr man fundera p vad det beror p. Kartan kan vara fel, t.ex. nr det gller teorierna bakom insatsen, uppfattningen om genomfran-det och andra antaganden. Viktiga omgivningsfaktorer kan ha frbi-setts. Men bristande verensstmmelse kan ocks bero p att fullt rimliga frvntningar inte har infriats av ngot skl, dvs. att verklig-heten inte har blivit den frvntade. Stmmer andra sidan kartan och verkligheten kan det konstaterade (och frvntade) utfallet bero p insatsen, det kan bero p insatsen och ngot mera, men det kan ocks ha kommit till stnd trots insatsen. Ett halvlyckat utfall kan bero p att insatsen har motverkats av andra faktorer, etc. Att ett nskat resultat har uppntts kan vara ett fullt tillrckligt konstate-rande. Oftast vill man dock veta varfr och hur. Orsakssamband kan skas genom jmfrelser i tid och rum mellan objekt som har p-verkats respektive inte pverkats av insatsen, genom studier av ge-nomfrandeprocess och genom kvalitativa omdmen av kunniga personer. Fr mer information se sid. 45 ff. BEDM RESULTAT. Hur bedmningen ser ut varierar med typ av utvrdering. Den kan t.ex. g ut p att bedma i vilken utstrckning ett eller flera ml har ntts. Bieffekter som frbttrar respektive fr-tar det nskade resultatet kan behva beaktas. Man kan vilja bedma prestationer eller effekter i relation till resursinsats, i frhllande till fastlagda bedmningskriterier eller egna, men redovisade kriterier. Brukarutvrderingar utgr brukarnas bedmningar och kan vara fri-stende eller del i en mer omfattande utvrdering. Processer kan be-dmas efter funktion, efter de medverkandes vrderingar eller i fr-hllande till andra liknande processer. Kriterier kan vara snabbhet, demokrati, produktivitet etc. Fr mer information se sid. 41 ff, sid. 47. Se ven sid. 28 ff. DRA SLUTSATSER, LMNA FRSLAG. I vilken omfattning av-grs bl.a. av bestllning och syfte. I vrigt svrt att generalisera. Fr mer information se sid. 49. </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>9</p><p>RAPPORTERA SPRID RESULTATET. Tryckt rapport? Fre-dragningar och diskussioner? Seminarier? Populrversioner? Missiv med srskilda uppmaningar till olika intressenter. Fantasi, syfte och resurser avgr. Fr mer information se sid. 49.GLM INTE INTERN FRANKRING! P planeringsstadiet, i halvtid (bedmningar och andra slutsatser) och infr slutrapporte-ring.</p><p>Vid behov, ta hjlp av utvrderarna vid Naturvrdsverket eller konsulter. </p><p>En utmrkt vgledning fr att bestlla utvrderingar har getts ut av Ekonomistyr-ningsverket: Att bestlla utvrderingar en vgledning (ISBN 91-7249-201-5). </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>10</p><p>Vad r utvrdering egentligen? </p><p>Vanligt r att frklara skillnaden mellan uppfljning och utvrdering med att upp-fljning beskriver hur ngot r eller har utvecklats medan utvrdering gr ut p att frklara varfr det r eller har blivit s. Som ordet anger gr utvrdering ocks ut p att vrdera och bedma det som beskrivs. Man kan egentligen inte utvrdera utan att frst flja upp. Dremot behver uppfljning inte alltid leda till utvrde-ring. Men genom uppfljning kan man f signaler om att ngot behver studeras nrmare utvrderas. </p><p>Utvrderingslitteraturen har olika stt att beskriva utvrdering. Enligt Vedung1 r det en noggrann efterhandsbedmning av offentlig politik. Med efterhandsbe-dmning menar Vedung dock inte att man mste vnta tills allt r frdigt och avslutat endast att den insats man ska studera br ha ftt verka ngon tid. </p><p>En del utvrderare arbetar med andra utvrderingsobjekt n offentlig politik. De utvrderar organisationer av alla slag, bl.a. fretag, t.ex. Kyln1. Hur en grupp mnniskor en organisation samspelar, vad som hnder vid frndringar, hur en utbildningsinsats fungerar osv. Utvrderare frn USA bl.a. Patton1, talar mycket om att fonder och vlgrenhetsorganisationer bestller utvrderingar av program som deras pengar anvnds till. De flesta hnvisar dock till insatser inom skolan, vrden och omsorgen nr de berttar om utvrdering och utvrderingsmetoder. RRV1 tar bl.a. upp insatser inom ramen fr bistndspolitiken i sin handledning. </p><p>En konsult beskriver utvrdering som ett perspektiv som anlggs p ett objekt fr att i ngon mening uppskatta dess nytta, frklara utfall och ska utvecklingsvgar. Karlsson1 menar att det utmrkande fr utvrdering r att man vrderar ngot p ett systematiskt och genomtnkt stt. Kyln karakteriserar utvrdering med fyra grundlggande verb: beskriva, frklara, vrdera och fresl. </p><p>Kvintessensen av deras och en rad andra utvrderares definitioner skulle kunna vara just att utvrdering innebr att beskriva, frklara, vrdera och fresl utifrn </p><p>1 Se litteraturfrteckning, sid. 68. </p><p>Beskriva, frklara, vrdera, fresl = utvrdering </p><p>Utvrdering kan ge bttre kunskaper och vara lrande p alla plan nr det gller miljpolitikens genomfrande organisation, policy, hand-lingsplaner och projektarbete. ven arbetsmetoder och tekniska system kan utvrderas. </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>11</p><p>systematiskt insamlade data (bde kvantitativa och kvalitativa). Var tyngdpunkten ligger varierar mellan olika typer av utvrderingar. Att systematik, data och de antaganden vrderingarna bygger p redovisas ppet hr ocks till en god utvrde-ring.</p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>12</p><p>Utvrderingens vad, vem ochvarfrUtvrdering vid Naturvrdsverket Verkets utvrderingsstrategi Naturvrdsverket har 2004-11-17 antagit en ny utvrderingsstrategi (verksprotokoll Nr 129/04, 2004-11-17). Strategin finns under rubriken Styrande dokument, Pla-ner/Strategier p intrantet. Ls den! </p><p>Huvudpunkterna i strategin handlar om varfr och vad vi ska utvrdera, hur vi ska uppfatta vr roll som utvrderare och om arbetsfrdelningen inom verket. Utvrde-ring r en angelgen arbetsuppgift fr samtliga avdelningar och enheter. Utvrde-ringsenheten har som sina huvuduppgifter att gra egna utvrderingar och att ge std i metodfrgor till vriga enheters utvrderingsverksamhet. </p><p>Olika slag av utvrderingar alla r Naturvrdsverkets De utvrderingar som grs och kommer att gras i Naturvrdsverkets regi r av mnga olika slag: Frn insamling och analys av data om individ- och artantal, fr-oreningshalter etc. ver granskning av hur ett styrmedel fungerar till breda genom-gngar och bedmningar av sektorernas arbete fr att stadkomma hllbar sam-hllsutveckling eller n ett visst miljml. Som exempel kan man nmna utvrde-ring av bottenfaunan i rinnande vatten fr att bedma effekter av kalkning, utvrde-ring av en viss provtagningsteknik och utvrderingen av arbetet mot miljkvali-tetsmlet Myllrande vtmarker. </p><p>Det r Naturvrdsverket som str fr alla utvrderingar som genomfrs vid verket av verkets personal eller helt eller delvis av konsulter. Oavsett vad man skriver i frordet om enskilda tjnstemns insatser r det nmligen som verkets produkter de uppfattas av omgivningen. </p><p>Om man anlitar konsulter fr hela eller delar av en utvrdering ska deras arbete i normalfallet ses som underlag fr verkets stllningstagande. P ngot stt, antingen genom bearbetning av underlaget eller </p></li><li><p>NATURVRDSVERKET Utvrdering steg fr steg </p><p>Ltt reviderad handledning i utvrdering fr Naturvrdsverket </p><p>13</p><p>genom srskilda kommentarer, en inledning, ett slutsatskapitel el. dyl. mste verket frhlla sig till konsultens arbete och gra det till verkets. Detta frfaringsstt ms-te framg tydligt av upphandlingsunderlaget s att det inte uppstr problem vid publiceringen. Att man nd redovisar vilken konsult som medverkat med vad r givet. Endast i undantagsfall, om det finns srskilda skl, publiceras en utvrdering okommenterad och med frbehllet att utvrderaren/konsulten sjlv helt svarar fr innehll och slutsatser. </p><p>Detta innebr att vra utvrderingar ska frankras inom verket p samma stt som andra aktstycken som verket frutstts st bakom. Eftersom srskilt utvrderingar av miljarbetet kan innebra en hel del bedmningar av och uttalanden om ven andra myndigheters eller organisationers granden och ltanden r frankringen srskilt viktig.</p><p>Frankring i flera stegOavsett varifrn initiativet till e...</p></li></ul>

Recommended

View more >