Läs senare

Ett hungrigt monster

Det finns hos många en närmast religiös tilltro till vad som kan uppnås med utvärdering. Men sällan – eller aldrig – diskuteras om utvärdering verkligen kan åstadkomma det man förväntar sig. Hur vet man att mera utvärdering självklart leder till en bättre skola?

08 sep 2009

I skolans värld bor ett av de allra hungrigaste utvärderingsmonstren. Mål att följa upp och utvärdera finns det gott om i skollag, läroplaner, kursplaner och kommunala skol- och arbetsplaner. Många är också de utvärderingsinstrument som används för att fånga och värdera kvalitet och resultat.

Över huvud taget ska allt som görs i den offentliga sektorn i dag utvärderas i en omfattning som inte tidigare skådats. I olika styrdokument påbjuds allt oftare att utvärdering ska ske och integreras i praxis. Offentliga organ etablerar särskilda enheter för utvärdering, och ibland skapas fristående myndigheter. Äldre förvaltningsfunktioner som revision och inspektion har fått förnyad aktualitet. Allt oftare talas det också om att sociala verksamheter ska vara evidensbaserade, det vill säga bygga på vetenskaplig kunskap om deras verkan. Det innebär i sin tur krav på att forskning inriktas på effektutvärdering av insatser och reformer, och att systematiska kunskapsöversikter görs som ställer samman resultat från befintlig forskning.
I min bok Utvärderingsmonstret har jag liknat utvecklingen vid ett, som titeln anger, utvärderingsmonster som aldrig tycks få nog med mat. Skolans utvärderingslandskap skulle kunna illustreras så här:

Argumenten för utvärdering är starka och ingen torde väl ha något principiellt emot de positiva effekter som ställs i utsikt. Om skolans kvalitet och resultat ska bli bättre så krävs att utvärdering kommer till stånd. Detta samband upprepas i alla nationella styrdokument som gäller skolan, liksom i skolinspektionens sammanställningar som regelmässigt påpekar att det brister i skolornas och kommunernas utvärderingsarbete.

Som utvärderingsforskare och utvärderare med lång erfarenhet har jag kommit att bli skeptisk till den närmast religiösa tilltro som många har till vad som kan uppnås med utvärdering. Sällan – eller aldrig – diskuteras om utvärdering verkligen kan åstadkomma de förväntade effekterna. Hur vet man att mera utvärdering självklart leder till en bättre skola? Bygger de utvärderingsinstrument som brukas – kvalitetsredovisning, individuell utvecklingsplan etcetera – på vetenskaplig kunskap om deras verkan? Är utvärderingsinstrumenten, vars bärande element är ökad kontroll och dokumentation, rätt sätt att lösa skolans problem? Tänk om det är tvärtom, att all denna utvärdering ger upphov till perversa bieffekter som i själva verket motverkar utvecklingen av kvalitet, resultat och därmed måluppfyllelse?

Mot bakgrund av de problem som döljer sig i utvärdering, och med tanke på alla de resurser som utvärdering förbrukar, menar jag att frågor om dess användning och nytta borde debatteras i långt större utsträckning än vad som hittills skett. Vad är då lämpligare att använda än programteorimetoden som av de flesta utvärderare anses vara ”standard evaluation procedure”.

Utgångspunkten för varje programteori är ett samhälleligt problem som behöver lösas eller en situation som behöver förbättras. Utvärdering förutsätter ett objekt och begreppet programteori står för en beskrivning av logiken hos detta objekt. Själva programteorin utgörs av en uppsättning antaganden om orsak och verkan som förklarar hur problemet i fråga kan lösas eller situationen förbättras.

En programteori är inte en teori i strikt vetenskaplig mening som på basis av tillförlitlig kunskap – evidens om man så vill – förklarar hur och varför A (exempelvis en viss pedagogisk metod) påverkar B (exempelvis elevers beteende). Programteori handlar också om förklaring, men förklaringen har sin grund i hur de som skapat eller beslutat om en verksamhet tänker sig att den fungerar (gör man A så händer B och det för i sin tur med sig C och D). En programteori utgörs därför av orsakssamband som ofta bara är underförstådda, men kan rekonstrueras med hjälp av till exempel styrdokument.

En programteori kan användas på många sätt, vanligast är som utgångspunkt när man planerar en utvärdering. En programteori kan också prövas empiriskt. All evidensbasering måste i själva verket starta i rekonstruktion av en programteori, vars antaganden om orsak och verkan ses som hypoteser som prövas empiriskt. Jag vill använda programteorimetoden för att kritiskt reflektera kring naturen och logiken hos ett av instrumenten i skolans utvärderingslandskap, nämligen den individuella utvecklingsplanen (IUP). IUP utgör enligt min mening själva kittet i skolans utvärderingslandskap och är därför särskilt viktig att kritiskt granska.

En programteori måste, som sagt, rekonstrueras. Det är ovanligt att de antaganden om orsak och verkan som ligger bakom en verksamhet finns synliggjorda. I det här fallet är det dock ganska lätt att med hjälp av Skolverkets allmänna råd och kommentarer skissa en programteori för IUP som ser ut så här:

Om följande förutsättningar finns …

  • De nationella kursplanerna är konkretiserade och utvecklade lokalt så att det står klart vad undervisningen ska innehålla och hur den ska utformas för att leda mot nationella mål.
  • I varje skola finns gemensamma rutiner och former för dokumentation av elevernas kunskapsutveckling och lärande.
  • Och om följande aktiviteter genomförs:
    Läraren arbetar systematiskt för att dokumentera elevens kunskapsutveckling och lärande.
  • Eleven tränar sig i att reflektera över, beskriva och bedöma sina kunskaper och lärande.
  • Läraren återkopplar kontinuerligt till eleven.
  • Läraren utvärderar elevens utveckling i relation till målen i läroplanen och kursplanerna.
  • Utvecklingssamtal mellan lärare, elev och vårdnadshavare hålls minst en gång varje termin.
  • Vid samtalet diskuteras hur elevens fortsatta lärande ska stödjas och stimuleras. En skriftlig IUP upprättas som innehåller omdömen om elevens kunskapsutveckling och sammanfattning av vilka insatser som behövs för att eleven ska nå målen. Omdömena i IUP får vara betygsliknande.
  • Vid behov av särskilda stödåtgärder utarbetas ett åtgärdsprogram.

… Så får det följande effekter

  • Eleven tar ansvar för och påverkar sina studier.
  • Elevens och vårdnadshavarens delaktighet i den individuella planeringen stärks.
  • Elevens självuppfattning och självtillit bevaras och stärks.
  • Eleven utvecklas så långt som möjligt mot målen.
  • Läraren får underlag för att bedöma effekterna av den egna undervisningen och vid behov förändra den. Kvalitet och effektivitet i hans eller hennes arbetsinsats ökar.
  • Skolan får förutsättningar att samlat se över och analysera sin verksamhet, förändrings-behov blir synliggjorda.
  • Huvudmannen får underlag för resursfördelning och kompetensutveckling.
  • Staten kan bedöma utbildningens resultat, ansvarsutkrävande underlättas.
  • Alla skolor är bra och likvärdiga skolor.
  • Sverige har ett utbildningssystem i världsklass.

Som jag nämnde tidigare så är grunden för varje programteori ett samhälleligt problem som behöver lösas eller en situation som behöver förbättras och i programteorin finns en förklaring av hur det kan ske. Det problem som IUP ska bidra till att lösa handlar, så vitt jag kan förstå, om bristande måluppfyllelse i skolan. För få elever når målen, kunskaperna inom flera områden har försämrats och an-delen behöriga till gymnasieskolans nationella program minskar.

Den lösning som går att läsa in i IUP:s programteori lyder alltså ungefär så här: Om skolans mål är tydligt preciserade, och om elevernas kunskaper kontinuerligt följs upp och utvärderas i förhållande till dessa mål, så kommer många fler – kanske de flesta – elever att nå skolans kunskapsmål. Är denna underliggande slutsats rimlig kan – och bör – man fråga sig.

Ett problem ligger i IUP:s instrumentella syn på lärares arbete: Vad som händer i klassrummet och i huvudet på eleverna och läraren kan och bör styras med hjälp av systematiskt utvärderingsarbete. Den forskning som finns om utvärderingars användning, i kombination med min egen snart tjugoåriga erfarenhet som lärare (visserligen på universitetet och inte i grundskolan), säger mig att denna syn i det närmaste är utopisk.

Ett annat problem gäller fokuseringen på mål och utvärdering av måluppfyllelse i IUP. Åsa Beckman funderade i Pedagogiska magasinet (1/2009) över den orealistiska bild av eleven som ligger inbakad i läroplanens mål, som alltså ska ligga till grund för IUP. Själv funderar jag över om det överhuvudtaget är möjligt för lärare att på ett objektivt sätt värdera huruvida en elevs kunskapsutveckling når upp till ett givet mål. Hur konkret ett mål än formulerats kommer det alltid att finnas utrymme för tolkning. Att bedöma huruvida en elev kan räkna till tio – eller kan klockan som var ett av målen i min dotters IUP i första klass – är inte svårt. Min gissning är att många av de mål som sätts upp i IUP ser ut på detta enkla, mätbara sätt. Men hur gör den lärare som ska ta ställning till om eleven ”förstår”, ”kan tolka” eller ”jämföra” kunskap av något slag? Här måste läraren formulera sin egen operationalisering av termernas betydelse, men eleverna besitter inte denna expertis vilket gör det svårt för dem att planera och ”ta ansvar för sina studier”.

Ett tredje problem är IUP:s lite trista syn på vad kunskapsutveckling och lärande är. Eleverna ska nå målen i skolans styrdokument, punkt slut. Helst ska målen dessutom ha planerats i förväg, inget virrande bort från dessa mål tillåts eller uppmuntras. Här kan jag inte låta bli att igen referera till min dotter som en gång ängsligt frågade om jag möjligen trodde att hon kunde få ändra målet att kunna klockan i IUP till att lära sig mer om vikingar. Influerad av många års forskning om folkbildning, som bygger på idén att bildning är en fri process som utgår från varje människas egna drivkrafter, tycker jag att alla människor, även elever i grundskolan, ska få lov att ”virra” på detta sätt i sin kunskapsutveckling.

Ett fjärde problem handlar om den arbetsinsats som krävs av alla lärare för att IUP ska fungera på avsett vis. Insikter från forskning om implementering säger att användningen av nya metoder i en verksamhet inte sprider sig själva tack vare sin överlägsenhet och att det bara är ibland som utbildning av personal
bidrar till användning. Uppfattar inte läraren att IUP är en effektiv metod finns en stor risk att IUP blir till en tom ritual som inte kommer till användning men tar tid och pengar från andra aktiviteter.

Min kritik av IUP ska inte missförstås. Regelbundna utvecklingssamtal, i ett strukturerat format, är både nödvändiga och viktiga eftersom de säkrar att alla elever får en chans att bli sedda och att deras kunskapsutveckling blir synliggjord. Det jag vänder mig emot är den instrumentalitet och rationalitet som finns i IUP. Vill man vara elak är det lätt att se likheter med det forna Sovjetunionens planeringssystem, där önskvärda mål från den högsta ledningen omsattes av Gosplan, den statliga planeringskommittén som bland annat lade fast femårsplanerna, i förväntade produktionskvantiteter med tillhörande ”kontrol nye tsifry”, det vill säga kontrollsiffror.

Litteratur

Donaldson, S I & Lipsey, M W (2006):
”Roles for Theory in Contemporary Evaluation Practice”, i I F Shaw med flera The Sage Handbook of Evaluation. Thousand Oaks: Sage.

Lindgren, L (2006):
Utvärderingsmonstret. Kvalitets- och resultatmätning i den offentliga sektorn. Studentlitteratur.

Åsa Beckman (2009): ”Vilken bild av eleven ligger inbakad i läroplanens mål?” Pedagogiska magasinet
nr 1/2009.

Prop. 2008/09:87
Tydligare mål och kunskapskrav — nya läroplaner för skolan.

Skolverket (2008). Allmänna råd och kommentarer. Den individuella utvecklingsplanen med skriftliga omdömen.

Alla artiklar i temat Kvalitet mönster eller monster? (9)

ur Lärarförbundets Magasin