Ingår i temat
Mätandets makt
Läs senare

Makten över måttstocken

Det svarta Pisa-resultatet har gett politiker skrämselhicka och fått byråkrater att gråta. Men hur fick just OECD:s test sådan tyngd? Att Sverige deltar i internationella kunskapsmätningar är inget nytt, inte heller att vi hamnar på jumboplats.

24 sep 2014

Bild: Maja Kristin Nylander
När en av de stora friskolekoncernerna i våras bjöd in lärare, forskare och journalister till en temadag om skolutveckling inledde vd:n med en anekdot. Någon vecka tidigare hade en förälder stoppat honom på skolgården och berättat om en lapp som satts upp på familjens kylskåp. Den föreställde kurvorna från den senaste Pisa-mätningen, där svenska elevers resultat rasat i jämförelse med alla andra länder.
– Se så dåliga ni är! Nu måste ni plugga! var budskapet.

Varje måltid skulle barnen se den där lappen och skämmas.

Under året som gått har nyhetsflödet och den offentliga debatten om skolan totalt dominerats av Pisa-mätningen. Men Pisa har tydligen också blivit något man kan skrämma barn med.

Hur blev det så?

Mellan 1960 och 1995 deltog Sverige i cirka 15 internationella kunskapsmätningar. Periodvis gick det riktigt dåligt. I en matematikstudie som genomfördes 1964 (Fims) mättes kunskaper hos 13-åringar och gymnasieskolans avgångsklasser. Totalt deltog tolv länder. Sverige och USA hade de genomsnittligt sämsta resultaten bland de yngre eleverna. Studenterna, däremot, placerade sig i mitten. Detta ledde till en het debatt, bland annat kritiserades grundskolereformen som genomförts två år tidigare.

Men trots det lyckades man inte förändra resultatbilden.

20 år senare var svenska 13–14-åringar fortfarande sämst i algebra, aritmetik och geometri tillsammans med Swaziland, Nigeria och Luxemburg. ”Matematikkrisen” fick politiska konsekvenser. I 1986 års budgetproposition föreslogs olika åtgärder på kort och lång sikt, bland annat fortbildningsinsatser för lärare. Ett slags ”mattelyft”.

På senare tid har antalet kunskapsmätningar ökar markant. Under perioden 1995–2012 deltog Sverige i totalt 40 stycken. Det konstaterar Skolverket i en sammanställning från i våras. En anledning är att mätningarna ändrat karaktär över tid. I stället för enstaka undersökningar utformas de som program som genomförs med några års mellanrum. En annan förklaring är att två aktörer har börjat konkurrera. OECD, som ligger bakom Pisa-undersökningen, utmanar den internationella forskningsorganisationen IEA som sedan 1960-talet dominerat branschen med mätningar som Timss och Pirls.

– Ett lands utbildningssystem i dag är dess ekonomi imorgon, sade OECD-representanten och Pisa-samordnaren Andreas Schleicher vid ett Sverigebesök tidigare i år.

Det är ingen slump att han hänvisade till landets ekonomi. OECD är en organisation för ekonomiskt samarbete och utveckling. Men dess intresse för skolan är inget nytt. Sedan 1970-talet samlar OECD utbildningsstatistik från medlemsländerna i en årlig rapport, Education at a glance. Där jämförs exempelvis klasstorlekar, lärarlöner och längden på olika utbildningar.

På 1990-talet var generaldirektören för Skolverket, Ulf P Lundgren, medlem i styrelsen och senare ordförande i Ceri, den gren av OECD som behandlar utbildningsfrågor.

Education at a glance är ett fascinerande uppslagsverk, säger han. Under 80-talet blev det mer och mer diskussioner om att man ville ha in resultat i den här rapporten. Det var framför allt USA som drev den frågan.

Det ledde till ett samarbete med IEA, som sålde delar av sina mätningar till OECD. Men det var ingen idealisk lösning. IEA ville vara först med att publicera sina resultat och därmed blev de inaktuella när OECD så småningom fick tillgång till dem. Det fanns också en växande kritik mot IEA:s metoder.

– Vid varje mätning kunde man jämföra sig med andra länder. Men vilka länder kunde variera och möjligheten att se förändringar över tid var små, säger Ulf P Lundgren.

En annan kritik handlade om att proven var alltför styrda av vilket land provkonstruktörerna kom ifrån.

– Det finns en artikel av en holländsk forskare som fullständigt sopar mattan med IEA:s första studie i matematik, säger Ulf P Lundgren. Den visar att provet mätte vad eleverna kunde i förhållande till den belgiska kursplanen. Konstruktörerna var just belgare.

En amerikansk forskare plockade ut de uppgifter som hade bäring i deras läroplan och konstaterade att USA egentligen borde ligga i topp. Andra analyser visade att ostasiatiska länder gynnades.

– Det här gjorde att OECD blev allt mer tveksamt till att använda IEA:s resultat. USA erbjöd sig då att finansiera utprovningen av ett nytt testsystem, som kunde kopplas till Education at a glance. Det är det som blev Pisa, säger Ulf P Lundgren.

Det amerikanska företaget Education testing service hade vid den här tiden lanserat ett prov som mätte läsförmåga på ett helt nytt sätt. Det handlade om förståelsen av en text i stället för avkodningen.

– Det låg helt rätt i tiden, säger Ulf P Lundgren. Kunskapsdiskussionen inom läroplansforskningen inriktades allt mer mot kompetens. I Sverige fanns en sådan tendens i 1994 års läroplan, men det slog igenom först i 2011 års läroplan där man använder ordet ”förmåga” som en synonym till kompetens.

OECD beslutade sig för att prova modellen i ett mindre läsförståelsetest för vuxna (IALS). I Sverige deltog 2 645 personer mellan 16 och 65 år – och placerade sig högst av de elva nationer som gick med.

– Det visade sig vara ett stabilt, robust och bra test, säger Ulf P Lundgren.

Därmed var själva formen för Pisa-proven spikad.

– Vi ville mäta literacy, ett slags generell kompetens. För att komma åt den bestämdes tre kunskapsområden: läsförståelse, matematik och science i bred mening – alltså att förstå grundläggande naturvetenskapliga fenomen. Genom att mäta kompetens skulle utvecklingen över tid kunna analyseras, och därmed skulle vi undvika kritiken som IEA fått tidigare.

Pisa har nu genomförts fem gånger, vart tredje år sedan 2000. Men kritiken har definitivt inte uteblivit. I maj i år skrev 80 akademiker från olika länder ett protestbrev till OECD, som publicerades i den brittiska tidningen The Guardian. De menade att Pisa leder till kortsiktiga politiska insatser, att proven ger en snäv bild av synen på utbildning och att multinationella företag som OECD samarbetar med tjänar på vissa problembilder som hjälper dem att sälja sina produkter. En annan debatt har rört motivationen. Eftersom Pisa-resultaten är hemliga för alla utomstående och inte vägs in i betygen, visar det sig att många elever inte bryr sig om att göra sitt bästa. Det sänker provets trovärdighet.

I årets valrörelse kom flera bevis på hur Pisa styr skolpolitiken. Både Socialdemokraterna och Alliansen skrev manifest där man lovade att Sverige inom tio år ska placera sig på ”topp fem” eller ”topp tio” i den internationella rankningen. Ulf P Lundgren ser en fara i sådana mål.

– Det är otäckt om man fastnar i det här och tycker att alla länder ska bli bäst på Pisa. Då får vi ju ingen variation!

Att Pisa lyckats få så hög status tror Ulf P Lundgren beror på att OECD har ett starkare varumärke än IEA. Även mediebevakningen spelar förstås in.

– De första åren var det ingen som brydde sig om Pisa, för det fanns inget att försvara. En nyhet måste avvika från det vi tror är normalt. Vi har trott att svensk skola är världsledande och uppfattat oss som ett land med hög utbildningsstandard. När Pisa ger ett helt annat utslag kommer det som en chock, säger Ulf P Lundgren.

Ingegerd Wärnersson var skolminister i den svenska regeringen när det första Pisa-testet gjordes år 2000. Hon hade hört talas om det, men fäste inte så stor vikt vid det.

– De första rapporterna vi fick sa att vissa länder drog sig ur Pisa när de märkte att resultaten inte blev som de väntat sig. Det är ingen officiell uppgift, men så var det, minns Ingegerd Wärnersson.

När rankningen presenterades 2001 blev det ingen större debatt om Pisa. Sverige låg bra till inom alla tre ämnena. Ingegerd Wärnersson lade mer tankekraft på de nationella proven.

– Jag lärde mig att det är kostsamt och tar lång tid att framställa prov av hög kvalitet. Vi tyckte att det var viktigt att eleverna inte bara skulle rabbla fakta, utan även kunna göra analyser. Det fanns inte så många nationella prov. Vi fokuserade på svenska och matte.

Ett viktigt komplement var diagnostiska prov, som Ingegerd Wärnersson uppfattade som värdefulla enligt lärarkåren.

– Vi politiker såg aldrig resultaten på de diagnostiska proven. De var till för de enskilda skolorna och lärarna.

Ingegerd Wärnersson är mycket positiv till internationella jämförelser. Hon har haft stor nytta av undersökningar som gjorts och statistik som tagits fram, speciellt lovordar hon OECD:s granskning av förskolan som bland annat ledde till införandet av maxtaxa i Sverige. Ändå är hon förvånad över hur stor dignitet Pisa fått.

– Jag kan inte tänka mig att en enskild rapport kunde få sådant genomslag på min tid. Vi gjorde egna analyser som byggde på olika undersökningar. Det var det som påverkade skolpolitiken, säger hon.

Anna Ekström, generaldirektör på Skolverket, har en förklaring till varför Pisa blivit så betydelsefullt i Sverige.

– I dag saknas en kontinuerlig utvärdering av kunskaps- och resultatutveckling. Den överblick över riket som vi får via Pisa och andra internationella studier borde vi kunna få på egen hand och i fler ämnen och årskurser, säger hon.

Ett sätt att ha koll på resultat i hela landet är förstås de nationella proven.

– Men vi har kommit fram till att det behövs ett komplement. För att ta reda på hur det ska se ut måste vi studera hur andra länder har gjort. På Skolverket grunnar vi också på hur de nationella proven kan få ett mer formativt inslag, säger Anna Ekström.

För henne finns det en specifik tidpunkt när hon insåg vilket genomslag den senaste Pisa-undersökningen skulle få i Sverige.

Förra hösten tog hon emot fortlöpande rapporter om resultaten och det såg inte bra ut. Hon bad därför forskargruppen på Mittuniversitetet som ansvarar för Pisa-mätningarna i Sverige och den då ansvariga experten på Skolverket, Anita Wester, att söka efter ljuspunkter. När Anna Ekström en dag i oktober passerade i korridoren utanför Anita Westers arbetsrum stack hon in huvudet och frågade hur det gick. Fanns det något positivt alls för svensk del?

– Anita tittade upp och sa: ”Nej, det finns inte någon ljuspunkt.” Då sjönk vi ihop båda två och fick tårar i ögonen.

Anna Ekström upplever att många som jobbar inom skolan känner ett personligt ansvar för de sjunkande Pisa-resultaten. Hon själv inräknad.

– Samma vecka som vi presenterade de senaste siffrorna träffade jag tre olika lärare, alla mycket erfarna, som började gråta när vi pratade om Pisa. De tyckte att de kämpat, läst på och tagit till sig av styrdokumenten. Men det hjälpte inte.

Det finns en sida av Pisa som man bör fundera över, tycker Anna Ekström:

– Pisa riskerar att skapa en stämning i skolan som inte leder till höjda resultat. Det här är en jättetrixig fråga. Om vi tror på Pisa-resultaten måste alla hjälpas åt att vända utvecklingen. Det kräver en hög tillit och tilltro. Men det finns en risk att diskussionen om sjunkande resultat bidrar till ökad misstro mot varandra och mot systemet.

Anna Ekström hoppas att OECD-länderna i framtiden kommer att fortsätta utveckla Pisa-projektet tillsammans och att de nordiska länderna ska samarbeta mer, eftersom resultatutvecklingen till viss del är likartad.

– Några innovationer som jag tycker är roliga är att vi börjat mäta digital läsning i förhållande till traditionell läsning och gjort ett test som handlar om kreativitet och digital problemlösning. En diskussion som förs nu är hur vi ska få in mer sociala och emotionella, icke-kognitiva, kompetenser i Pisa, till exempel uthållighet, samarbetsförmåga, ansvarstagande och ledarskap.

Andra internationella mätningar visar att de svenska eleverna är duktiga på engelska, mänskliga rättigheter och medborgarkunskap. Så kanske gynnar det oss om fler uppgifter läggs till i provet.

Men än hänger de slokande kurvorna kvar på kylskåpsdörrar och tidningssidor. Anna Ekström tycker att det är synd om de används som hot mot läxlata barn.

– För mig får folk uppfostra sina barn precis hur de vill. Men skolan har ansvar för att ge varje elev bra möjligheter att uppnå målen. Pisa ger bra information, men mäter inte allt i svensk skola.

Organisationer som mäter

IEA: The International Association for the Evaluation of Educational Achievement. Organisationen startades 1958 av internationella forskare från olika fält. De såg världen som ett forskningslaboratorium för utbildning. IEA hade sitt huvudkontor på Stockholms universitet och fram till 1978 var pedagogikprofessorn Torsten Husén ordförande. Organisationen finns nu i Nederländerna och Tyskland och står bakom undersökningar som Timss (Trends in mathematics and science study), Siss (naturvetenskap), Pirls (läsförståelse) och Civic (demokrati- och samhällsfrågor).

OECD: Organisationen grundades 1948 som en del av den så kallade Marshallplanen. Syftet var att samordna insatser för att bygga upp Europa efter andra världskriget. Man skulle främst ägna sig åt ekonomi och till viss del kultur. Står bakom Pisa (Programme for International Student Assessment) som utförs var tredje år i ämnena läsförståelse, matematik och naturvetenskap. I Sverige deltar elever i årskurs 9.

Alla artiklar i temat Mätandets makt (14)

ur Lärarförbundets Magasin