Ingår i temat
Den mätbara skolan
Läs senare

TIMSS och PISA brickor i det politiska spelet 

De stora internationella skolundersökningarna skapar inte bara krigsrubriker och heta debatter om vinnare och förlorare. De styr också skolpolitiken. Därför måste vi föra en kritisk debatt om dem, skriver professor Svein Sjøberg.

22 Maj 2005

 När resultaten av de internationella skolundersökningarna TIMSS och PISA (se faktaruta) presenteras tar tidningarna i många länder till krigs- och katastrofrubriker. I december 2004 kom först en PISA-våg, sedan en TIMSS-våg. I de flesta länder som deltog följde en het debatt.  

Resultaten presenteras som ligatabeller och rankningslistor där vi ser vem som är vinnare och förlorare. Så tolkas också resultaten av allmänheten – och skolpolitiker: som den slutgiltiga och objektiva domen över landets skolsystem. 

Man kan vara säker på att förutsättningarna för den framtida skolpolitiken i en rad länder kommer att bygga på dessa studier. Därför är det viktigt att föra en kritisk debatt: Vad är TIMSS och PISA för slags studier? Vem står bakom dem? Vilka är drivkrafterna? Vad är det som testas – och inte testas? Vilka teorier och antaganden bygger studierna på? 

I många länder har TIMSS och PISA blivit viktiga brickor i politiska val. Eftersom jag känner till Norge bäst ska jag börja med en norsk stämningsbild från årsskiftet 2004–2005, då resultaten publicerades. Norge ligger ungefär på OECD-genomsnittet i alla komponenter i både PISA 2000 och PISA 2003. Men det är vi förstås inte nöjda med, för många har länge hävdat att Norge har världens bästa skola. De stora tidningarna drog på med sina fetaste rubriker för att presentera de dystra nyheterna. Här är några exempel ur två stora tidningar: I dag får skolan underbetyg (Aftenposten), Norska elever blir sämre i skolan (Dagbladet), Typiskt norskt att vara dålig (Aftenposten), Norsk skola underkänd igen (Aftenposten). 

Faktum är alltså att Norge inte är någon ”förlorare”, utan genomsnittligt på alla områden. Men vi hamnade långt efter Finland och även efter Sverige. Det tycker vi inte om i Norge, där självtilliten har växt över alla gränser. Den norska utbildningsministern Kristin Clemet (höyre) var snabb med sin kommentar: ”Detta är pinsamt – det är nästan som att komma hem från vinter-OS utan en enda medalj.” Så tillade hon: ”Och den här gången kan vi inte skylla på att finnarna var dopade!” För som alla svenskar säkert vet, skulle en norsk förlust i ett vinter-OS vara en nationell katastrof och mardröm. 

I Norge och många andra länder tycker både allmänheten och skolmyndigheterna att de internationella undersökningarna är viktiga. Norges utbildningsminister kan knappt öppna munnen utan att börja med ”Internationella undersökningar har visat … ” Nästan alla utbildningspolitiska beslut motiveras nu med hänvisningar till TIMSS och PISA. Efter PISA-chocken satte utbildningsministern ett mål: ”Norge ska vara bland de bästa tjugofem procenten i nästa PISA.” Ministerns ord låter till att börja med som en bra (men djärv) ambition. Men man bör nog se lite närmare på målformuleringen. Betyder det att skolan ska ersätta sina egna mål med det som de internationella testerna mäter? Då blir det väldigt viktigt att ta reda på hur de indikatorerna stämmer med de nationella läroplanerna och deras mål. 

I Norge kom de senaste TIMSS- och PISA- rapporterna precis innan en ny läroplan skulle läggas fram för remiss och debatt. Resultaten slår ner som en bomb. Genom media skapas intrycket att det är illa ställt med kvaliteten i norsk skola. Både läroplanskommittéer och andra reagerar direkt; nu ska ämnesstudierna betonas. Ledaren för arbetet med den nya matematikplanen var snabb: ”Nu ska eleverna lära sig multiplikationstabellerna både fram- och baklänges.” Hon har tidigare rekommenderat lek och kreativitet i matematikundervisningen, men drabbades tydligen av en PISA-chock.

Det har också kommit krav på stopp för pedagogiska experiment och projekt. Lugn och disciplin ska åter råda i norsk skola. Vi måste betona grundläggande färdigheter. Norge har fått sin ”back to basics”-rörelse, framdriven av TIMSS- och PISA-trauman. 

Samtidigt förbereder Norge ett omfattande nationellt test- och bedömningssystem i flera ämnen och flera årskurser. Resultaten ska bli offentliga, och snart sagt alla sidor av skolan ska finnas på internet. Norsk skola har gått från en ytterlighet till en annan. För tio år sedan hade vi varken tester eller inspektörer, nu är det tentamina, nationella och internationella tester, indikatorer och ”benchmarks” som gäller. Många menar att läraren har omyndigförklarats och blivit tekniker eller funktionär, andra att vi äntligen har fått objektiva mål som kan säkra att norsk skola håller internationell standard. 

TIMSS och PISA är omfattande och dyra. Ursprunget är myndigheternas behov av ”policy-relevant” information, som kan ge underlag för att styra utbildningssystemen mer rationellt. Sådana data kan i stort sett bara vara meningsfulla om man jämför med andra länder. Endast det kan visa om situationen är bra eller dålig, skolan dyr eller billig, resultaten bra eller mindre bra och så vidare. Det var sådana tankar som låg bakom när svensken Torsten Husén för snart femtio år sedan tog initiativ till IEA (International Association for the Evaluation of Educational Achievement). IEA står i dag bakom en rad stora studier. Mest känd, och mest omfattande, är nog TIMSS. Tanken växte fram ur den svenska socialdemokratins tro på att man på vetenskaplig grund kunde bygga ett bättre samhälle. Vi känner också igen det från norsk socialdemokratisk tradition. Ändå stod Norge länge utanför; den första studie vi deltog i var SISS, föregångaren till dagens TIMSS, och det var en högerledd regering som 1982 fick med oss. Nu tycks det råda tvärpolitisk enighet. Det kan vara symptomatiskt att i Norden är Norge ivrigast att delta i internationella studier – samtidigt som vi inför nationella prov. Norsk skola har på ganska kort tid gått från en slags sifferfobi till en naiv tro på siffermagi.

Både enskilda länder och internationella organisationer (UNESCO, OECD och EU) har flitigt använt IEAdata. Men i början av 1990-talet började OECD planera sin omfattande studie PISA. OECD:s mål är att främja ekonomisk tillväxt bland medlemmarna, som alla är tämligen rika industriländer. Intresset för utbildning beror naturligtvis på att kunskap och kompetens är centrala drivkrafter i en modern ekonomi. OECD är inte i första hand intresserat av bildning, eller etik och estetik. Och miljövård och värdegrundsfrågor är inte utan vidare centralt. Målet är att främja OECD-ländernas ekonomi och konkurrensförmåga i en global kamp om produkter och marknader. 

TIMSS och PISA är utbildningens svar på naturvetenskapens Big Science eller Techno-science: internationella projekt där alla förutsättningar och problemställningar bestäms på överstatlig nivå, där styrningen till en del är politisk och där forskarna är mer eller mindre bundna av skrivna eller oskrivna kontrakt som kräver lojalitet inför beslut, procedurer och inte minst uppdragsgivare. TIMSS och PISA kostar många miljoner euro eller dollar och har hundratals forskare engagerade. 

Utbildning är en av samhällets viktigaste institutioner. Betydelsen, omfattningen och kostnaderna har ökat dramatiskt de senaste årtiondena. I genomsnitt har vi i Norden tillbringat över tretton år i utbildning, en siffra som dagens ungdom kommer att öka betydligt. Omkring en tredjedel av befolkningen är alltid inblandad i utbildning, som elever, studenter eller lärare. En betydande del av samhällets resurser går till utbildningsinstitutionerna. Därför är det självklart att varje lands regering har behov av (och skyldighet) att se över systemet, från kvaliteterna i lärandet till resursanvändningen. Och naturligtvis också förhållandet mellan resursanvändning och resultat! 

Så det ligger inget negativt i att TIMSS och PISA utgår från regeringarnas önskemål om information för att få en mer effektiv och målinriktad styrning och resursanvändning. Det skulle vara både omöjligt och ansvarslöst att styra utan att ha sådan information. 

Men den stora utbildningspolitiska betydelsen av dessa studier gör det viktigt att rikta strålkastarljuset på det man faktiskt mäter – och hur det används och missbrukas, förstås och missförstås. Skolorna i olika länder har fått mandat av samhället att undervisa utifrån nationella läroplaner, som ofta förhandlats fram i en bred nationell dialog om både värdegrund och ämnesinnehåll. Om en skola lyckas eller misslyckas avgörs av i vilken grad den lever upp till de nationella läroplanerna. Då är det av avgörande betydelse hur stor samstämmighet det är mellan de planer skolan måste följa och det som TIMSS och PISA mäter. 

Här finns det stora, och naturligtvis medvetna, olikheter: TIMSS säger att de mäter utifrån läroplanerna, medan PISA tvärt om säger att de mäter utifrån kriterier som de utvecklat själva. 

TIMSS riktar sig till nio- och trettonåringar (Sverige deltog endast med trettonåringar senast) och försöker så långt det är möjligt jämföra eleverna med deltagarländernas läroplaner. Det är alltså ”skolkunskap” man vill mäta. Men hur kan man göra en undersökning i femtio länder med identiska uppgifter och samtidigt ligga nära deras läroplaner? Är verkligen läroplanerna för grundskolans NO-ämnen så pass lika i Egypten, Ghana, USA, Iran, Indonesien, Sverige och Norge? Det låter inte bara otänkbart, utan också icke önskvärt, att de ska ha likadana ämneskriterier och att resultaten dessutom ska kunna mätas med samma tester. En uttalad förutsättning i TIMSS är att lärostoffet ska vara ”inkluderat i läroplanen i majoriteten av deltagarländerna”. Med en viss självironi säger man också att målet är att urvalet av ämnen och uppgifter framstår som ”lika orättvisa för alla länder” (enligt ett vanligt men inofficiellt slagord). 

TIMSS-testerna har ett ramverk som i detalj går in på ämnesinnehållet. Efter långa förhandlingar har experter från en rad länder kommit fram till struktur och innehåll. Ramverket måste uppfattas som en internationell läroplan. Man kallar det också The TIMSS Curriculum Model, alltså TIMSS-läroplanen. IEA har även presenterat hela planen (Mullis), med innehållet noga specificerat och procentangivelser för hur stor andel uppgifter som ska tillhöra de olika ämnenas nyckelord.

Men hur kan man göra en gemensam plan för femtio länder från väldigt olika kulturer? Jo, TIMSS-läroplanen bygger på det som är gemensamt och acceptabelt i deltagarländernas läroplaner. Men man har naturligtvis undvikit allt ämnesstoff som är knutet till den närmaste omgivningen och lokalt eller regionalt orienterat. I TIMSS hittar man inga djur eller växter som finns i Norden. Utan tvivel har man dessutom tvingats undvika allt som kan uppfattas som kulturellt eller politiskt oacceptabelt. Man har utan överdrift tvingats till en hel del kompromisser i de internationella förhandlingarna! I den 507-sidiga tekniska rapporten förekommer till exempel inte orden ”evolution”, ”sexualitet” eller besläktade ord. Detta ämnesstoff är antagligen oacceptabelt i så väl USA som enskilda muslimska länder. Även Iran deltar i TIMSS 2003, så här anar man kanske en ovanlig koalition? De flesta skolmänniskor skulle naturligtvis hävda att om man tar bort både evolution och sexualitet från biologiämnet så blir det inte så mycket kvar! Men alla kompromisser har sitt pris. 

Ramverket och uppgifterna för TIMSS 2003 måste därför sägas representera en typ av läroplan som professionellt sett är väldigt konservativ. Ännu värre är att den blir konserverande; för många länder kommer den att utgöra en slags norm för ämnesinnehållet. Den har ju utvecklats under tio år av en internationell panel av erkända experter! 

Vi vet också att Världsbanken använder ”TIMSS-lika” tester för att ge utvecklingsländer utbildningsstöd och har finansierat tjugo utvecklingsländer så att de kunde delta i TIMSS. Därigenom kommer TIMSS-planen att fungera som en norm även för dem som inte deltar. Många länder, bland dem tidigare kolonier, har slitit med att frigöra sig från sina koloniherrars läroplaner, böcker, texter och ideal, som ofta var knutna till kolonialmaktens natur, kultur och annan kontext. Nu presenteras de en ämnesplan där all kontext är borttagen.

TIMSS innebär med andra ord en press mot att införa en universell, internationell läroplan som går rakt emot önskan om att en bra skola ska förbereda elever på att förstå sin egen vardag och att möta lokala utmaningar. 

En internationell läroplan byggd på samförstånd och kompromisser framförhandlade av experter, blir med nödvändighet apolitisk och blottad för ideal och värderingar, med undantag för rent internt vetenskapliga ideal som kontroll av variabler, respekt för evidens och liknande. Planen blir också, som man även säger från TIMSS, blottad för mål som handlar om intressen, känslor och uppfattningar. Jag antar att det inte heller i Sverige finns stämningar för en sådan skola eller sådana läroplaner. 

Många TIMSS-uppgifter är offentliga: traditionella ämnesuppgifter, de flesta med flera svarsalternativ, hämtade från ett etablerat och traditionellt NO-ämne, men lösryckta från sammanhang eller kontexter. De flesta kunde ha givits för sextio sjuttio år sedan. Flera användes också vid de första IEA-undersökningarna runt 1960. Jag är själv fysiker och ser att på det området bygger majoriteten av uppgifterna på den fysik som var väletablerad för nästan hundra år sedan. 

Både TIMSS-planen och -uppgifterna bidrar till att understryka det som länge varit NO-ämnets gissel: det framställs som evigt, auktoritärt, oföränderligt och avslutat. Här härskar varken tvivel eller utveckling. Här saknas utrymme för fantasi, kreativitet, frågor och förundran. Alla uppgifter har bara ett och ett riktigt svar. TIMSS-planen får också NO-ämnena att framstå som lösryckta från värden, uppfattningar, kultur, filosofi och samhällsutveckling; den är inte i samklang med läroplanerna i länder som Sverige och Norge, och uppgifterna testar inte de flesta av de mål som skolan är förpliktigad att nå. Att införa en TIMSS-läroplan i våra länder, och de flesta andra, skulle innebära att vrida klockan tillbaka åtskilliga tiotals år. 

Analysen av PISA är på sätt och vis mycket enklare, och slutsatsen är egentligen given redan i utgångspunkten: Det har inget med de enskilda ländernas läroplaner att göra! Uppgifterna ska vara verklighetsnära och så starkt knutna till konkreta, aktuella och reella situationer i dagens moderna samhälle som möjligt. 

Uppgifterna följer ett ramverk utvecklat av ämnesexperter. Detaljer och referenser finns i den internationella PISA 2003-rapporten som kom 2004. Uppgifterna är gjorda ungefär efter samma mall; utifrån en ”autentisk” text ur en tidning, tidskrift, broschyr eller liknande ska några frågor besvaras. 

Viktiga frågor blir: Hur klarar man att förverkliga de viktiga intentionerna bakom PISA? Hurdana blir de uppgifter som ska mäta elevernas kompetenser i ”konkreta, aktuella och verklighetsnära situationer”? 

Det är inte lätt att svara på. Främst för att uppgifterna i huvudsak är hemliga! Från PISA 2000 släppte man bara två i NO. Samma gäller PISA 2003. Nu har vi fått se fyra. I praktiken är det alltså svårt att syna korten. Man får helt enkelt inte tillgång till underlaget för de data som PISA analyserar och presenterar i form av statistik, analyser och slutsatser. 

I vanlig forskning är sådant hemlighetsmakeri helt förbjudet. Sådan forskning skulle inte ens bli publicerad, än mindre bli tagen på allvar. Vi måste alltså godta många slutsatser och lita på att experterna har täckning för det de säger! Hemlighetsmakeriet beror nog främst på att man vill återanvända samma uppgifter och undvika att de kommer ut och kan användas för att förbereda sig till nästa PISA-runda. 

Desto viktigare då att grundligt studera de uppgifter som släppts. Det finns nog anledning att tro att PISA tycker att de kan vara bra exempel. De två NO-frågor som släppts från PISA 2000 har mött en del hård kritik av både språklig och ren ämneskaraktär. Jag tror de två nya uppgifterna kommer att få motsvarande kritik. Låt mig antyda ett exempel: Den ena NO-frågan i PISA 2003 handlar om kloningen av fåret Dolly. Det enda ”rätta” svaret är att fåret Dolly är identiskt med det får som generna tagits från. Själv har jag problem med att acceptera att två får med så olika ålder är identiska! 

Många PISA-uppgifter är ”texttunga”; mycket att läsa innan man kommer till frågan. De långa texterna favoriserar naturligtvis dem som läser bra, alltså utan tvivel flickorna. Det vet man kanske redan, men det är också ett av de mest övertygande resultaten från PISA! Man kan på goda grunder anta att flickornas överlägsna läsfärdighet kompenserar att de kan vara något sämre än pojkarna när det gäller ämnesinnehållet. Det är kanske förklaringen till att pojkar och flickor får ungefär samma poäng på både NO- och matematiktesten? 

Valet av uppgifter med mycket text är naturligtvis medvetet. Det finns många bra argument för att de liknar situationer i verkliga livet. Utanför skolan möter inte eleverna matematik som ”rena” matematikuppgifter, eller NO som isolerade ämnesfrågor. Men det är viktigt att vara klar över att PISA-uppgifter skiljer sig från vanliga skoluppgifter. 

PISA-uppgifterna kräver att eleven verkligen vill läsa de långa texterna. Jag har tittat på de som släppts. Jag tycker att de ibland är långa, tråkiga och delvis märkliga. Språkbehandlingen är ovanlig och ibland klumpig, antagligen en konsekvens av att man kräver identiska formuleringar i olika länder, nästan ord för ord. Och då blir språket märkligt. Jag tror knappast att många av de här ”autentiska” texterna skulle förekomma i vanliga svenska eller norska medier. Det är nog inte många femtonåringar som skulle orka plåga sig igenom en rad sådana uppgifter. Och varför skulle de göra det? De får inga betyg, och det här att rädda ”nationens ära” i en internationell olympiad är knappast något de tänker på – kanske i motsats till situationen i en hel del andra länder? Vi vet att i en del länder har eleverna marscherat in till sådana här tester påhejade av rektor. Utanför har föräldrarna stått i spänd förväntan. 

Jag tillåter mig alltså att tvivla på att norska, danska och svenska elever är tillräckligt lydiga och tålmodiga för att göra sitt bästa och kämpa sig igenom dessa långa, märkliga och klumpiga tester. Jag rekommenderar åter läsarna att titta på de uppgifter som släppts, så att var och en kan bedöma dem. 

PISA är som sagt ett OECD-projekt. OECD är i huvudsak en organisation för relativt rika industriländer. Målet är att främja deras ekonomiska utveckling och öka levnadsstandarden. Deras intresse för utbildning har naturligtvis sitt ursprung i en förståelse för att en välutbildad arbetskraft är grunden för en sådan utveckling. I dagens högteknologiska och vetenskapsbaserade samhälle uppfattas naturvetenskap och matematik som centrala kunskapsområden vid sidan av modersmålet. Detta förklarar till stor del valet av ämnesområden i PISA-undersökningen. 

Men trots de stora gemensamma utmaningar som finns i OECD-länderna, finns det naturligtvis stora olikheter förknippade med natur, kultur, politik och samhällsdebatt. Då uppstår ungefär samma problem som för TIMSS: Hur ska man konstruera uppgifter som kan upplevas lika konkreta och verklighetsnära av femtonåringar i Korea, Mexiko, USA och Sverige? Man behöver inte ha stor fantasi för att inse att det är bäddat för samma slags förhandlingar och kompromisser som i TIMSS. Idealet att använda aktuella och ”livsnära” exempel ur tidningar kan vara omöjligt att genomföra i praktiken. Även här kan det sluta med ett slags minsta gemensamma nämnare och tandlösa kompromisser. Även i PISA måste man väja för allt som har med värderingar eller kontroverser att göra. 

Jag har framfört en hel del kritik. Den måste fram i en tid när man nästan upphöjer resultatlistorna till sanningar och slutgiltiga domar över skolan. Men det mest kritiska måste vägas mot det positiva. Trots sina svagheter mäter TIMSS och PISA det som handlar om att förstå och behärska olika ämnen, alltså det som de flesta anser är det centrala för skolan. Och det gör de mycket mer metodiskt genomtänkt än de prov och tester som man vanligen använder i skolan. Jag har pekat på att många av läroplanernas centrala mål för olika ämnen inte mäts i TIMSS och PISA. Men det gör de i stort sett inte heller i normal undervisning eller betygssättning. Elever bedöms knappast efter i vilken grad de utvecklar fantasi och skaparglädje.

En viktig kritik är att både TIMSS och PISA besvaras med papper och penna. OÄ-ämnena är experimentella; försök, exkursioner och hantering av utrustning är centralt, även i planerna. Sådant testas inte i TIMSS och PISA. 

Vi kan lära mycket av de internationella studierna. Jag hoppas att jag framfört viktig kritik utan att vara negativ. En sådan balans är svår. Och att avvisa studierna är farligt och dumt. Men det är lika dumt att tro att vi här har fått den slutgiltiga domen över kvaliteten i vår skola.

PISA (Programme for International Student Assessment)

  • Började planeras av OECD (Organisation for Economic Co-operation and Development) i början av 1990-talet, startade 2000.
  • Genomförs vart tredje år bland 15-åringar i de ledande industriländerna.
  • I tredje omgången (2006) kommer minst 58 länder att delta.
  • Internationella och nationella rapporter kan laddas ned via www.pisa.oecd.org 


TIMSS (Trends in International Mathematics and Science Study)

  • Startad av IEA (International Association for the Evaluation of Educational Achievement) i Amsterdam, Holland.
  • Internationell undersökning om matematik och OÄ bland elever i år 4 och 8 i cirka 50 länder, det hittills största komparativa forskningsprojektet på utbildningsområdet.
  • Samordnare: International Study Center, Boston College, USA.
  • Finansiärer: USA, Världsbanken, FN:s utvecklingsfond, de deltagande länderna.
  • Internationella och nationella rapporter kan laddas ned via timss.bc.edu

Litteratur

Grønmo, L S m fl (2004): Hva i all verden har skjedd med realfagene? Norske elevers prestasjoner i matematikk og naturfag i TIMSS 2003. Acta Didactica 5/2004. Universitetet i Oslo, Institutt for Lærerutdanning og Skoleutvikling.

Martin, M O, Mullis, I V S, & Chrostowski, S J (red) (2004): TIMSS 2003 Technical Report Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Mullis I V S m fl (2003): TIMSS 2003 Assessment Frameworks and Specifications The International Association for the Evaluation of Educational Achievement.

OECD (2004): Learning for Tomorrow's World – First Results from PISA 2003. OECD.

Alla artiklar i temat Den mätbara skolan (6)

ur Lärarförbundets Magasin