Läs senare

Siffrorna som styr våra liv

ReportageStatistik bygger en stor del av våra liv, eller i alla fall bilden av dem. Från opinionsmätningar till att skapa förutsättningen för självkörande bilar. Media och politiker använder den flitigt liksom företag i sin marknadsföring. Det gör det viktigt att även i skolan förhålla sig till siffrorna.

20 nov 2019
Siffrorna som styr våra liv
Statistik blir något efter djup analys. Och då kanske inte alltid så spektakulärt, menar Mimmi Barmark, Lunds universitet. Foto Julia Lindemalm

Om du inte är statistiker kan den här texten vara perfekt för dig. Om du är statistiker kan den möjligen ge ett nytt perspektiv. Vad sker inom området, hur ska vi förhålla oss och varför sjunker svarsfrekvensen i alla enkäter?

Vi har ställt frågor till forskare i Lund, Göteborg och Uppsala och ­börjar hos en samhällsvetare, Mimmi Barmark:

– För oss är insamling av statistik en väg att få svar på frågor om till exempel förändringar i människors attityder och beteenden. Med väl underbyggda frågor blir svaren intressanta, säger hon, som är universitetslektor vid Lunds universitet.

Mimmi Barmark har undervisat i metodik, skrivit en bok om statistik som verktyg och forskar och undervisar i dag vid sociologiska institutionen vid Lunds universitet. Hon har även arbetat med metodfrågor i relation till exempelvis skolors kvalitetsutveckling.

Lögn, förbannad lögn och statistik … är ett uttryck som Benjamin Disraeli anses ha myntat och som används för att beskriva hur statistik används för att stärka svaga argument.

– I dag behöver vi faktiskt ha tillbaka en betoning på hantverket, det grundliga basarbetet. Vilket inkluderar att man sätter sig in i forskningsfältet och utifrån tidigare kunskap och relevant teori formulerar forskningsfrågor som har potential att utveckla ny och relevant kunskap. Tyvärr blir de enskilda resultaten kanske inte alltid så spektakulära då, säger hon.

Statistik om statistik

Statistik är en gren inom tillämpad matematik som sysslar med insamling, utvärdering, analys och presentation av data eller information.
Källa: Wikipedia

Statistik började samlas när vi genom allmän folkbokföring fick stora mängder registerdata. Då infann sig möjligheten att göra statistiska sammanställningar. Successivt har sedan statistiska metoder för analyser utvecklats.

Den kraftigt ökade datakraften har bidragit till att skapa möjligheter att behandla enormt stora statistikmängder.

För forskare är statistik ett närapå självklart verktyg. Det finns också ett starkt driv för forskare att vilja publi­cera sina resultat, vilket möjligen skapat problem:

– Vi måste bli bättre på att publicera även studier som visar på icke signifikanta samband. Men det tänket finns inte alltid i forskningssamhället. Det finns en föreställning om att signifikanta, statistiskt säkerställda, samband är det enda som räknas. Även studenterna känner sig misslyckade om de inte hittar signifikanta samband. Men jag brukar säga till dem att har de hittat svaret på sin fråga har de lyckats, säger Mimmi Barmark.

Hur viktigt är det hur frågorna i en enkät formuleras?

– Oerhört viktigt. Det handlar om att minska mätfelet vilket innefattar dels frågan om validitet dels om reliabilitet. Validitet handlar om att mäta rätt sak. Det är omöjligt att hitta variabler som stämmer helt perfekt. Men strävan måste vara där. Reliabilitet handlar om hur vi mäter för att få ett så litet slumpmässigt mätfel, så kallat brus, som möjligt. En fråga kan till exempel vara otydligt formulerad eller ”instabil” i bemärkelsen att respondenterna av olika skäl kan svara helt olika på den beroende på om de till exempel gör det på morgonen eller kvällen. Då uppstår brus i mätningen.

Talesättet ”som man frågar får man svar” stämmer till viss del. Hur en fråga ställs, det vill säga hur man operationaliserar sina begrepp, kan ha stor betydelse för resultatet:

– Nyligen läste jag rubriken Svenskar alltmer positiva till EU. En undersökning hade visat att 90 procent av svenskarna var ”positiva”, vilket i det här fallet innebar att de på frågan om de vill stanna kvar i, eller lämna, EU, svarat att de vill stanna. En annan undersökning visade tvärtom att bara drygt 50 procent var positiva till EU – men då var frågan i stället om man var ”i huvudsak för eller emot det svenska medlemskapet i EU”. Det är ju inte så konstigt att siffrorna skiljer sig åt – det går ju att tänka sig EU-skeptiska personer som ändå tycker att det är bättre att stanna kvar än att lämna, inte minst i och med Brexit-kaoset som förmodligen haft en avskräckande effekt på många som tidigare velat lämna EU.

För att kunna tolka ett resultat bättre är hennes råd att alltid försöka ta reda på hur den konkreta frågan var ställd från början.

Responsen på enkäter har minskat starkt sedan 1970-talet. Då kunde myndigheter och universitet få en svarsfrekvens på 80 procent, i dag kan det var kring 50 procent, förklarar Mimmi Barmark.
Foto Julia Lindemalm

En stor generell förändring gäller svarsfrekvensen på enkäter. På 1970-­talet när de stora undersökningarna började genomföras var svarsfrekvensen ofta uppemot 80 procent. I dag kan myndigheter och universitet, enligt Barmark, vara glada om de får en svarsfrekvens på 50 procent.

– Orsakerna är både minskad auktoritetstilltro och minskad pliktkänsla. Vi översköljs också av många enkäter som onödiga kundenkäter, inte minst på internet. Gränserna mellan seriös forskning och kundundersökningar i marknadsföringssyfte suddas nog ut för många och leder till en allmän ”trötthet” och ovilja mot att svara på frågor oavsett vem som ställer dem.

Något vi regelbundet möter är resultatet av opinionsundersökningar, som bygger på enkäter. Media bevakar dessa noga.

– Ofta stirrar man sig dock blinda på storleken på dessa stickprov. Detta är förvisso viktigt – ju större stickprov desto bättre. Men än viktigare urvalsstrategin, säger Mimmi Barmark.

Gruppen måste valts ut slumpmässigt, som när SCB gör opinionsundersökningar; de skapar nya slumpmässigt utvalda grupper varje gång. När det gäller just opinionsundersökningar är ett nav det så kallade SOM-institutet, som står för Samhälle, Opinion och Medier, vid Göteborgs universitet, som startade 1986. Här finns Henrik Oscarsson, docent och professor vid statsvetenskapliga institutionen. Han använder statistikvetenskapen som ett redskap för att forska om demokrati, val och opinioner.

Hur ser du på utvecklingen av användningen av statistik?

– Den ökar, den visuella presentationen av statistik blir allt bättre och mer lättillgänglig. De grundläggande kunskaperna om till exempel urvalsundersökningar har dock inte blivit ett dugg
bättre under de 25 år jag varit verksam.

Statistik används mer men de grundläggande kunskaperna om till exempel urvalsundersökningar har inte ökat på 25 år, menar Henrik Oscarsson.

Han berättar om en studie som nyligen visade att 44 procent av alla redovisningar av opinionsmätningar innehöll direkta felaktigheter.

I vilken mån finns det en lägsta svarsfrekvens för att underlag ska gå att använda?

– Det går inte att svara på det. Det beror på undersökningsdesignen och vad som mäts. Att det skulle finnas en magisk siffra för kvalitet är ett av de stora irritationsmomenten när man håller på med urvalsundersökningar, säger Henrik Oscarsson.

Ofta nämns, särskilt i samband med opinionsundersökningar, att förändringar är inom en ”statistik felmarginal”. Detta är dock svårt att förklara, menar han.

– Man kan förklara på många olika sätt. Här är ett: Om vi förlitar oss på den blinda slumpen när vi gör våra urval så har det visat sig att slumpen beter sig på ett mycket förutsägbart sätt, ironiskt nog. För varje förutsättning, till exempel antal utvalda, finns det gränser inom vilka slumpen kan spela oss spratt. Denna vetenskap använder vi för att uttrycka graden av säkerhet i de skattningar vi tar fram. Vi kan, om vi följt metodboken, vara väldigt säkra på hur osäkra vi är. Idén med felmarginaler är genuint abstrakt och vilar på idén om upprepningar: om vi låtsas att vi gör om samma urvalsprocedur många gånger, upprepade urvalsförfaranden, så kommer vi i det långa loppet att hamna nära det sanna värdet i populationen.

Det är som att samhället tror att vi kommer närmare sanningen bara genom att ha mycket data. Men så är det inte. säger Per Johansson, professor i statistik

Forskningen som sker kring statistik i dag fokuserar mest på metoden. Det menar professorn i statistik Per Johansson, vilket gör honom tveksam:

– Jag fokuserar själv på samplingen, hur vi samlar in data. Det är fundamenta för hur vi sedan ska kunna tolka datan. Men det har blivit för mycket fokus på det tekniska, rena matten, säger han som tidigare hade en professur i nationalekonomi och nu alltså i statistik, vid Uppsala universitet

– Det stora problemet i dag är att vi samlar massor av data från nätet. Men urvalet är selektivt. Det gäller egentligen alla undersökningar när deltagarantalet är lågt.

Han tar ett färskt exempel, SCB:s problem med att beräkna och tolka arbetslöshetsstatistiken. Förr var deras svarsfrekvens kring 80 procent men numera ligger den runt 50 procent, det gör utfallet osäkert att tolka.

Mimmi Barmark har undervisat i metodik och skrivit boken Statistisk verktygs­låda tillsammans med Göran Djurfeldt.
Foto: Julia Lindeman

Hur ser du på big data och machine learning, som båda bygger på insamling av verkligt stora mängder data?

– Det har tyvärr blivit en hajp kring detta. Det är som att samhället tror att vi kommer närmare sanningen bara genom att ha mycket data. Men så är det inte. Det hjälper oss inte alls att förstå samhället.

– Jag tycker faktiskt att statistiken blivit introvert. Vi tittar för mycket på tekniken och inte varför en modell ens är intressant. Men statistik handlar om tillämpning, säger han och nämner att metodutvecklingen kring kausala frågeställningar, det vill säga orsakssammanhang, nu drivs mest av ekonomer, inte statistiker.

Hans egen forskning handlar mycket om randomiserade experiment och hur de görs på bästa möjliga sätt. Han nämner att just sådana experiment använts av årets mottagare av ekonomipriset till Nobels minne.

Vill du ge något råd till lärare?

– Jag tror det är viktigt att vara medveten om hur vi använder statistik. En bra skolning handlar om psykologin om hur vi människor ser vår värld. Vi försöker, redan som små barn, sätta ihop ett sammanhang. Det är så vi formar vår verklighet.

Ett problem är att mycket data samlas från nätet men då blir urvalet selektivt, menar Per Johansson.

Följden av detta blir att vi kan tolka data väldigt fel, vilket, menar han, kan vara bra på individnivå.

– Men det skapar ett stort problem för samhället. För att göra en analys krävs det att vi tänker efter noga när vi tolkar data, vilket är svårt eftersom vi har så många förutfattade meningar.

Han ser också ett tydligt problem i att det är svårt att nå ut med just empiriska resultat som inte stämmer överens med gängse uppfattning. Särskilt tydligt blir detta i jämställdhetsarbetet, skriver han i en artikel i tidningen Ekonomisk Debatt. Statistik kan likställas med lögn, menar han, när han beskriver vad som driver dagens jämställdhetsdebatt.

Vi måste hela tiden vara medvetna om att olika intressegrupper inte är intresserade av att ge en nyanserad bild, de vill driva sina egna frågor. Ett problem innebär också media, menar Per Johansson, och de eviga förenklingarna:

– Det skapar en tillgänglighetsskevhet, det vi ser publiceras dagligen, det är det som skapar vår bild av världen, säger han.

Lästips

Factfulness, Hans Rosling, Ola Rosling, Anna Rosling Rönnlund, Natur & Kultur 2018

Det omätbaras renässans, Jonna Bornemark, Volante 2018

Upplysning nu – ett manifest för förnuft, vetenskap och humanism, Steven Pinker, Fri Tanke Förlag 2018

Statistisk verktygslåda, Mimmi Barmark, Göran Djurfeldt, Studentlitteratur 2015

Tänka, snabbt och långsamt, Daniel Kahneman, Volante 2012. Han fick Ekonomipriset till Nobels minne 2002.

ur Lärarförbundets Magasin