Vi översköljs av olika opinionsmätningar. För de allra flesta opinionsinstitut är dessa mätningar fin marknadsföring. De får ut sitt namn i massmedierna och det gynnar deras huvudsakliga verksamhet. Mätningarna visar ofta helt olika resultat och det finns flera förklaringar till det. Vi har olika tidpunkter då mätningarna sker. Ibland händer något en viss vecka som då inte ger utslag andra veckor. Antalet personer som tillfrågas skiljer sig också och vissa mätningar sker under en längre tidsutdräkt. En inte obetydlig skillnad är hur de genomförs. Vissa institut har en självanmäld webbpanel (YouGov) bestående av 60 000 personer som man slumpmässigt väljer ut för olika undersökningar. Andra ringer runt och frågar väljarna, andra har båda delarna. Utöver detta tillkommer att alla institut justerar sina siffror baserat på det urval man har. Det är också helt uppenbart att många institut har en egen agenda. I detta inlägg ska Fria Sidor granska vilket institut som är bäst.
Vad menas med bäst?
Syftet med mätningarna är att spegla det rådande opinionsläget. Eftersom väljarna inte röstar mer än vart fjärde år vet vi inte om mätningen visar fel eller om det verkligen skett en förändring i opinionen. Ett bra exempel är SDs låga siffra i Sifos mätning april 2018 som var 14,8%. För alla som är bara lite insatta framstår siffran som helt orimlig. I maj hoppade siffran upp till 18,7%. Det är orimligt att tro att väljarnas preferenser rör sig så mycket över en månad. Här är det uppenbart att det är mätningen som svänger, inte opinionen.
Fria Sidor antar att väljarnas partival förändrar sig relativt lite mellan enskilda månader. För valåret kan vi därför säga att det opinionsinstitut som förutser det verkliga valresultatet är bäst. Det räcker dock inte med att bara ligga nära valresultatet. Det är också viktigt att man inte uppvisar för stora variationer i mätningarna.
Det är inte oväsentligt hur mätningarna görs men det mest intressanta är ändå hur väl man förutser valresultatet. Det är den utgångspunkten som denna analys har.
Modellen
Fria Sidor har lagt in alla opinionsinstituts mätningar, månad för månad, under valåret 2014. Sedan har två genomsnitt tagits fram. Ett för samtliga mätningar från januari 2014 fram till valet, ett för perioden maj till september 2014. Vi får då två genomsnitt och kan se om man blir bättre desto närmare valet man kommer. Utöver detta har en varians beräknats för att få fram hur mycket mätningarna svänger runt genomsnittet.
I tabellen nedan visas vilka institut som varit bäst respektive sämst för hela perioden januari 2014 till valdagen för samtliga mätningar. Endast en mätning är med per månad för varje institut för att inte gynna dem som gör fler mätningar i augusti och september. SCB gör bara en enda mätning i maj medan andra gör många bara under augusti och september. Siffrorna under partibeteckningen avser valresultatet 2014. Den första siffran är den genomsnittliga avvikelsen från det faktiska valresultatet under perioden. Den andra siffran avser variationen runt genomsnittet. Ett exempel: Demoskop visade Nya Moderaterna (M) i genomsnitt 1,31%-enheter för lågt under perioden januari till september 2014. Variationen runt detta genomsnitt var 1,96%-enheter.
I tabellen nedan visas vilka institut som varit bäst respektive sämst för perioden maj till september 2014. Endast en mätning är med per månad för varje institut för att inte gynna dem som gör fler mätningar i augusti och september. SCB gör bara en enda mätning i maj medan andra gör många bara under augusti och september. Siffrorna under partibeteckningen avser valresultatet 2014. Ett exempel: SCB visar (S) 4,29%-enheter för högt i sin majmätning 2014. Någon variation finns inte här då man bara gjorde en mätning under 2014.
Vilket institut är bäst och sämst?
Observera att fler institut kan vara bra eller dåliga (se tabellerna) och att endast de som sticker ut och kan vara aktuella (eller inte) för Fria Sidors valprognos baserat på mätningarna i maj 2018 tas upp här. Du kan själv avgöra vilka du tycker är bäst i tabellerna. Du kanske gör en annan analys är Fria Sidor. Nedan följer Fria Sidors reflektioner om du är intresserad att ta del av dem.
Nya Moderaterna
Novus ligger närmast men har relativt hög variation i båda tabellerna. SIFO ligger inte lika nära valresultatet men har lägre variation. Även YouGov och SCB är bra. Inizio sticker ut som sämst i båda tabellerna. Skop är bra i maj-september men missar vad gäller alla mätningar.
Möjliga kandidater för en valprognos: Novus, SIFO, SCB och YouGov. Inizio tas inte med.
Liberalerna
Sentio visar mycket nära i båda tabellerna och också relativt låt variation. SCB ligger mitt i prick men har bara en mätning under 2014. Flera institut visar ganska bra, Demoskop, Ipsos, Novus och YouGov. Sifo visar genomgående för höga siffror.
Möjliga kandidater för en valprognos: Sentio och SCB. SIFO tas inte med.
Centerpartiet
Partiet underskattades kraftigt av alla opinionsinstitut i valet 2014. YouGov underskattar dem minst i båda tabellerna men Skop har lägst variation. Sentio sticker ut som sämst då man både underskattar dem mycket och har hög variation.
Möjliga kandidater för en valprognos: YouGov och Skop. Sentio tas inte med.
Kristdemokraterna
KD underskattades också i många mätningar inför valet 2014. Det blev lite bättre precision perioden maj till september men variationen var hög. YouGov har den bästa kombinationen av träffsäkerhet och minst variation. Skop kanske sämst.
Möjliga kandidater för en valprognos: Ett genomsnitt av alla mätningar alternativt YouGov. Skop tas inte med.
Socialdemokraterna
S överskattades under 2014 men mätningarna blev mer nära valresultatet under maj till september. Variationen är i %-enheter hög men lägre än för de mindre partierna i relation till storleken. YouGov sticker ut med bäst kombination av träffsäkerhet och låg variation i båda tabellerna. Ipsos var bäst perioden maj till september men överskattade (S) kraftigt mätt över hela 2014, dessutom med hög variation. SCB var utan tvekan sämst och överskattade (S) med 4,29%-enheter i majmätningen (den enda av SCB).
Möjliga kandidater för en valprognos: YouGov och möjligen Ipsos. SCB tas inte med.
Miljöpartiet
MP överskattades hejdlöst inför valet 2014 i alla mätningar. Minst dålig vad SCB. YouGov tillhör också de minst dåliga. Demoskop tar priset som 2014 års förvillare i opinionsmätningar med konstant 3 till 6%-enheter för höga värden.
Möjliga kandidater för en valprognos: SCB och YouGov. Demoskop tas inte med.
Vänsterpartiet
Vänsterpartiet överskattades också av alla opinionsinstitut men bara hälften så mycket som MP. Minst dåliga var SIFO och Skop. Många var dåliga att mäta här. Sentio och Inizio kanske var sämst.
Möjliga kandidater för en valprognos: SIFO och Skop. Sentio och Inizio tas inte med.
Sverigedemokraterna
Sentio var bäst för båda perioderna och är överlägsen ensam på tronen men en kuslig träffsäkerhet och låg variation. De andra opinionsinstituten tävlar om att vara sämst men högst på tronen står SCB som underskattade SD med 4,76%-enheter.
Möjliga kandidater för en valprognos: Utan tvekan Sentio. Inga andra tas med.
Feministiskt Initiativ
Fi underskattades inför valet 2014 men det blev betydligt bättre i mätningarna maj till september. Utvärderingen försvåras då Demoskop började mäta dem först i april, SIFO i mars, Novus i maj, Skop i april, YouGov i maj, Inizio i juni och Sentio i augusti. Det enda opinionsinstitut som mätte Fi hela 2014 var Ipsos. Inget institut sticker ut annat än Skop som i maj till september underskattade dem.
Möjliga kandidater för en valprognos: Ett genomsnitt av alla mätningar. Eventuellt med undantag för Skop.
Andra/Övriga partier
När vi beräknar andra partier måste siffrorna justeras för Fi som ibland redovisas som andra partier och ibland separat. Alla ligger ungefär lika med möjligen Sentio som enda undantag.
Möjliga kandidater för en valprognos: Ett genomsnitt av alla mätningar möjligen med undantag för Sentio.
Uppdatering: Denna del är uppdaterad från den första publicerade versionen p.g.a. ett fel i modellen vad gäller Andra/Övriga för båda tabellerna och Novus för perioden maj-september. Fria Sidor ber om ursäkt för detta. Alla tabeller är nu uppdaterade men slutsatsen ändras enbart för Andra/Övriga från Ipsos som bäst till ovanstående.
Slutsats
Som framgår av tabellerna är olika opinionsinstitut bra för olika partier och dessutom varierar det mellan olika perioder. Det går ändå att komma en bra bit och identifiera några som visat sig extra träffsäkra och uppvisar låg variation samt att se vilka som varit sämre. Tabellerna visar också att det ibland sker överskattningar respektive underskattningar över hela linjen. I stora drag blir prognoserna bättre ju närmare valet vi kommer men någon jättestor skillnad är det inte annat än för vissa enskilda partier och institut.
Det är uppenbart att det finns inbyggda systemfel/mätningsfel som aldrig tycks åtgärdas, av någon anledning. SIFO är ett exempel som underskattade SD kraftigt och gör så än idag. Varför? Det troliga är att ett inte litet antal av dessa institut också anser syftet med dessa opinionsundersökningar vara att bilda opinion, lika mycket som att spegla den. Det är synd och minskar trovärdigheten kraftig.
Fria Sidor ska baserat på tabellerna ovan snickra ihop en egen valprognos som tar hänsyn till alla dessa faktorer så får vi se var vi hamnar. En preliminär valprognos gjordes baserad på mätningarna för april 2018 och framgår av förra inlägget (se VAL2018 under Aktuellt på huvudmenyn). Genom att jämföra nästa valprognos med den baserad på maj-mätningarna kanske vi också kan utröna en minitrend. Det låter väl spännande?
Tack för att du läser Fria Sidor!
