Det här är exempel på tilläggsinformation som de olika opinionsinstituten skulle kunna servera sina kunder med. Jag exemplifierar med Sifo från 13 juni 2010.
Hypotestest att partiets proportion > .04
Sannolikhet att Folkpartiets skattning (6.1%) är större än fyra procent = 1.0000
Sannolikhet att Vänsterpartiets skattning (5.1%) är större än fyra procent = .9929
Sannolikhet att Centerpartiets skattning (4.9%) är större än fyra procent = .9775
Sannolikhet att Kristdemokraternas skattning (4.5%) är större än fyra procent = .8673
Sannolikhet att Sverigedemokraternas skattning (4.3%) är större än fyra procent = .7481
Test för skillnad mellan två proportioner
Sannolikhet att Moderaternas skattning (32.9%) är större än Socialdemokraternas skattning (30.6%) = .9368
Sannolikhet att Allianspartiernas skattning (48.4%) är större än de Rödgrönas skattning (45.6%) = .9584
I exemplen ovan har jag använt mig av de enklast tänkbara formlerna för statistiska hypotestest när sannolikheterna har beräknats. I själva verket är beräkningarna dock mer komplicerade än så här eftersom instituten använder sig av s k komplexa urval. För att korrekt kunna beräkna konfidensintervall och felmarginaler behövs kunskaper om dessa komplexa urval som inte är särskilt tillgängliga. Just av den anledningen vore det bättre om instituten själva bidrog med uppgifter av det här slaget (för rättvisans skull ger flera institut numera uppgifter i sina nyhetsbrev om huruvida blockskillnaden är statistiskt signifikant men poängen är att jag gärna hade sett fler liknande test och dessutom gärna sett att informationen fördes vidare till alla medborgare via medierna).
Notera att den gängse gränsen för statistisk signifikans är .95. I en vetenskaplig tidskrift hade slutsatsen alltså blivit att Moderaterna inte har en högre skattning än Socialdemokraterna i Sifos junimätning (skillnaden är inte tillräckligt stor för att vara statistiskt signifikant med 95 procents signifikansnivå). Sverigedemokraterna når inte tillräckligt högt över fyra procent för att man skall kunna belägga slutsatsen att partiet skulle vara vågmästare om det vore val idag.
En del av rubrikerna i dagens tidningar hade alltså inte passerat peer review 🙂
Rubriken om att Alliansens röststöd är större än de rödgröna partiernas röststöd i den aktuella undersökningen hade faktiskt passerat en vetenskaplig nagelfarning.
——————————
Tillägg: Beräkningarna ovan bygger på att 1 906 personer intervjuats. Problemet är att 15,1 procent av Sifos respondenter inte uppger något parti och därför inte ingår i procentbasen. Basen för partiernas röststöd är inte 1 906 utan snarare nånstans i närheten av 1 618 personer. Gör man om testerna ovan med den lägre procentbasen kan Alliansens röststöd inte sägas vara statistiskt skilt från de rödgrönas röststöd (sannolikheten att Alliansen är större än de rödgröna minskar till .9447 vilket alltså är lägre än den magiska .95-gränsen).
Henrik Ekengren Oscarsson 
Ibland anses ett p-värde på 10% (90% K.I.) vara signifikant – det beror helt på artikelförfattaren – och som du säger är det inte en naturlig fördelning i samplet varför dina resultat från ovanstående statistiska jämförelser är irrelevanta. Med detta sagt är det mycket möjligt att moderaterna är med statistisk säkerhet större än socialdemokraterna – i synnerhet som de oppinionsundersökingar som gjordes i kring månadsskiftet entydigt visar samma tendens./Anders Wallgren
GillaGilla
Rätt. Tilläggsinformationen om sannolikheterna (p-värden) är särskilt värdefull eftersom man själv har möjlighet att välja säkerhetsnivå. Vilka säkerhetsnivåer man jobbar med varierar mellan olika vetenskapliga discipliner.I de flesta undersökningar har man inte möjligheten att jämföra med samtidigt gjorda undersökningar om samma sak, så slutsatserna i inlägget gäller för enstaka mätningar.Och enstaka skattningar från en urvalsundersökning kan som bekant missa fullständigt. I ett fall av tjugo täcker ett 95-procentigt konfidensintervall inte in det sanna populationsvärdet. Vi kan alltså kallt räkna med att var tjugonde skattning är off the mark.
GillaGilla
Nu är det väl så att det finns systematiska fel i opinionsundersökningarna dessutom?Jag menar, ifall man tar en relativt sen opinionsundersökning (dvs nära valet) hur ofta hamnar resultatet inom 0.95-intervallet? Träffar man verkligen rätt 19 gånger av 20? Frågan är alltså inte retorisk, jag undrar verkligen hur bra undersökningarna stämmer överens med röstningsbeteendet.
GillaGilla