Internet- vs telefonundersökningar

Frågeundersökningar är alltjämt det i särklass vanligaste verktyget inom empirisk samhällsvetenskaplig forskning. Opinionsforskningen har ständigt behövt anpassa sina datainsamlingsmetoder för att kunna erbjuda hög kvalitet i undersökningsresultaten. Fallande svarsfrekvenser, stegrade kostnader, förändringar av livsstilar och mediemöblemang och snabb teknikutveckling står för ständiga utmaningar.

Det är angeläget att åstadkomma en metodutveckling som baserar sig på noggranna systematiska jämförelser och utvärderingar av olika insamlingstekniker. Inom några år kommer vi sannolikt genomföra undersökningar där många olika datainsamlingsmetoder används samtidigt, så kallade Mixed Mode-studier. För att kunna använda resultaten från sådana studier måste vi känna till mycket mer om vilka effekter datainsamlingsmetoderna har på resultaten. Vi vet att sådana effekter finns. Används de inom en och samma studie måste vi lära oss ta hänsyn till dessa effekter.

Givet frågeundersökningars flitiga användning av myndigheter, marknadsundersökningsföretag, medier och forskare bedrivs det på tok för litet forskning kring effekterna av att använda olika typer av undersökningsmetoder.

Lyckligtvis finns det viss vägledning från ett växande antal amerikanska studier. Jon A Krosnick vid Stanford University har genomfört en lång serie studier och experiment för att studera skillnader i representativitet och svarskvalitet hos undersökningar baserade på telefonintervjuer med slumpmässig telefonuppringning, s k Random Digit Dialling, RDD) och de nyare formerna av nätbaserade datainsamlingsmetoder med webbenkäter.

Frågan om kvalitet och användningsområde är särskilt aktuell i Sverige just nu eftersom vi inför valet 2010 kommer att få se mängder av opinionsmätningar som bygger på Internetundersökningar; i huvudsak handlar det då om urval dragna från stora stående paneler av (i huvudsak) självrekryterade individer som oftast belönas för sitt deltagande genom t ex ett poängsystem som kan omsättas i exempelvis varor eller välgörenhet.

Krosnick och hans forskargrupp genomförde ett nationellt fältexperiment i samband med presidentvalet 2000. Samma panelundersökning gick i fält med tre olika datainsamlingstekniker: 1) telefonintervjuer med sannolikhetsurval (RDD), 2) Internetenkät till ett sannolikhetsurval (individer rekryteras till Internetpaneler via RDD och ges då tillgång till Internetuppkoppling via WebTV), 3) Internetenkät till ett icke-sannolikhetsurval som fyllde i enkäter mot ersättning.

Resultaten i punktform:

• Sannolikhetsurvalen (1+2) var mer representativa för amerikanska folket än icke-sannolikhetsurvalet (3) även efter vägning.
• Icke-sannolikhetsurvalet (3) var jämfört med sannolikhetsurvalen (1+2) avsevärt mer kunniga om och engagerade i det ämne som enkäten gällde (politik).
• Telefonundersökningen (1) genererade mer mätfel och mer socialt önskvärda svar (satisficing) än Internetundersökningarna (2+3).
• Internet-sannolikhetsurvalet (2) uppvisade i sin tur mer mätfel och socialt önskvärda svar än det självrekryterade Interneturvalet (3).
• Övning/erfarenhet att fylla i enkätundersökningar ökade precisionen i svaren, liksom att delta i undersökningar om ämnen respondenterna var personligen intresserade av.
• Icke-sannolikhetsurvalet via nätet uppvisade alltså bäst precision men gav samtidigt de mest skeva urvalen. Telefon gav bättre urval men uppvisade sämre svarsprecision (reporting accuracy).

Den optimala kombinationen är att använda Internetenkäter med sannolikhetsurval (2): ”These results suggest that Internet data collection from a probability sample yields more accurate results than do telephone interviewing and Internet data collection from non-probability samples.” (Chang & Krosnick 2008; publicerat 2009 i Public Opinion Quarterly).

Krosnicks resultat är ytterligare en bekräftelse att avvikelserna mellan telefonurval och internetundersökningar när det gäller skattningen av SDs opinionsstöd (SD skattas systematiskt högre i nätundersökningar än i telefonundersökningar) i huvudsak beror på att resultaten från nätundersökningarna inte påverkas av intervjuareffekten: det är helt enkelt plågsamt att tala om för en intervjuare att man hyser socialt belastande eller avvikande uppfattningar. Sören Holmberg har kallat effekten för ”skämmighetseffekten”.

Frågan som bör ställas till de institut som genomför Internetmätningar i Sverige är i vilken utsträckning man använder någon form av sannolikhetsurval (befolkningsurval eller RDD) när man rekryterar sina respondenter.