Meningsmålingsløgner

Jeg irriterer meg ofte over at bevegelser på meningsmålinger blir presentert med alt for mye brask og bram. Det er faktisk sjeldent at variasjonen mellom oppslutninga til et parti i to påfølgende meningsmålinger er stor nok til at man kan være særlig sikker på at det har skjedd ei endring i befolkninga.

Hvorfor er det sånn? Meningsmålinger av den typen som blir slått opp i media blir stort sett gjennomført ved hjelp av telefonintervjuer. Siden man ikke kan intervjue hele befolkninga, intervjuer man et utvalg. Utvalget er vanligvis på ca. 1000 personer. Jeg skal ikke gå alt for langt inn i detaljene, og det finnes feilkilder jeg ikke nevner her (har alle stemmeberettiga lik sannsynlighet for å ta telefonen eller gidde å snakke med meningsmålingsfolk, for eksempel?), men jeg vil gjerne slå fast følgende: Denne metoden gir stort sett gode resultater, men de kommer med ei usikkerhet som ofte er mye større enn det som blir kommunisert.

Når man prøver å si noe om hvordan noe er i befolkninga (hele populasjonen i statistikkspråk), bruker man altså et utvalg. Formelen for å anslå andelen (p) av hele befolkninga som mener en bestemt ting, bruker andelen i utvalget (p-hatt, altså en p med ^ over), se formel 1 under.

p-hatt er lik antall interessante observasjoner delt på antall observasjoner totalt
Formel 1: Anslag for andel i en populasjon med et bestemt trekk (mening), basert på andelen i et utvalg som har dette trekket.

Her er n antallet i utvalget som mente dette og N antallet i hele utvalget. Det er vanlig å anslå usikkerheta til dette anslaget ved hjelp av standardavviket (les mer på Wikipedia hvis du er interessert i detaljene i utregningene her). Den vanligste metoden for å beregne standardavviket for andelen av et utvalg er ved å bruke formel 2.

s er lik kvadratrota av parentes start en delt på totalt antall i utvalget parentes slutt ganger p-hatt ganger parentes start en minus p-hatt parentes slutt kvadratrot slutt
Formel 2: Beregning av usikkerhet i et anslag av andelen i en populasjon med et bestemt trekk (mening) på bakgrunn av andelen i et utvalg med dette trekket.

Ved å gange denne med bestemte verdier for normalfordelinga kan man i neste omgang si noe om hvor stor usikkerhet man vil gi anslaget sitt for. Grovt sagt er den største usikkerheta man aksepterer i vitenskapelige sammenhenger 5 %. Det vil si at man oppgir usikkerheten i et anslag slik at det intervallet man oppgir i 19 av 20 tilfeller vil inneholde den sanne verdien, eller verdien i populasjonen som helhet. Dette oppgis som regel i liten tekst når meningsmålinger presenteres, men både journalister og valgforskere ser ofte ut til å la være å forholde seg til det.

Det kan man forstå når man ser på tabellen under, der det er angitt intervaller for anslag basert på formlene over og ulike andeler. Tabellen gir også et godt argument for hvorfor de minste partiene, slik som Miljøpartiet de Grønne, ofte blir utelatt: Usikkerheten blir veldig stor i forhold til anslaget. Som vi ser er det strengt tatt ingen nyhet om et parti som forrige gang var på 5,5 % nå ligger på 4,2 %. Det trenger ikke å ha skjedd noe, det kan bare hende at utvalgene var litt forskjellige, men at de begge reflekterer populasjonen på en statistisk sannsynlig måte.

Tabell som viser usikkerhet for ulike binomiale andeler.
Tabell 1: 95% konfidensintervall for ulike svarandeler i et utvalg på 1000 personer. Et 95 % konfidensintervall er et «anslagsområde» som i 19 av 20 tilfeller vil inneholde den sanne verdien i populasjonen, og omfatter alle verdier mellom den nedre grensa og den øvre. I høyre kolonne vises usikkerheten som den verdien man må legge til/trekke fra anslaget, slik det blei beregna i den første formelen for å få konfidensintervallet.

Men det stopper ikke der: Når man gjør mange tester, øker jo sjølsagt sannsynligheten også for at man ramler over den ene av de 20 testene som ikke inneholder den sanne verdien. Dermed må man strengt tatt sette lista høyere for meningsmålinger om partipreferanse enn f.eks. for målinger om EU-standpunkt. Hvis vi legger til grunn det vanlige antallet partier som blir tatt med, 8, blir usikkerhetene slik betraktelig større, dersom man vil at det for hver gang man presenterer meningsmålinger bare skal være 5 % sannsynlighet for at man tar feil om man sier at det har skjedd bevegelser (for ordens skyld: jeg har brukt en enkel Bonferroni-korreksjon).

Tabell som over, men korrigert for at det gjennomføres 8 tester samtidig.
Tabell 2: Som tabell 1, men med høyere usikkerheter, fordi man ønsker at gale påstander om at det har skjedd ei reell endring for noe parti i snitt bare skal forekomme for hver 20. gang man publiserer meningsmålinger.

Hva betyr så dette? Jo, det betyr at:

  • Forskjeller mellom to enkeltmålinger som er under ca. 1,5 %-poeng for småpartier og under ca. 3 %-poeng for store partier betyr aldri noen ting som helst. De innebærer ikke ei endring, de innebærer ikke en tendens, de betyr rett og slett nada. På fagspråket kalles det «støy».
  • Sjøl oppslag om krisemålinger eller kjempegode målinger – så sjelden som de strengt tatt forekommer – ofte bare er et resultat av usikkerhet. De store tapene for Høyre som refereres her hos Stavangeravisa og her hos Nettavisen kunne hver for seg like godt ha vært tolka som at den reelle oppslutninga hele tida lå et sted midt i mellom. Men: Ser man de tre målingene i sammenheng er likevel Høyres nedgang uomtvistelig.
  • Som regel er det bare når man har flere målinger som er gjort uavhengig av hverandre og over noe tid at man faktisk kan si noe om utviklinga i oppslutninga til et parti, fordi de kortsiktige endringene i oppslutning ofte er innafor usikkerheta.

Hvorfor blir ikke dette kommunisert? Vel, media vil ha mest mulig sensasjonelle oppslag, meningsmålingsleverandørene vil selge flest mulig meningsmålinger (det bidrar jo til bedre bilder over tid, så det er greit nok) og valgforskere og kommentatorer vil ha mest mulig spalteplass. Men ofte er det de har å melde altså bare tøv, og siden innholdet i dette innlegget er pensum på alle innføringskurs i statistikk må vi regne med at de veit det. Det kan godt hende at vi må leve med at det er sånn, men det er i det minste greit å vite om. Hvis man vil ha et bilde av hvordan ting egentlig er må man følge med over tid og gjerne se på meningsmålinger fra flere ulike leverandører (fordi de håndterer de usikkerhetene jeg har latt være å drøfte på ulike måter). Et godt sted å gjøre det er på pollofpolls.no.

Forfatter: Benjamin

Trebarnspappa fra Oslo med røtter på Vestlandet. Farmasøyt. Prøver å forske. SVer.