”Som man frågar får man svar”

Jag har tidigare tagit upp hur resultatet i undersökningar påverkas av urvalets effekter och vad som krävs för att en undersökning skall var korrekt utifrån den grupp som man vill mäta, en grundförutsättning för att kunna dra några konkreta slutsatser från en undersökning.

En sak som dock i vissa fall är ännu viktigare, och som felaktigt utfört kan påverka svarsresultatet i långt större utsträckning än andra faktorer, är frågeformuleringar och svarsalternativ. Jag kommer här att ta upp ett exempel där man tydligt ser effekten av en felaktigt ställd fråga och den effekt detta får.
 

På internationella kvinnodagen möttes vi av en rubrik som deklarerade att 8 av 10 svenskar inte tycker att Sverige är jämställt.

Artikeln hänvisar till en undersökning som visar att hela 82 procent av svenska folket anser att Sverige inte är jämställt.

I artikeln intervjuas också jämställdhetsminister Nyamko Sabuni om de stora utmaningar som Sverige har för att bli mer jämställt. En jämförelse med FN:s rapport görs, där det i stället framgår att Sverige är det mest jämställda landet i världen. Hur kan det vara så stor skillnad mellan de internationella måtten och svenska folkets uppfattning? Staplarna och texten är övertygande, undersökningen är genomförd med 1000 personer.

Frågeformuleringen som användes var ”Tycker du att Sverige är ett jämställt land?”. Det framgår att 18% av svenskarna har svarat ”Ja”, och 82% ”Nej”. Men det är inte hela sanningen. Svarsalternativen som gavs på frågan var: ”Ja helt jämställt”, ”Inte helt jämställt” och ”Inte alls jämställt”. Nej är här summan av alternativen Inte helt jämställt (70%) och Inte alls jämställt (12%).
 

Den här typen av summeringar är något som man ska vara mycket försiktig med att göra. Den stora majoritet som i undersökningen svarat att Sverige inte är helt jämställt hade troligtvis inte svarat Nej om de i stället ställts inför endast Ja eller Nej-alternativ.

På grund av de frågor som undersökningen väckte hos oss internt och det genomslag artikeln fick genomförde vi på Novus motsvarande mätning för att visa skalans inverkan på resultatet. Totalt genomfördes 2000 intervjuer; 500 intervjuer fördelat på fyra olika svarsskalor. Frågan ställdes på samma sätt, men svarsalternativen varierade.

Låt mig ta några exempel på de resultat vi fick:

* Skala med två svarsalternativ: Ja 57%, Nej 43%

* Skala med tre svarsalternativ: Ja 52%, Nej 43%, Vet ej 5%

Respondenten tvingas ta ett definitivt beslut. Man bör lägga till ett Vet ej-alternativ. Det intressanta är att de som är tveksamma svarar Ja om de måste välja.

Använder vi svarsalternativ som efterliknar undersökningen i artikeln, men med en balanserad svarsskala jämnt mellan positivt eller negativt svar, så får vi ett annat resultat. Två olika svarsskalor används.

med neutralt mittenalternativ
Mycket hög utsträckning  9%
Hög utsträckning 39%
Varken eller 28%
Låg utsträckning 18%
Mycket låg utsträckning 4%
Vet ej 2%
 

utan neutralt alternativ
Mycket hög utsträckning 9%
Hög utsträckning 58%
Låg utsträckning 25%
Mycket låg utsträckning 4%
Vet ej 5%

Respondenten ger över lag hellre ett positivt svar än ett negativt. Resultatet visar också att en majoritet av svenska folket tycker att Sverige är ett övervägande jämställt land.

Detta exempel visar den stora inverkan frågeformulering och svarsalternativ kan ha på resultatet och de slutsatser man drar av det. Man bör ej lita blint på rubriker och sammanfattningar. Det är inte alltid man kan lita på att resultaten återges på ett korrekt sätt.