Undarlegar skoðanakannanir

Áðan rakst ég á þessa skoðanakönnun á Vísi:

 Í síðastu viku voru lesendur Skessuhornsvefjarins spurðir hversu margar bækur þeir hefðu fengið í jólagjöf. Kom í ljós að ríflega 55% þeirra sem svöruðu höfðu fengið 1 til 3 bækur og tæplega 12% fengu fórar til sex. Um 3% fengu fleiri en sex bækur að gjöf. Það vekur hins vegar athygli að tæplega 30% svarenda fengu enga bók í jólagjöf.

Venjulega þegar menn gera skoðanakannanir leitast menn við að svara tiltekinni spurningu eða tilteknum spurningum. Þess vegna taka þeir úrtak úr einhverjum hóp og spyrja hann, en það gera þeir vegna þess að það tekur yfirleitt of langan tíma að spyrja allan hópinn. Úrtakið er valið þannig að allir sem eru í hópnum eigi jafnan möguleika á að lenda í úrtakinu. Svo alhæfa rannsakendurnir niðurstöðuna yfir á hópinn út frá niðurstöðum úrtaksins.

Þetta er allt rökrétt og gott. Sérstaklega er gott þegar menn nota vikmörk, en þau gefa til kynna að treysta megi niðurstöðunum með vissum skekkjumörkum. Gott og vel.

Þessi könnun Skessuhornsvefjarins er ekki af þessu tagi. Það er ekki stjórnað hver lendir í úrtakinu, þannig að það er algerlega óljóst um hvaða hóp úrtakið á að gilda. Hver sem er getur tekið þátt. Afskaplega ósennilegt er að úrtakið hafi óvart verið þannig að það megi alhæfa um alla lesendur Skessuhorns, en í það minnsta getum við ekki vitað það vegna þess að við vitum ekki hverjir svöruðu spurningunni! Það eina sem svona kannanir segja, með nokkurri vissu, eru skoðanir þeirra sem svöruðu. 

Hvað segja svona kannanir þá, fyrir utan þá sem svöruðu könnunni, sem við vitum ekki einu sinni hverjir eru? Ekki neitt.

Vitanlega gildir þetta sem ég segi um fleiri kannanir en þessa birtist á Vísi. Þetta gildir um allar þær kannanir þar sem er ekki stjórnað hverjir lenda í úrtakinu. Og fyrst þessar kannanir segja ekki neitt, til hvers er fólk þá að þessu?

Athugasemdir

[Smári McCarthy (IP-tala skráð) 3.2.2008 kl. 23:42]

Well. "Stjórnað" er vafasamt hér, og sér í lagi þegar talað er um að "stjórna úrtakinu". Það er það síðasta sem maður vill gera. Það sem maður vill frekar gera er að vera viss um sameiginlega þætti þess þýðis sem unnið er með - það er gjarnan gert með því að "stjórna" þýðinu, t.d. að segja að þýðið sé "allir íslendingar með kosningarétt" eða álíka og velja svo úrtakið af handahófi úr því.

Hinsvegar er óþarfi að stjórna því svo lengi sem maður veit hverjir stýriþættirnir eru. Það er erfitt. Ef að maður setur auglýsingu í Fréttablaðið um könnun á vísi.is eins og gert er daglega, þá er þýðið "þeir einstaklingar sem lesa fréttablaðið eða vísi og hafa jafnframt löngun til að tjá sig um efni skoðanakönnunarinnar" - og úrtakið er, í þessu tilviki, jafngilt þýðinu.

Að vísu getur maður svo verið með sama hóp fólks sem tilheyrir fleiri en einu hugsanlegu þýði, en þá er hægt að segja að þýðið sé stak í mengi allra hugsanlegra þýða, og jafnframt að úrtakið sé stak í mengi allra hugsanlegra samsetninga staka úr gefnu þýði (sem er kallað faldmengið, oft táknað P(A) fyrir mengi A).

[Guðmundur D. Haraldsson, 7.2.2008 kl. 15:50]

Jú, Smári, maður stjórnar hverjir lenda í úrtakinu með því að vera viss um að viðkomandi séu í þýðinu. Og auðvitað dregur maður af handahófi hverjir lenda í úrtakinu.