Hálfsoðin tölfræði segir fátt markvert

Eins og bent hefur verið á áður, segja niðurstöður skoðanakannanna mun minna ef vikmörk eru ekki tekin með í reikninginn. Svo mikið minna að niðurstöðurnar eru eiginlega hálfsoðnar. Ég benti líka á þetta um daginn hér. Af hverju eru engin vikmörk birt? Vikmörk er nauðsynleg til að geta yfir höfuð sagt nokkuð um hvort fylgi hefur breyst.

Það er kannski rétt að benda á að vikmörk eru ekki eingöngu nauðsynleg til að túlka skoðanakannanir, þau eru nauðsynleg til að túlka allar kannanir sem byggja á úrtaki sem er valið af handahófi.

Fylgi Framsóknarflokks dalar á ný

Flökt milli kannanna

Fyrr í dag birtist könnun sem Gallup gerði, en samkvæmt henni voru fylgistölurnar fyrir kosningarnar á laugardaginn svona[1]:

Framsóknarflokkur: 14,6%
Sjálfstæðisflokkur: 35,9%
Samfylking: 25%
Vinstrihreyfingin-grænt framboð: 14,5%
Frjálslyndi flokkurinn: 6,6%
Íslandshreyfingin 3,3%

Þessi síðari könnun, sem Félagsvísindastofnun Háskóla Íslands gerði, sýnir aðrar niðurstöður:

Framsóknarflokkur: 8,6%
Sjálfstæðisflokkur: 38,1%
Vinstri grænir: 16,2%
Samfylkingin: 29,1%
Frjálslyndi flokkurinn: 5,2%
Íslandshreyfingin: 2,7%

Eins og margir hafa tekið eftir munar nokkuð miklu á fylgi Framsóknarflokksins í þessari eldri könnun, miðað við þessa nýju. Sama á við ef eldri könnunin er borin saman við könnun frá því í gær (þar var Framsóknarflokkurinn með 9,8%). Einnig má sjá að flökt er á fylgi Samfylkingarinnar og Sjálfstæðisflokks.

Þetta flökt sem sést hér á sér stað af, trúlega, einföldum ástæðum.

1. Skoðanakannanir byggja á því að spurðir eru nokkur hundruð manns; 600 til 2000 manns, misjafnt milli kannana.  Þegar þeir sem eru spurðir eru valdir, er notuð líkindafræðileg aðferð við að velja þá (hver og einn á sama möguleika á að lenda í úrtakinu). Við að nota þessa aðferð kemur til villa sem felst í orsökum sem liggja í stærðfræðinni að baki (ég vísa á stærðfræðinga og tölfræðirit til nánari útskýringa). Villan lýsir sér þannig, að ef tekin eru mörg úrtök (margar kannanir gerðar) fæst ekki sama niðurstaða - jafnvel þó ekkert breytist í fylgi á milli úrtaka. Tökum dæmi: Flokkur mælist með fylgið 80% í einni könnun, 82% í annarri og 78% í næstu. Til að vinna upp á móti þessu, eru notuð vikmörk sem ná líklega yfir rétt fylgi: Í okkar dæmi, segjum 4% vikmörk. Þá væri niðurstaða kannannana: 76% til 84% fylgi, 78% til 86% fylgi, 74% til 82% fylgi (allstaðar ná vikmörkin yfir raunverulegt fylgi, sem er 79%). Það að skoða niðurstöður könnunarinnar með tilliti til vikmarka er best þegar svarhlutfall er 100%. 

2. Flökt getur líka komið til þegar svarhlutfall er orðið fremur lágt, um 50 til 60%. Hugsanlega er um að ræða að ekki sé jafnt dreift á milli fólks hvort það svari í skoðanakönnunum. Þetta þarf ekki að vera svo.

3. Breyting hefur átt sér stað á fylgi flokkanna. 

Þetta voru bara þrjár skýringar sem mér datt í hug. Þær eru ábyggilega fleiri. Sem sagt, fylgi flokka getur virst flökta í skoðanakönnunum án þess að nokkuð hafi breyst (skoðanir fólks, hlutfall þeirra sem skrökva, og svo framvegis). En trúlega er margt í bland að gerast, atriði 1. 2. og 3. saman, ásamt fleiru.

Það sem ég ekki skil, er hvers vegna fjölmiðlar birta ekki vikmörkin og nota þau í túlkun. Segja til dæmis, að flokkur X hafi 73% til 78% fylgi. Eins og þessar kannanir eru settar upp er sagt að flokkurinn hefði 75% fylgi. Raunverulegt fylgi væri kannski 77%. Það gefur auga leið að það er mun nákvæmara, betra og skynsamlegra að nota vikmörkin í túlkuninni!

Ríkisstjórnin fallin samkvæmt nýrri skoðanakönnun

Enn um tölfræði: Nú línurit

Er ekki furðulegt þegar menn skella í greinar línuritum sem sýna nánast engar upplýsingar og eru auk þess afar villandi? Eitt svoleiðis var í Fréttablaðinu í dag (30. mars 2007) á bls. 7:

 

Þetta graf er villandi, vegna þess að það sýnir mikla dýfu í áætluðum tekjum ríkissjóðs á næstu tveimur árum. Hve mikil er lækkunin í tekjum árið 2009, miðað við árið 2007? Jú, 4 prósent.  Af myndinni að dæma gæti virst sem það séu 10-15 prósent! Sama gildir um hækkun gjalda.

Þetta graf er innihaldslítið. Ég get ekki reiknað út mismun gjalda milli 2006 og 2009 því að það vantar að merkja tölurnar inn á grafið! Og það er enginn kvarði heldur! Til hvers að teikna línurit með engum kvarða? Hvað segja kvarðalaus línurit manni? Voðalega lítið! Þegar línurit án kvarða eru teiknuð á maður ekki að merkja einhversstaðar inn gildi, heldur á maður alltaf að merkja inn gildi svo að hægt sé að bera saman hvaða gildi í grafinu sem er - tilgangur línurita er jú að maður geti borið saman gildi auðveldlega. Í þessu línuriti hefði átt að merkja inn kvarða, að sjálfsögðu, og (sennilega) sleppa því að merkja gildin inn.

Ég tók mig til og teiknaði línurit sem sýnir sömu upplýsingar - næstum því, ég þurfti að skálda gildin sem vantaði. Það er ekki fallegt, en sýnir hvernig væri heppilegra að sýna þessar upplýsingar:

Ég veit reyndar um enn betri leið til að setja þessar upplýsingar fram. Í töflu (aftur, skáldskapur í stað talna sem vantaði):  

	Tekjur	Gjöld
2005	47.6	42.3
2006	47.6	42.2
2007	47.6	42.3
2009	43.4	49

Þegar gröf eru teiknuð verður maður að hafa fast í huga hvað grafið á að sýna þeim sem skoðar það. Og maður ætti alls ekki að teikna upp villandi graf - það grefur undan trúverðugleika manns, hvort sem það var viljandi eða óviljandi að maður teiknaði villandi graf. 

Skekkjumörk?

Hver eru skekkjumörkin í þessari könnun? Af hverju er ekki sagt frá þeim? Er til dæmis innan skekkjumarka að fylgi Sjálfstæðisflokks eykst frá síðustu könnun og hvað með minna fylgi Vinstri Grænna?  Skekkjumörk eru bráðnauðsynleg, annars er ómögulegt að sjá hvort einhver veruleg breyting hafi átt sér stað!

Í hvers konar könnunum þar sem stuðst er við líkindaúrtök - eins og skoðanakannanir gera - er það svo að tölurnar sem reiknaðar eru út (t.d. 4,8% fylgi Frjálslyndra) eru ekki fullkomlega nákvæmar. Tökum þessa könnun hér sem dæmi: Fylgi Sjálfstæðisflokksins mælist 40,2%, en í reyndinni er fylgið annað, við vitum ekki nákvæmlega hvað það er - en það er nálægt 40%. Það sama gildir fyrir Vinstri Græna, fylgið mælist 25,7%, en í reynd er fylgið annað (kannski 29% - það er ekki vitað) - en fylgið er nálægt 25%. Til þess að hafa betri hugmynd um hvar raunverulegt fylgi liggur eru reiknuð skekkjumörk, sem eru ekki gefin upp hér!

Það má líka útskýra þetta öðruvísi: Tvær kannanir gerðar á sama tíma geta skilað ólíkum niðurstöðum, önnur skilar 19% fylgi Vinstri Grænna, en hin 23% fylgi Vinstri Grænna. Ímyndum okkar að skekkjumörkin væru 5%. Þá væri bilið sem fylgið liggur á 14% til 24% í "19% könnuninni", en samskonar bil 18% til 28% í "23% könnuninni". Raunverulegt fylgi væri samt 20%! Mismunandi niðurstöður, en sama fylgi.  Augljóslega er best að skoða fylgið með tilliti til skekkjumarkana.

Í reyndinni er það raunar svo að raunverulegt fylgi liggur stundum utan skekkjumarkana, en það er sjaldnast svo. Það skiptir ekki máli fyrir skoðanakannanir sem þessar. Því ætti að duga að gefa þetta upp svona:  "Fylgi Samfylkingar er á bilinu 18% til 23%". Ég skora á Morgunblaðsmenn að gera það næst! 

Fylgi Sjálfstæðisflokks eykst mikið frá síðustu könnun

Skoðanakannanir - mælikvarði á gæði?

Egill Helgason skrifar á umræðusvæði Vísis:  

Á Íslandi höfum við besta landbúnað í heimi og bestu landbúnaðarvörurnar. Þetta er búið að staðfesta í skoðanakönnun.

 Ég veit ekki, á þetta að vera grín? Ég ætla að prófa að taka þessu sem alvöru.

Þó svo að fjöldinn kaupi eitthvað fremur en annað, þarf það ekki að vera vegna þess að það er besta varan. Til dæmis kann að vera, að fyrirtækið sem markaðssetur vöru sé með afar snjalla markaðsfræðinga (þeir eru til) í vinnu hjá sér, og þeir séu svo snjallir að fá fólk til að kaupa. Ef fólki líkar eitthvað vel, og markaðsfólkið fær það til að halda áfram að kaupa það, þá getur liðið afar langur tími þar til fólk prófar eitthvað nýtt, eitthvað ennþá betra. Hér skapast því vandamálið um hvenær maður getur vitað hvort eitthvað sé betra en hitt sé þessi mælikvarði (fjöldans) notaður.

Önnur spurning er líka hvort fólk almennt sé að prófa að kaupa aðrar vörur (að fólk geri það almennt er forsendan fyrir því að það meirihlutinn velji bestu vöruna) til að sjá hvort þær séu betri? Ég veit það ekki. Ég set spurningarmerki við það, að minnsta kosti. Enn önnur er hvernig fólk fer að því að meta hvort eitthvað sé betra. Það er óljóst og misjafnt milli fólks.  

Er svona erfitt að sjá þetta? Eða hefur Egill ef til vill ofurtrú á markaðskerfum og mótar allt eftir því? Ég veit ekki.

En ég vara við því að taka skoðanakönnunum sem mælikvarða á hitt eða þetta. Hegðun fólks er margslungin og flókin, það þarf engum að segja.

Víkverji, gagnrýni fjölmiðla á aðra fjölmiðla

Guðbjörg Hildur Kolbeins skrifar pistil um Víkverja hjá Morgunblaðinu. Ágætur pistill, finnst mér. Fjölmiðlar eiga að fá gagnrýni, eins og aðrir.

Gagnrýni er ekki slæm í eðli sínu, hún er ábending um að eitthvað megi betur fara og þarf alls ekki að vera neikvæðni. Stundum þarf þó að bremsa á gagnrýnina (þetta á þó ekki við um vísindi og fræði), ef gagnrýnin er óviðeigandi eða hreinlega óþörf. 

Ég held reyndar að ég skilji vel ef fjölmiðlamenn fá á sig gagnrýni í massavís, að þeir verði pirraðir og þreyttir á því. Þeir standa jú í eldlínunni - ef svo má að orði komast - því þeir eru að segja frá einhverju sem hefur gerst nýlega, er kannski óljóst enn og getur breyst á hverri stundu. Að því leyti mega gagnrýnendur passa sig; upplysingar eru ekki alltaf til reiðu og málin geta þróast hratt, þá getur verið erfitt að púsla saman góðri frétt. En annars mega fjölmiðlamenn alveg taka á sig gagnrýni.

Meira af "fréttum"

Hrotur maka kosta rúmlega þriðjung Breta alls tveggja ára svefn yfir ævina samkvæmt nýrri könnun. Fréttavefur BBC segir frá þessi. Helmingur þátttakenda, sem voru 2.000 talsins, sögðu að hroturnar hefðu neikvæð áhrif á kynlíf þeirra, en 85% voru á því að sambandið myndi batna ef hægt væri að stöðva hroturnar.

 Vá, þetta eru gríðarleg vísindi. Mikill fróðleikur í þessu. Afsakið hæðnina. Þetta er náttúrulega ótrúlega gagnslausar upplýsingar. Auðvitað skapar svefntruflanir vandamál í samböndum, það gefur auga leið (ég þarf ekki að sýna rökin fyrir því, er það?) Og að sjálfsögðu myndi það batna ef svefntruflanirnar hverfa! Auk þess, eru þetta ekki áætlaðar tölur? Hvernig ætla menn að fara að því að komast að því hve miklu svefnleysi hrotur valda? Það er eitthvað hæpið, nema kannski að komið sé fyrir búnaði og gerð tilraun (og jafnvel þá er óvissa!). Þetta hlýtur að vera áætlað - af hverju er það ekki sagt þá?

Talsmaður bresku svefnsamtakanna segir BBC að mikilvægt sé að ná nægum svefni, og að svefnleysi geti haft slæm áhrif á líkamlega og andlega heilsu og að svefnleysi hafi verði tengt við slæma frammistöði í námi, auknar líkur á offitu og sykursýki, skilnaði, aukna sjálfsmorðstíðni m.a.

 Þetta er líka vel vitað. Svefn gegnir mikilvægu hlutverki í líkamsstarfseminni, að minnsta kosti fyrir flesta. Þeir eru örfáir sem sofa afar lítið og þurfa ekki að þola fyrir það. Aðrir gera það. Þetta er vel vitað og hefur verið það lengi. Hvar eru fréttirnar?

Svefn við hlið manneskju sem hrýtur getur þýtt að viðkomandi tapar allt að tveggja klukkustunda svefni á hverri nóttu, sambönd eru sögð vara að meðaltali um 24 ár, en þetta þýðir með þeim útreikningum sem beitt er í rannsókninni að Bretar sem þjást vegna hrjótandi maka tapa um tveggja ára svefni alls.

 Þessi rökleiðsla er út í hött."Svefn við hlið manneskju sem hrýtur getur þýtt...". Ein pæling hér: Til að þetta gildi um alla, þurfa þessi 2.000 að vera valin af handahófi (til að minnka áhrif frá öðrum áhrifaþáttum) - var það gert? Snérist rannsóknin kannski um eitthvað allt annað, eins og ég hef komist að áður um vísindafréttir birtar hér?

 Ég skora á Moggamenn að fjarlægja þessa frétt, hún er út í hött. Það að aðrir skulu birta hana gerir það ekki að verkum að það sé allt í lagi að birta hana sjálfur - og það gerir það ekki skárra heldur. Ég skora líka á Moggamenn að breyta um áherslur: Hætta að þýða frá fjölmiðlum greinar sem skipta litlu sem engu máli fyrir almenning. Þessi fréttaflutningur af vísindafréttum gefur afar villandi mynd af því hvernig vísindi eiga sér stað. Ég mælist til að blaðamenn Morgunblaðsins fari og skoði málið vel og sjái sjálfir hvernig aðferðafræði vísindanna er, hvernig vísindi virka og hvers vegna það er vitlaust að segja frá einstökum greinum. Þá myndu þeir sjálfir skilja af hverju fréttirnar sem þeir þýða úr eru glórulausar!

Ég talaði hér aðallega um Morgunblaðið, en ég hefði alveg eins getað sagt Vísir/Fréttablaðið. Þeir sem þar skrifa vísindafréttir mega líka taka þetta til sín.

Hrotur maka kosta mikinn svefn

Ónákvæmni?

Hefur blaðið eftir prófessornum Luis Vitetta hjá háskólanum í Queensland að niðurstöðurnar séu áhyggjuefni þar sem afar umfangsmikill iðnaður standi að framleiðslu efna sem fólki sé talið trú um að séu heilsusamleg, en reyndin sé að þau séu beinlínis hættuleg .

 Hættuleg í of stórum skömmtum ætti þetta að vera, býst ég við. Annað gengur ekki upp.

Málið er að maður verður að hugsa sjálfur um hvað maður lætur ofan í sig, en ekki éta hvað sem er í hugsunarleysi. Sama gildir um vítamín og önnur slík efni - fólk ætti að gæta sín sérstaklega þar og leita sér að upplýsingum um hvað sé æskilegt að éta mikið. 

Fjörefnin banvæn?

Eh?

Þetta eru nákvæmlega engar fréttir. Þetta hefur verið vitað mjög lengi. 

Það hefur verið hægt að lesa um þetta á t.d. Wikipedia heillengi - þetta er ekkert nýtt! 

Hvernig væri nú að færa alvöru vísindafréttir? Eitthvað merkilegt... pistlarnir um loftslagsáhrifin voru t.d. mjög fínir.

Lítið gagn í kaffibollanum

Fréttnæmt?

Dr. Angelo Picardi, sem fór fyrir rannsókninni, segir að sýnt hafi verið fram á það áður að óöryggi geti tengst heilsufarsvandamálum og hvernig fólki tekst að takast á við aðstæður sem valda streitu. 

Af hverju er þetta þá fréttnæmt? Tæplega því að rannsóknin styrki þessar fyrri niðurstöður, svo lítil rannsókn styrkir ansi lítið - 60 manns er mjög lítið. Hver er fréttin?

Ónæmiskerfi þeirra sem finna til óöryggis talið verra en annarra