Einkennileg frétt

Þessi frétt er með þeim undarlegri. Hvert er samhengið eiginlega? Og hvaða heimildir voru notaðar? Það eru einmitt fréttir eins og þessar sem angra helst þá sem er ekki sama um hvernig niðurstöðum vísindarannsókna er varpað til fólks. Einmitt svona fréttir eru slæmar og fjölmiðlum til lasta.

Fleiri fréttir af vísindum eru daprar, þrjú dæmi: fréttin um matarvenjur og unglinga, fréttin um harðfiskinn og fréttin um greipaldinátið. Ástæðan er einfaldlega sú að fréttirnar um matarvenjurnar og harðfiskinn eru byggðar hvor um sig á einni rannsókn og fullyrt út frá þeim ýmislegt, á meðan í fréttinni um greipaldinátið - sem líka er byggð á einni rannsókn - er sagt:

Er talið að ávöxturinn auki magn estrógens en hormóninn er talinn auka líkur kvenna á að fá krabbamein í brjóst. Hins vegar telja þeir sem stóðu að rannsókninni að taka beri fregnunum með varúð og að fleiri rannsóknir þurfi að gera áður en eitthvað er fullyrt í þessum efnum.

Já, það er nefninlega málið. Það þarf oft margar rannsóknir til að geta fullyrt nokkuð. Styrkur vísinda fellst í endurtekningu á rannsóknum. Endurtekningin er lykilatriðið. 

Ég skil ekki alveg af hverju sami fjölmiðilinn gerir svonalagað. Einn og sami fjölmiðill er tilbúinn til að fullyrða út frá einni rannsókn, en ekki út frá annari? Mér sýnist á þessum fréttum að ekkert ætti að fullyrða strax, frekari rannsókna er trúlega þörf og andmæli munu mjög líklega berast á þessar rannsóknir.

Eins og ég hef bent á áður ættu fjölmiðlar að reyna að segja frá vísindaheiminum öðruvísi, til dæmis með því að skrifa nokkuð ítarlegar fréttir, til dæmis um stöðu þekkingar á ákveðnum matvælum, stöðu þekkingar á krabbameini og svo frv. Miklu gagnlegra en einstaka frétt af einhverjum rannsóknum sem mynda hvort sem er bara hluta af stórri heild fjölda rannsókna, en fólk einmitt fær miklu síður fréttir af stöðu þekkingar af því að fjölmiðlar hnitmiða mjög á einstakar rannsóknir.

Sem betur fer er eitthvað um góðar vísindafréttir, eins og t.d. tvær fréttir af íslenskum vísindamönnum hér og hér.

Færri sjálfsvíg

Fréttablaðinu fer aftur?

Úr Fréttablaðinu, 14. júlí 2007:

Hálfsoðin tölfræði segir fátt markvert

Eins og bent hefur verið á áður, segja niðurstöður skoðanakannanna mun minna ef vikmörk eru ekki tekin með í reikninginn. Svo mikið minna að niðurstöðurnar eru eiginlega hálfsoðnar. Ég benti líka á þetta um daginn hér. Af hverju eru engin vikmörk birt? Vikmörk er nauðsynleg til að geta yfir höfuð sagt nokkuð um hvort fylgi hefur breyst.

Það er kannski rétt að benda á að vikmörk eru ekki eingöngu nauðsynleg til að túlka skoðanakannanir, þau eru nauðsynleg til að túlka allar kannanir sem byggja á úrtaki sem er valið af handahófi.

Fylgi Framsóknarflokks dalar á ný

Flökt milli kannanna

Fyrr í dag birtist könnun sem Gallup gerði, en samkvæmt henni voru fylgistölurnar fyrir kosningarnar á laugardaginn svona[1]:

Framsóknarflokkur: 14,6%
Sjálfstæðisflokkur: 35,9%
Samfylking: 25%
Vinstrihreyfingin-grænt framboð: 14,5%
Frjálslyndi flokkurinn: 6,6%
Íslandshreyfingin 3,3%

Þessi síðari könnun, sem Félagsvísindastofnun Háskóla Íslands gerði, sýnir aðrar niðurstöður:

Framsóknarflokkur: 8,6%
Sjálfstæðisflokkur: 38,1%
Vinstri grænir: 16,2%
Samfylkingin: 29,1%
Frjálslyndi flokkurinn: 5,2%
Íslandshreyfingin: 2,7%

Eins og margir hafa tekið eftir munar nokkuð miklu á fylgi Framsóknarflokksins í þessari eldri könnun, miðað við þessa nýju. Sama á við ef eldri könnunin er borin saman við könnun frá því í gær (þar var Framsóknarflokkurinn með 9,8%). Einnig má sjá að flökt er á fylgi Samfylkingarinnar og Sjálfstæðisflokks.

Þetta flökt sem sést hér á sér stað af, trúlega, einföldum ástæðum.

1. Skoðanakannanir byggja á því að spurðir eru nokkur hundruð manns; 600 til 2000 manns, misjafnt milli kannana.  Þegar þeir sem eru spurðir eru valdir, er notuð líkindafræðileg aðferð við að velja þá (hver og einn á sama möguleika á að lenda í úrtakinu). Við að nota þessa aðferð kemur til villa sem felst í orsökum sem liggja í stærðfræðinni að baki (ég vísa á stærðfræðinga og tölfræðirit til nánari útskýringa). Villan lýsir sér þannig, að ef tekin eru mörg úrtök (margar kannanir gerðar) fæst ekki sama niðurstaða - jafnvel þó ekkert breytist í fylgi á milli úrtaka. Tökum dæmi: Flokkur mælist með fylgið 80% í einni könnun, 82% í annarri og 78% í næstu. Til að vinna upp á móti þessu, eru notuð vikmörk sem ná líklega yfir rétt fylgi: Í okkar dæmi, segjum 4% vikmörk. Þá væri niðurstaða kannannana: 76% til 84% fylgi, 78% til 86% fylgi, 74% til 82% fylgi (allstaðar ná vikmörkin yfir raunverulegt fylgi, sem er 79%). Það að skoða niðurstöður könnunarinnar með tilliti til vikmarka er best þegar svarhlutfall er 100%. 

2. Flökt getur líka komið til þegar svarhlutfall er orðið fremur lágt, um 50 til 60%. Hugsanlega er um að ræða að ekki sé jafnt dreift á milli fólks hvort það svari í skoðanakönnunum. Þetta þarf ekki að vera svo.

3. Breyting hefur átt sér stað á fylgi flokkanna. 

Þetta voru bara þrjár skýringar sem mér datt í hug. Þær eru ábyggilega fleiri. Sem sagt, fylgi flokka getur virst flökta í skoðanakönnunum án þess að nokkuð hafi breyst (skoðanir fólks, hlutfall þeirra sem skrökva, og svo framvegis). En trúlega er margt í bland að gerast, atriði 1. 2. og 3. saman, ásamt fleiru.

Það sem ég ekki skil, er hvers vegna fjölmiðlar birta ekki vikmörkin og nota þau í túlkun. Segja til dæmis, að flokkur X hafi 73% til 78% fylgi. Eins og þessar kannanir eru settar upp er sagt að flokkurinn hefði 75% fylgi. Raunverulegt fylgi væri kannski 77%. Það gefur auga leið að það er mun nákvæmara, betra og skynsamlegra að nota vikmörkin í túlkuninni!

Ríkisstjórnin fallin samkvæmt nýrri skoðanakönnun

Enn um tölfræði: Nú línurit

Er ekki furðulegt þegar menn skella í greinar línuritum sem sýna nánast engar upplýsingar og eru auk þess afar villandi? Eitt svoleiðis var í Fréttablaðinu í dag (30. mars 2007) á bls. 7:

 

Þetta graf er villandi, vegna þess að það sýnir mikla dýfu í áætluðum tekjum ríkissjóðs á næstu tveimur árum. Hve mikil er lækkunin í tekjum árið 2009, miðað við árið 2007? Jú, 4 prósent.  Af myndinni að dæma gæti virst sem það séu 10-15 prósent! Sama gildir um hækkun gjalda.

Þetta graf er innihaldslítið. Ég get ekki reiknað út mismun gjalda milli 2006 og 2009 því að það vantar að merkja tölurnar inn á grafið! Og það er enginn kvarði heldur! Til hvers að teikna línurit með engum kvarða? Hvað segja kvarðalaus línurit manni? Voðalega lítið! Þegar línurit án kvarða eru teiknuð á maður ekki að merkja einhversstaðar inn gildi, heldur á maður alltaf að merkja inn gildi svo að hægt sé að bera saman hvaða gildi í grafinu sem er - tilgangur línurita er jú að maður geti borið saman gildi auðveldlega. Í þessu línuriti hefði átt að merkja inn kvarða, að sjálfsögðu, og (sennilega) sleppa því að merkja gildin inn.

Ég tók mig til og teiknaði línurit sem sýnir sömu upplýsingar - næstum því, ég þurfti að skálda gildin sem vantaði. Það er ekki fallegt, en sýnir hvernig væri heppilegra að sýna þessar upplýsingar:

Ég veit reyndar um enn betri leið til að setja þessar upplýsingar fram. Í töflu (aftur, skáldskapur í stað talna sem vantaði):  

	Tekjur	Gjöld
2005	47.6	42.3
2006	47.6	42.2
2007	47.6	42.3
2009	43.4	49

Þegar gröf eru teiknuð verður maður að hafa fast í huga hvað grafið á að sýna þeim sem skoðar það. Og maður ætti alls ekki að teikna upp villandi graf - það grefur undan trúverðugleika manns, hvort sem það var viljandi eða óviljandi að maður teiknaði villandi graf. 

Skekkjumörk?

Hver eru skekkjumörkin í þessari könnun? Af hverju er ekki sagt frá þeim? Er til dæmis innan skekkjumarka að fylgi Sjálfstæðisflokks eykst frá síðustu könnun og hvað með minna fylgi Vinstri Grænna?  Skekkjumörk eru bráðnauðsynleg, annars er ómögulegt að sjá hvort einhver veruleg breyting hafi átt sér stað!

Í hvers konar könnunum þar sem stuðst er við líkindaúrtök - eins og skoðanakannanir gera - er það svo að tölurnar sem reiknaðar eru út (t.d. 4,8% fylgi Frjálslyndra) eru ekki fullkomlega nákvæmar. Tökum þessa könnun hér sem dæmi: Fylgi Sjálfstæðisflokksins mælist 40,2%, en í reyndinni er fylgið annað, við vitum ekki nákvæmlega hvað það er - en það er nálægt 40%. Það sama gildir fyrir Vinstri Græna, fylgið mælist 25,7%, en í reynd er fylgið annað (kannski 29% - það er ekki vitað) - en fylgið er nálægt 25%. Til þess að hafa betri hugmynd um hvar raunverulegt fylgi liggur eru reiknuð skekkjumörk, sem eru ekki gefin upp hér!

Það má líka útskýra þetta öðruvísi: Tvær kannanir gerðar á sama tíma geta skilað ólíkum niðurstöðum, önnur skilar 19% fylgi Vinstri Grænna, en hin 23% fylgi Vinstri Grænna. Ímyndum okkar að skekkjumörkin væru 5%. Þá væri bilið sem fylgið liggur á 14% til 24% í "19% könnuninni", en samskonar bil 18% til 28% í "23% könnuninni". Raunverulegt fylgi væri samt 20%! Mismunandi niðurstöður, en sama fylgi.  Augljóslega er best að skoða fylgið með tilliti til skekkjumarkana.

Í reyndinni er það raunar svo að raunverulegt fylgi liggur stundum utan skekkjumarkana, en það er sjaldnast svo. Það skiptir ekki máli fyrir skoðanakannanir sem þessar. Því ætti að duga að gefa þetta upp svona:  "Fylgi Samfylkingar er á bilinu 18% til 23%". Ég skora á Morgunblaðsmenn að gera það næst! 

Fylgi Sjálfstæðisflokks eykst mikið frá síðustu könnun

Skoðanakannanir

Skoðanakannanir eru eitt af mínum uppáhaldsumræðuefnum þegar kemur að gagnrýni. Minn áhugi á skoðanakönnunum snýr fyrst og fremst að þeirri aðferð sem er beitt til að safna gögnum um skoðanir fólks, hvernig er ályktað út frá gögnunum og hvernig ályktanirnar og gögnin eru sýnd almenningi.

Ég hef oft hugsað um hve illa skoðanakannanir eru settar fram í fjölmiðlum og oft hefur mig langað til að segja eitthvað um þær við aðra en sjálfan mig og vini. En núna hefur Hafrún Kristjánsdóttir tekið sig til og skrifað um tvær skoðanakannanir.  Ég mæli með pistlum hennar:  Um skoðanakönnun Fréttablaðsins,
um skoðanakönnun hjá Blaðinu, aftur um sömu könnun Blaðsins.

Fjölmiðlar og vísindi: Vísindamenn og fjölmiðlar þurfa að gera betur

Ég hef skrifað þó nokkra pistla hérna um vísindi og fjölmiðla. Í þeim hef ég gagnrýnt þær fréttir sem Morgunblaðið birtir um vísindi nokkuð hart. Gagnrýn mín á ekkert bara við um greinar Morgunblaðsins, hún á við greinar Vísis, Fréttablaðsins og fleiri miðla.

Ég beini spjótum mínum hins vegar fyrst og fremst að Morgunblaðinu vegna þess að mér finnst það vera einn af fáum fjölmiðillinn á íslandi sem nokkuð er varið í. Vegna þess að hann er einn af fáum sem eitthvað varið er í hef ég kosið að beina spjótum mínum að honum svo að hann geti orðið betri. Einhverjum kann að finnast þetta furðulegt, en það er ekkert furðulegt við þetta, vegna þess að gagnrýni mína má taka, skoða og nota til að betrumbæta fréttirnar sem Morgunblaðið flytur. Ég er ekki að reyna að brjóta Morgunblaðið niður til að "sigrast" á einhverjum. Nei, ég vil að blaðamenn Morgunblaðsins geri betur og nýti til þess gagnrýni mína. Ég myndi gjarnan vilja að Morgunblaðsmenn myndu gera það, þá myndi ég hrósa þeim oftar. Ég hef raunar þegar hrósað þeim í einhverjum pistlum.

Oft hefur gagnrýnin beinst að því að mér finnst fjölmiðlamenn ekki taka nægilegt tillit til þess að vísindagreinar sem eru nýbirtar í fagritum hafa ekki jafn mikið gildi og margar greinar sem kanna sama mál út frá ólíkum sjónarhornum eða tiltekinn hluta málsins. Staðreyndin er sú að þegar grein hefur verið gefin út hafa líklega ekki færri en 10-15 manns gagnrýnt hana, þeir hins vegar eru líklega ekki fleiri en 30 manns. Þegar greinin kemur út berst gagnrýni, stundum harkaleg gagnrýni, stundum engin, en stundum eru rannsóknirnar endurteknar vegna þess að eitthvað þykir athugavert við fyrri rannsóknina. Út úr slíkum rannsóknum getur ýmislegt komið, t.d. að alvarlegur galli hafi verið á fyrri rannsókninni, eða þá að eitthvað þarfnast nánari skoðunar.

Þetta er einn mikilvægasti hluti vísindasamfélagsins: Gagnrýni, gagnrýni og aftur gagnrýni. Gagnrýnin er ekki til að sigrast á einhverjum eða að gera lítið úr honum, heldur til þess að finna út hvað er satt. Vísindin eru eilíf barátta fyrir sannleikanum. 

Vísindamenn eru hins vegar ekki nógu duglegir við að segja almenningi, fólki eins og mér og íbúum heimsins,  frá því hvað hefur komið út úr rannsóknum þeirra. Það er hins vegar nauðsyn að þeir geri það og þar þurfa þeir að standa sig betur. Það getur til dæmis orðið til þess að eyða misskilningi hjá almenningi, en misskilningur um ýmis mál lifir góðu lífi í samfélaginu. Og það er ekki skortur á eftirspurn eftir vísindafréttum, um það ber líklega vitni að fréttir um vísindi eru yfir höfuð birtar, en þær eru ekki nógu góðar og fjalla oft aðeins um nýjustu rannsóknir.

Hvað eiga vísindamenn að gera til að koma efni sínu frekar á farmfæri til fólks? Yfirlitsgreinar í dagblöðum? Sér tímarit sem fást við mál sem fólki eru hugleikin? Eitthvað þarf að gera, það er ljóst. En hvað?

Furðulegt samhengi og furðuleg uppsetning á frétt

 Þessi grein er ein af þessum undarlegu sem birtist reglulega (eða óreglulega) á Mbl.is. Fréttin lítur svona út:

Breskir reykingarmenn taka sér að meðaltali hálftíma pásu á dag til þess að fá sér að reykja, en þetta kemur fram í nýrri könnun. Alls voru 1.000 fullorðnir einstaklingar rannsakaðir og niðurstaðan varð sú að meðalreykingarmaður tekur sér þrjár 10 mínútna pásur á meðan hann er í vinnunni til þess að svala fíkn sinni.

Samkvæmt rannsókn The Benenden Healthcare Society er talið að um 290.000 vinnudagar glatist í Bretlandi ár hvert reykingarmenn á vinnustöðum taka sér reykingarpásu.

Rannsakendurnir segja að reykingarpásur valdi deilum á mörgum vinnustöðum, að því er fram kemur í frétt BBC.

Reykingarmenn á Norður-Bretlandi taka sér flestar pásur, en aðeins 13% þeirra komast í gegnum daginn án þess að fá sér „smók“.

Til samanburðar má nefna að um tæpur þriðjungur reykingamanna frá miðhéruðum Englands og 20% reykingarmanna í suðrinu geta komist í gegnum vinnudaginn án þess að reykja.

Þá kemur fram í niðurstöðum rannsóknarinnar að sumir starfsmenn hafi tekið sér allt að sjö reykingarpásur yfir daginn.

Hvað er The Benenden Healthcare Society og hvernig tengist það þessari könnun? Gerðu þeir rannsóknina? Kom eingöngu málsgreinin um að reykingapásur valdi deilum af vef BBC, eða öll greinin? Af hverju er þetta ekki skýrara? Af hverju ekki að vísa bara í heimildina neðst eins og svo margir gera? Þarf endilega að slíta fréttina algjörlega í sundur? Ein setning í línu og svo greinarskil, eins og margir erlendir fjölmiðlar gera - sem er ömurlegt.

Ég ætla að prófa að setja upp grein sem er skýrari og fallegri:

Ný rannsókn The Benenden Healthcare Society leiddi í ljos að Breskir reykingarmenn taka sér að meðaltali hálftíma pásu á dag til þess að fá sér að reykja. Samtökin veita félögum sínum ókeypis læknisaðstoð og aðra aðstoð þegar þeir þurfa.

Rannsóknin náði til 1.000 fullorðninna einstaklinga og niðurstaðan varð sú að meðalreykingarmaður tekur sér þrjár 10 mínútna pásur á meðan hann er í vinnunni til þess að svala fíkn sinni. Samtökin halda því fram að um 290.000 vinnudagar glatist í Bretlandi ár hvert reykingarmenn á vinnustöðum taka sér reykingarpásu. Að auki segja rannsakendurnir að reykingapásur valdi deilum á mörgum vinnustöðum.

Reykingarmenn á Norður-Bretlandi taka sér flestar pásur, en aðeins 13% þeirra komast í gegnum daginn án þess að fá sér „smók“. Til samanburðar má nefna að um tæpur þriðjungur reykingamanna frá miðhéruðum Englands og 20% reykingarmanna í suðrinu geta komist í gegnum vinnudaginn án þess að reykja. Í niðurstöðum rannsóknarinnar kemur einnig fram að sumir starfsmenn hafi tekið sér allt að sjö reykingarpásur yfir daginn.

BBC sagði frá þessu (grein BBC). 

Til gamans má geta að mér finnst að því er kemur fram hljóma alveg óheyrilega illa. Að því er kemur fram? Er höfundurinn að varpa af sér ábyrgð með þessu? Að því er kemur fram á vef þeirra þá ...  eða hvað? Mun skýrara er að segja: Samkvæmt X þá er.... 

-- 

Þó svo að ég taki Morgunblaðið fyrir hérna, þá eiga þeir svo sannarlega ekki skilið að fá eingöngu á sig gagnrýni. Vísir á þessa gagnrýni líka skilið.  

Breskir reykingarmenn taka sér hálftíma reykingapásur frá vinnu á dag

Skoðanakannanir - mælikvarði á gæði?

Egill Helgason skrifar á umræðusvæði Vísis:  

Á Íslandi höfum við besta landbúnað í heimi og bestu landbúnaðarvörurnar. Þetta er búið að staðfesta í skoðanakönnun.

 Ég veit ekki, á þetta að vera grín? Ég ætla að prófa að taka þessu sem alvöru.

Þó svo að fjöldinn kaupi eitthvað fremur en annað, þarf það ekki að vera vegna þess að það er besta varan. Til dæmis kann að vera, að fyrirtækið sem markaðssetur vöru sé með afar snjalla markaðsfræðinga (þeir eru til) í vinnu hjá sér, og þeir séu svo snjallir að fá fólk til að kaupa. Ef fólki líkar eitthvað vel, og markaðsfólkið fær það til að halda áfram að kaupa það, þá getur liðið afar langur tími þar til fólk prófar eitthvað nýtt, eitthvað ennþá betra. Hér skapast því vandamálið um hvenær maður getur vitað hvort eitthvað sé betra en hitt sé þessi mælikvarði (fjöldans) notaður.

Önnur spurning er líka hvort fólk almennt sé að prófa að kaupa aðrar vörur (að fólk geri það almennt er forsendan fyrir því að það meirihlutinn velji bestu vöruna) til að sjá hvort þær séu betri? Ég veit það ekki. Ég set spurningarmerki við það, að minnsta kosti. Enn önnur er hvernig fólk fer að því að meta hvort eitthvað sé betra. Það er óljóst og misjafnt milli fólks.  

Er svona erfitt að sjá þetta? Eða hefur Egill ef til vill ofurtrú á markaðskerfum og mótar allt eftir því? Ég veit ekki.

En ég vara við því að taka skoðanakönnunum sem mælikvarða á hitt eða þetta. Hegðun fólks er margslungin og flókin, það þarf engum að segja.