Size matters - McCloskeys och Ziliaks argument
8 jun 2009, kl 13:31 | Lite väl akademiskt, Samhälle och politik 
Har nu läst en hel del i "The Cult of Statistical Significance" av McCloskey och Ziliak. Oerhört bra. Argumentet är att forskare fokuserar för mycket på statistisk signifikans (om man kan säga att ett samband "finns") och för lite på effekternas storlek.
Ett av deras bästa argument rör ekonometriska test av köpkraftsparitetsteoremet (PPP, lagen om ett pris). PPP säger att prisnivån i ett land är samma som privnivån i andra länder, korrigerat för växelkursen.
På teoretisk grund har jag alltid trott på PPP. Annars skulle det gå att bli rik på ren arbitragehandel. Kruxet är att de flesta ekonometriska test förkastar PPP. Nu har McCloskey och Ziliak förklarat för mig varför.
Kör man en regression av svenska priser på utländska priser och växelkurs, ska alltså koefficienten på utländska priser bli ett. Oftast är koefficienten "signifikant skild" från ett. Så PPP ska förkastas?
M&Z påpekar att ingen vettig ekonom skulle tolka lagen om ett pris som att koefficienten ska vara 1.00000. Det intressanta är inte signifikansnivå utan storleken på koeficienten. Priserna varierar ju även inom ett land. Det intressanta är inte om koefficienten är exakt ett, det intressanta är: Hur mycket skiljer sig utländska från inhemska priser, korrigerat för växelkursen?
M&Z visar också att felet begås inte bara av ekonomer. Inte minst inom medicin fixerar man signifikans och ignorerar storlek. Xanax är signifikant annorlunda än Valium - fine. Men hur mycket bättre Xanax är, får vi inte veta. Och så vidare.
Kan man få ekonomipris för meta-forskning ligger McCloskey bra till.
Reader Comments (7)
För övrigt har det ifrågasatts om ekonomer verkligen gör det felet så mycket som det påstås men det kan du kanske bedöma bättre.
http://www.mps2009.org/?q=node/5
@johan Numera lägger ekonomer ofta pliktskyldigt till några meningar om storleken på effekterna i conclusions. Det är så jag brukar upptäcka större fel i datasetet ;-)
För övrigt har du inte korrigerat alla förekomster av McGloskey.
Jo, jag har nyss gjort några inlägg i den tråden...
Omedelbart ser boken ut att slå in öppna dörrar. Dessa resonemang har alla statistiker hört redan i grundutbildningen. Själv har jag sedan jag började arbeta praktiskt med statistik blivit mer välvillig till signifikanstest - bara man förstår vad man gör. I en inledande fas av det experimentella arbetet har man oftast inte tillräcklig stickprovsstorlek för att kunna säga någonting meningsfullt of effektens storlek, Det är också svårt att veta exakt vad som menas med effektstorlek om man inte ger sig in i matematiskt modellbyggande, som nästan alltid bygger på tvivelaktiga antaganden. P-värdet (om man som Fisher tillåter sig att använda det) är däremot beräknat under ett minimum av antaganden.
Men när P-värdet väl är beräknat, skall man naturligtvis minnas:
1) Det är resultatet av en sannolikhetsberäkning och svarar inte omedelbart på frågan om sant och falskt. Ickstatistiker tenderar att använda logiken P<0.05 -> effekt finns/P>0.05 -> effekt finns inte. Att detta missbruk så lätt uppstår är inte statistikens men möjligen statistikernas fel.
2) Noll-hypotesen skall vara meningsfull. I exemplet PPP, är den det inte.
3) Ett litet P-värde säger som sagt ingenting om effektens storlek.
4) P-värden är utarbetade för en experimentell situation. De kan visst användas för observationsdata, men man får tänka sig för.
Föjande mening förvånar mig:
"Xanax är signifikant annorlunda än Valium - fine. Men hur mycket bättre Xanax är, får vi inte veta."
Man får bilden av cyniska läkemedelsbolag som lurar på den okunniga allmänheten sina undermåliga produkter. Det finns sannerligen mycket att säga om läkemedelsbolagen, men så lättvindigt går det inte till. De godkännande myndigheterna känner naturligtvis till hela den ovanstående argumentationen och kräver mycket mer än P-värden för ett godkännande. Att man skulle 'ignorera storlek' är inte sant.