Senaste poster
Populära
Google Scholar
« Epostutrymme vid LU avgiftsbeläggs (OBS ej skämt) | Main | Bryan Caplan om inkomstkorrelationer mellan föräldrar och barn »
måndag
jun082009

Size matters - McCloskeys och Ziliaks argument

The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives (Economics, Cognition, and Society)Har nu läst en hel del i "The Cult of Statistical Significance" av McCloskey och Ziliak. Oerhört bra. Argumentet är att forskare fokuserar för mycket på statistisk signifikans (om man kan säga att ett samband "finns") och för lite på effekternas storlek.

Ett av deras bästa argument rör ekonometriska test av köpkraftsparitetsteoremet (PPP, lagen om ett pris). PPP säger att prisnivån i ett land är samma som privnivån i andra länder, korrigerat för växelkursen.

På teoretisk grund har jag alltid trott på PPP. Annars skulle det gå att bli rik på ren arbitragehandel. Kruxet är att de flesta ekonometriska test förkastar PPP. Nu har McCloskey och Ziliak förklarat för mig varför.

Kör man en regression av svenska priser på utländska priser och växelkurs, ska alltså koefficienten på utländska priser bli ett. Oftast är koefficienten "signifikant skild" från ett. Så PPP ska förkastas?

M&Z påpekar att ingen vettig ekonom skulle tolka lagen om ett pris som att koefficienten ska vara 1.00000. Det intressanta är inte signifikansnivå utan storleken på koeficienten. Priserna varierar ju även inom ett land. Det intressanta är inte om koefficienten är exakt ett, det intressanta är: Hur mycket skiljer sig utländska från inhemska priser, korrigerat för växelkursen?

M&Z visar också att felet begås inte bara av ekonomer. Inte minst inom medicin fixerar man signifikans och ignorerar storlek. Xanax är signifikant annorlunda än Valium - fine. Men hur mycket bättre Xanax är, får vi inte veta. Och så vidare.

Kan man få ekonomipris för meta-forskning ligger McCloskey bra till.

PrintView Printer Friendly Version

EmailEmail Article to Friend

Reader Comments (7)

McGloskey?

För övrigt har det ifrågasatts om ekonomer verkligen gör det felet så mycket som det påstås men det kan du kanske bedöma bättre.
Roligt nog kommer ju McCloskey till Mont Pelerin Society-konferensen i Stockholm som talare i augusti (jämte en viss dr Bergh)!

http://www.mps2009.org/?q=node/5
Jag skriver som en kratta nuförtiden. Fick namnet rätt i rubriken dock!

@johan Numera lägger ekonomer ofta pliktskyldigt till några meningar om storleken på effekterna i conclusions. Det är så jag brukar upptäcka större fel i datasetet ;-)
8 jun | Unregistered Commenterbergh
Här http://www.vof.se/forum/viewtopic.php?f=17&t=8885 ifrågasätts om beskrivningen av medicin är korrekt också.

För övrigt har du inte korrigerat alla förekomster av McGloskey.
Nu har jag ;-)

Jo, jag har nyss gjort några inlägg i den tråden...
10 jun | Registered Commenterbergh
Kul att fler än jag går igång på McCloskey nuförtiden :)
10 jun | Unregistered CommenterMJV
Jag kan som statistiker (på ett läkemedelsföretag i Köpenhamn) inte låta bli att kommentera.

Omedelbart ser boken ut att slå in öppna dörrar. Dessa resonemang har alla statistiker hört redan i grundutbildningen. Själv har jag sedan jag började arbeta praktiskt med statistik blivit mer välvillig till signifikanstest - bara man förstår vad man gör. I en inledande fas av det experimentella arbetet har man oftast inte tillräcklig stickprovsstorlek för att kunna säga någonting meningsfullt of effektens storlek, Det är också svårt att veta exakt vad som menas med effektstorlek om man inte ger sig in i matematiskt modellbyggande, som nästan alltid bygger på tvivelaktiga antaganden. P-värdet (om man som Fisher tillåter sig att använda det) är däremot beräknat under ett minimum av antaganden.

Men när P-värdet väl är beräknat, skall man naturligtvis minnas:

1) Det är resultatet av en sannolikhetsberäkning och svarar inte omedelbart på frågan om sant och falskt. Ickstatistiker tenderar att använda logiken P<0.05 -> effekt finns/P>0.05 -> effekt finns inte. Att detta missbruk så lätt uppstår är inte statistikens men möjligen statistikernas fel.

2) Noll-hypotesen skall vara meningsfull. I exemplet PPP, är den det inte.

3) Ett litet P-värde säger som sagt ingenting om effektens storlek.

4) P-värden är utarbetade för en experimentell situation. De kan visst användas för observationsdata, men man får tänka sig för.

Föjande mening förvånar mig:

"Xanax är signifikant annorlunda än Valium - fine. Men hur mycket bättre Xanax är, får vi inte veta."

Man får bilden av cyniska läkemedelsbolag som lurar på den okunniga allmänheten sina undermåliga produkter. Det finns sannerligen mycket att säga om läkemedelsbolagen, men så lättvindigt går det inte till. De godkännande myndigheterna känner naturligtvis till hela den ovanstående argumentationen och kräver mycket mer än P-värden för ett godkännande. Att man skulle 'ignorera storlek' är inte sant.

PostPost a New Comment

Enter your information below to add a new comment.

My response is on my own website »
Author Email (optional):
Author URL (optional):
Post:
 
All HTML will be escaped. Hyperlinks will be created for URLs automatically.