Kimmo Eriksson och bristen på replikationsstudier

Kimmo Eriksson lyckas pricka in två av mina favoritkäpphästar i samma blogginlägg: att inte bli imponerad av en analys bara för att den är matematiskt formulerad och behovet av replikationsstudier:

Mitt intryck är att här finns områden där bara en liten minoritet av forskarna har tillräcklig matematisk kompetens för att formulera matematiska modeller, och – vad värre är – bristen på matematisk kompetens hos övriga forskare gör att de inte ens vågar ifrågasätta värdet av minoritetens matematiska modeller.

samt

Sensmoralen är att coola forskningsresultat från enstaka studier måste betraktas (minst) samma skepsis som mindre coola resultat från enstaka studier. Det är först när fenomen låter sig upprepas i oberoende studier som de egentligen är värda att litas på.

Rörande bristen på replikationsstudier tror jag förklaringen är enkel, i varje fall inom nationalekonomin. Om vi utgår från att de flesta resultat som publiceras faktiskt går att replikera, är risken stor att resultatet blir svårpublicerat: det där visste vi ju redan!

När replikationen misslyckas, riskerar man göra sig ovän med både författarna till ursprungsartikeln och tidskriftsredaktörerna där den publicerades.

Med dessa incitament är det inte konstigt att de flesta väljer helt nya forskningsfrågor. Det är heller inte konstigt att de försök till replikation som trots allt görs ofta tolkas som försök att vara jobbig eller att försök falsifiera resultat man inte gillar.

Jag har tänkt ut en (del)lösning också: Någon borde starta Journal of replication studies and robustness analysis inom nationalekonomin.

(med någon menar jag såklart någon annan ;-)