Identifikationsstrategier

Det pågår en debatt i Journal of Economic Literature och Journal of Economic Perspectives om identifikationsstrategier och forskningsfrågor. "Pågår" i sammanhanget betyder att det för flera år sedan hölls konferenser och skrevs papper i frågan, men nu finns de tryckta.)

Enkelt uttryckt rör debatten nedanstående fyrfältare: Förr hade papper intressanta frågor, som dock var svåra att besvara. För att hjälpligt studera frågorna empiriskt utvecklades mängder av avancerad ekonometri. Ingen kom på tanken att ekonomer kunde göra kontrollerade experiment.

Numera är kontrollerade experiment det tuffaste man kan göra. Ett välutformat fältexperiment gör att man slipper all krånglig ekonometri och test av instrumentalvariablernas giltighet. Det enda som behövs är att räkna ut om skillnaden mellan kontrollgrupp och treatmentgrupp är stor och signifikant.

Debatten rör (bl a) om denna utveckling skett på bekostnad av de intressanta frågorna, så att forskningen numera ger bättre svar men på mindre intressanta frågor. Sambandet illusteras av den streckade linjen i ramverket nedan:

I figuren kan vi rita in följande tumregler:

McGloskey's imperativ: Syssla endast med riktigt intressanta frågor!

Finks fördömande: Cross-country evidence is no evidence!

Trenden talar för ett uppsving för vissa områden inom nationalekonomin, exempelvis utvecklingsekonomin, där det finns möjlighet att besvara intressanta frågor med naturliga experiment: Om biståndspengar ändå ska användas för att ge internet åt en by, varför inte göra detta så att det skapas en naturlig kontrollgrupp och effekten blir möjlig att utvärdera?

Comments

[Fredrik Segerfeldt]

Det naturliga motargumentet mot dessa kontrollerade experiment är att det ofta är så svårt att generalisera utifrån dessa enskilda exempel, att man ofta inte lär sig mer än att i By A funkar just det vi mätte denna gång, och endast jämfört med kontrollgruppen i by B. Och då har vi inte lärt oss någonting. Men det verkar som att de flesta köper denna metod.

[daniel]

I'll take a well identified effect that comes with costs in terms of external validity over a so called generalizable finding from an observational study that, actually, may or may not be what the analyst thinks it is. Besides, in what way are the findings from, say a survey( even with N=30000) any more generalizable? It's still just one snapshot. This concern is a really potentially dangerous one as it assumes that there are indeed things that are generalizable. There might be, but we probably don't know how to do it very well yet. Basically, what's wrong with tackling a perhaps small question but one that's tractable? Nothing wrong with answering the Big Questions either, but don't let's fool ourselves into thinking that we have identification or generalizable findings.

[Marcus Linder]

"Basically, what's wrong with tackling a perhaps small question but one that's tractable?"

Det skulle kunna vara kostnadsineffektivt att besvara den lilla frågan. Alltså att samhällets resurser skulle kunnat användas bättre än att finna ett definitivt svar på en ointressant fråga.

"Nothing wrong with answering the Big Questions either, but don't let's fool ourselves into thinking that we have identification or generalizable findings."

Argumentet att ge sig på de intressanta frågorna, trots att vi kanske inte får något svar, skulle kunna vara att 1) om vi inte försöker så får vi sannolikt inga svar på dem alls och 2) det alternativa användsområdet (ointressanta frågor) för samma resurser (forskare) är nästan värdelöst, så vi kan lika gärna satsa på något meningsfullt men osannolikt/svårt.

Sammanfattningsvis så tror jag båda angreppssätten behövs. Att satsa på de stora frågorna kan ses som högriskinvesteringar som kan ge mycket men de satsade resurser kan också förslösas, medan de små frågorna kan ses som lågriskinvesteringar med säker men begränsad avkastning. En långsiktig investeringsportfölj mår förmodligen bra av att ha lite av båda.

[Andreas Bergström]

För mig som kommer från en bakgrund som naturvetare och medicinjournalist känns trenden med mer experiment i grunden sund men samtidigt är det hajpvarning. Inom den medicinska forskningen gör man både kontrollerade experiment OCH försöker begripa mekanismen bakom det som händer. Trots det blir kunskapen betydligt mindre tillförlitlig än man skulle hoppas. För det första drar man ibland för stora växlar på små, om än signifikanta, effekter. De kan senare visa sig vara obefintliga om studien upprepas på andra sätt. För det andra mäter man kanske inte allt som är relevant - kanske fanns det biverkningar som man missade, som är livsfarliga. För det tredje mäter man en begränsad tid, och kan därför missa långtidseffekter. För det fjärde försöker man renodla experimenten så mycket som möjligt, men sedan används kunskaperna ute i verkligheten, som kan avvika på viktiga sätt från experimentsituationen.

Jobbskatteavdraget är väl ett bra exempel. Här finns både en förståelse för mekanismen bakom - om man tjänar mer på att jobba vill fler jobba mer - och (tror jag) experiment som visar att det här fungerar. Men: 1. Storleken på effekten spretar rejält i olika studier. 2. Hur påverkas människors upplevda trygghet vid risk för sjukdom och arbetslöshet? Hur påverkas sammanhållningen i samhället? Hur påverkas arbetsutbudet långt upp i inkomstskikten? Det är exempel på frågor som vi skulle behöva veta mer om. 3. Hur påverkas attityder till sjukskrivning och arbete? Den långsiktiga effekten kanske blir större än vad vi anar. 4. Den empiri som t.ex. Finanspolitiska rådet utgått ifrån handlar egentligen inte (i alla fall inte huvudsakligen) om jobbskatteavdrag, utan om sänkta ersättningsnivåer. Effekten borde bli densamma, kan man tycka. Men läxan från andra områden är att det inte alls är så enkelt i verkligheten.

Allt detta behöver ju inte leda fram till att man låter bli att införa ett jobbskatteavdrag - den vetenskap som ligger bakom den politik som fördes innan kan ju angripas på precis samma sätt. Men det är klokt att vara rätt ödmjuk inför kunskapsläget. Sedan får väl politiken tillåtas ha sitt språk och vetenskapen sitt. Jag har inga invändningar mot att Anders Borg säger att jobbskatteavdraget ger si och så många fler jobb, men den som sitter på ett universitet kanske ska uttrycka sig på ett annat sätt, även om man riskerar att sänka intresset för resultaten man presenterar.

[daniel]

So the issue here is one of causality. It's really very difficult to maintain the position that we get anywhere near to saying anything about causality with poorly identified designs. In other words, the cost effectiveness argument is not a particularly good one. Indeed, the fact that you make that argument really speaks to the point I was trying to make. If you don't have identification, you're likely wasting resources in trying to answer the big questions --- if you think causation is important. And we probably do.

And please don't confuse "small" questions with "uninteresting" questions.

In any case, you'e right that employing lots of different approaches is a good idea.