Senaste poster
Populära
Google Scholar
« Social Science Quarterly | Main | Spaningar på väg till USA »
onsdag
maj232007

Caroline Hoxby, skolkonkurrensen och den omstridda IV-skattningen

Lite akademiskt skvaller: Två Harvard-profiler har nyligen hamnat i blåsväder för att deras forskning ifrågasatts.

Caroline Hoxby har forskat om kvalitetseffekten av ökad konkurrens mellan skolor. Fler skoldistrikt borde betyda högre konkurrens vilket borde ge bättre kvalitet. Kruxet är bara att sannolikt påverkar även skolornas kvalitet hur politikerna delar in skoldistrikten.

Det fina med Hoxbys artikel var att hon löste endogenitetsproblemet så elegant: Städer med många floder hade av naturliga skäl fler distrikt, och floder måste rimligen betraktas som exogena i sammanhanget. Smart och innovativt nog för American Economic Review.

Snart kom problem. En ung Jesse Rothstein ville testa Hoxbys analys men fick inte tillgång till data. När han väl fick det, var det inte samma data som Hoxby först använt. Och resultaten blev inte alls lika tydliga längre.

När debatten kommenterades på olika bloggar för två år sedan, samt omskrevs i Wall Street Journal, var bilden att lekmän omöjligt kunde avgöra vem som hade rätt.

På Harvard tycks stämningen snarast vara att Hoxby tog rejält med skada, inte nödvändigtvis av misstaget (som tydligen bland annat involverade ett felprogrammerat cluster-kommando i stata), utan av det sätt på vilket hon hanterade situationen: Hoxby nästan idiotförklarade Rothstein i sitt svarhans kritik:
In this paper, I discuss every claim ofany importance in the comments. I show that every claim is wrong. Ialso discuss a number of Rothstein's innuendos - that is, claims thatare made by implication rather than with the support of explicitarguments or evidence. I show that, when held up against the evidence,each innuendo proves to be false. [...] All of the data and code used in Hoxby(2000) are available to other researchers. An easy-to-use CD providesnot only extracts and estimation code, but all of the raw data and thecode for constructing the dataset
En som klarade sig bättre än Hoxby ur en liknande knipa var Steven D Levitt. Hans teori om att fri abort förklarar dagens fallande brottslighet i USA fått massor av kritik, delvis uppenbarligen helt motiverad. Levitt är dock snäppet mer ödmjuk i sin kommentar:
In this reply, we regretfully acknowledge the omission of state-year interactions in the published version of that table, but show that their inclusion does not alter the qualitative results (or their statistical significance), although it does reduce the magnitude of the estimates
Uppenbar sensmoral: Forska om kontroversiella frågor, men lämna ut data, var ödmjuk och var ärlig.

PrintView Printer Friendly Version

EmailEmail Article to Friend

Reader Comments (7)

Jag trodde att den naturliga slutsatsen var att kvinnor uppenbarligen diskrimineras i forskarvärlden. ^^
24 maj | Unregistered CommenterErik
Skojig kommentar, Erik!

En skillnad mellan de båda bataljerna är möjligen att Hoxby ertappats med uppenbara fel medan Levitt bara utsatts för känslighetsanalys.

Vidare gissar jag att Hoxby drivs av en stark ideologisk övertygelse om att hennes hypotes är riktig oavsett om den dyker upp i hennes resultat. Det kanske är svårare att vara ödmjuk från en sådan utgångspunkt.

Det är svårt att tänka sig att Levitt har en lika stark ståndpunkt - tvärtom har han väl försökt sälja in sig som något så exotiskt som en "objektiv" samhällsvetare.
24 maj | Unregistered CommenterMartin
Martin, många skulle hävda detsamma om Rothstein; han är övertygad om att konkurrens inte har positiva effekter, sannolikt var det därför han ville granska hennes data närmare. Sedan hittade han en rejäl tabbe.

Men visst är det intressant att det är lättare att vara ödmjuk om man försöker ha imagen "objektiv samhällsvetare" (apropå debatten om objektivitet är möjligt/önskvärt inom samhällsvetenskapen)
24 maj | Unregistered Commenterbergh
Jesse måste vara son till Bo.
24 maj | Unregistered CommenterRob
Rob, i så fall är han adopterad.
25 maj | Unregistered Commentervarnson
Martin, det du skriver om kanslighetsanalys ar helt fel. Bada forfattarna hade uppenbara fel i sin kod.
30 maj | Unregistered CommenterDavid
Hm... du har nog rätt i viss mån. Skillnaden är dock att Levitt och Donohue förmodligen hade kunnat publicera sitt papper även om man inte gett sken av att man korrigerat för state/year-effekter. Att inte ta hänsyn för dessa är en helt klart en brist men inget egentligt "fel".

Däremot är det svårt att se hur Hoxby hade kunnat få igenom ett papper med systematiska fel i kodning av data och i Stata-kod.

Fast låt för all del den som aldrig slarvat med en regression kasta den första stenen.
30 maj | Unregistered CommenterMartin

PostPost a New Comment

Enter your information below to add a new comment.

My response is on my own website »
Author Email (optional):
Author URL (optional):
Post:
 
All HTML will be escaped. Hyperlinks will be created for URLs automatically.