onsdag
maj232007
Caroline Hoxby, skolkonkurrensen och den omstridda IV-skattningen
23 maj 2007, kl 20:22 | Lite väl akademiskt
Lite akademiskt skvaller: Två Harvard-profiler har nyligen hamnat i blåsväder för att deras forskning ifrågasatts.
Caroline Hoxby har forskat om kvalitetseffekten av ökad konkurrens mellan skolor. Fler skoldistrikt borde betyda högre konkurrens vilket borde ge bättre kvalitet. Kruxet är bara att sannolikt påverkar även skolornas kvalitet hur politikerna delar in skoldistrikten.
Det fina med Hoxbys artikel var att hon löste endogenitetsproblemet så elegant: Städer med många floder hade av naturliga skäl fler distrikt, och floder måste rimligen betraktas som exogena i sammanhanget. Smart och innovativt nog för American Economic Review.
Snart kom problem. En ung Jesse Rothstein ville testa Hoxbys analys men fick inte tillgång till data. När han väl fick det, var det inte samma data som Hoxby först använt. Och resultaten blev inte alls lika tydliga längre.
När debatten kommenterades på olika bloggar för två år sedan, samt omskrevs i Wall Street Journal, var bilden att lekmän omöjligt kunde avgöra vem som hade rätt.
På Harvard tycks stämningen snarast vara att Hoxby tog rejält med skada, inte nödvändigtvis av misstaget (som tydligen bland annat involverade ett felprogrammerat cluster-kommando i stata), utan av det sätt på vilket hon hanterade situationen: Hoxby nästan idiotförklarade Rothstein i sitt svar på hans kritik:
Caroline Hoxby har forskat om kvalitetseffekten av ökad konkurrens mellan skolor. Fler skoldistrikt borde betyda högre konkurrens vilket borde ge bättre kvalitet. Kruxet är bara att sannolikt påverkar även skolornas kvalitet hur politikerna delar in skoldistrikten.
Det fina med Hoxbys artikel var att hon löste endogenitetsproblemet så elegant: Städer med många floder hade av naturliga skäl fler distrikt, och floder måste rimligen betraktas som exogena i sammanhanget. Smart och innovativt nog för American Economic Review.
Snart kom problem. En ung Jesse Rothstein ville testa Hoxbys analys men fick inte tillgång till data. När han väl fick det, var det inte samma data som Hoxby först använt. Och resultaten blev inte alls lika tydliga längre.
När debatten kommenterades på olika bloggar för två år sedan, samt omskrevs i Wall Street Journal, var bilden att lekmän omöjligt kunde avgöra vem som hade rätt.
På Harvard tycks stämningen snarast vara att Hoxby tog rejält med skada, inte nödvändigtvis av misstaget (som tydligen bland annat involverade ett felprogrammerat cluster-kommando i stata), utan av det sätt på vilket hon hanterade situationen: Hoxby nästan idiotförklarade Rothstein i sitt svar på hans kritik:
In this paper, I discuss every claim ofany importance in the comments. I show that every claim is wrong. Ialso discuss a number of Rothstein's innuendos - that is, claims thatare made by implication rather than with the support of explicitarguments or evidence. I show that, when held up against the evidence,each innuendo proves to be false. [...] All of the data and code used in Hoxby(2000) are available to other researchers. An easy-to-use CD providesnot only extracts and estimation code, but all of the raw data and thecode for constructing the datasetEn som klarade sig bättre än Hoxby ur en liknande knipa var Steven D Levitt. Hans teori om att fri abort förklarar dagens fallande brottslighet i USA fått massor av kritik, delvis uppenbarligen helt motiverad. Levitt är dock snäppet mer ödmjuk i sin kommentar:
In this reply, we regretfully acknowledge the omission of state-year interactions in the published version of that table, but show that their inclusion does not alter the qualitative results (or their statistical significance), although it does reduce the magnitude of the estimatesUppenbar sensmoral: Forska om kontroversiella frågor, men lämna ut data, var ödmjuk och var ärlig.
Reader Comments (7)
En skillnad mellan de båda bataljerna är möjligen att Hoxby ertappats med uppenbara fel medan Levitt bara utsatts för känslighetsanalys.
Vidare gissar jag att Hoxby drivs av en stark ideologisk övertygelse om att hennes hypotes är riktig oavsett om den dyker upp i hennes resultat. Det kanske är svårare att vara ödmjuk från en sådan utgångspunkt.
Det är svårt att tänka sig att Levitt har en lika stark ståndpunkt - tvärtom har han väl försökt sälja in sig som något så exotiskt som en "objektiv" samhällsvetare.
Men visst är det intressant att det är lättare att vara ödmjuk om man försöker ha imagen "objektiv samhällsvetare" (apropå debatten om objektivitet är möjligt/önskvärt inom samhällsvetenskapen)
Däremot är det svårt att se hur Hoxby hade kunnat få igenom ett papper med systematiska fel i kodning av data och i Stata-kod.
Fast låt för all del den som aldrig slarvat med en regression kasta den första stenen.