Om Fokus Kommunrankning

Det har uppstått en debatt om rangordningar och kvalitetsmått för svenska kommuner. Ett sätt att förstå utvecklingen är nog att tidskrifter och opinionsinstitut och intresseorganisationer har förstått hur lätt det är att få massor av uppmärksamhet på att kvantifiera och rangordna – men de har inte alltid koll på alla metodproblem som uppstår när man ska mäta välfärd, effektivitet, kvalitet och liknande.

Här är en nyckelpassage från Gissur Erlingssons och Anders Sundells långa inlägg i frågan (en kortversion publicerades på DN-debatt)

Medan Lärarförbundets ranking belönar kommuner som har höga kostnader oavsett resultat, belönar den här rankingen [Dagens Samhälles rankning av landets skolkommuner] kommuner som dels har låga kostnader per elev totalt sett, men också dem som lägger pengar på annat än undervisning: Andel av kostnaden som läggs på undervisning ingår som en insatsfaktor. Givet en viss resultatnivå ökar alltså effektiviteten enligt det här måttet om pengar omfördelas från undervisning till lokaler

Vad gäller Fokus kommunranking, pekar de på att förändringarna i rangordning från år till år tycks drivas av återgång till medelvärdet.

Jag skulle vilja tillfoga två mer fundamentala frågor:

1. Fokus skriver själva att indexet förändras från år till år. “Variabler läggs till och försvinner”. Varför gör man då en stor poäng av att rangordningen förändras från år till år?

I år bytte man ut skilsmässor mot bredbandstillgång, vilket är två tämligen olika fenomen. Förändringen som sådan finns det goda argument för: Det är inte självklart att låga skilsmässotal är något positivt, exempelvis om människor stannat i äktenskap där de vantrivs för att de anses skamligt att skilja sig.

Men hur mycket av de rubrikgenererande förändringar av rangordningen beror på denna metodförändring? Kan det tänkas att Habo i bibelbältet är bättre på att hålla ihop äktenskap än på bredbandstäckning?

Kommunalrådet tycks ha snarlika misstankar (ur Jönköpings-Posten 17 maj):

och – mycket riktigt – på sid 27 bekräftar Fokus Martin Ahlquist orsaken bakom Habos ras. Det är inte bara Habo som missgynnas av att skilsmässor tagits bort ur indexet:

2.  Varför lägger Fokus inte ut datafilen med alla underliggande data (likt exempelvis the Guardians data store)?

Det skulle vara en folkbildande välgärning ty då alla kunna se vilka faktorer som förklarar relativa förändringar, man skulle kunna göra nya index och det skulle snabbt visa sig hur stor betydelse metodvalen har.

(Tack till Anders Sundell som skickade mig pdf-filer från Jönköpings-Posten)

Comments

[Per Tryding]

ja, Gissur Erlingssons och Anders Sundells analys av olika rankings var intressant. Deras huvudslutsats var att "Fokus kommunrankning visar alltså i viss mån på verkliga skillnader mellan kommunerna" och att "Det är emellertid inte tillräckligt precist för att man ska dra för stora växlar på förändringar från år till år, då dessa förändringar ofta återställs året därpå."

Om en slumpvist utvald ekonom spelar tennis 100 gånger med Nadal kommer Nadals monotont förutsägbara segersvit INTE att träffas av fenomenet regression to the mean. Slumpvariansen ("luck") är en försvinnande liten del av förklaringen till segersviten. Om två ekonomer spelar tennis, kan däremot slumpen spela större roll som förklarande faktor och då uppträder mer troligt regression to the mean.

Men det betyder inte att det saknas förklarande variabler i det senare fallet. Innan man vet vilka dessa är får man vara beredd att justera mätvariabler och till slut kanske acceptera att det inte går att förklara all varians. Men det gör inte försöken och debatten runt dem ointressanta. Personligen tror jag det senare är viktigt i sig.

/Per Tryding