Om topptidskrifter, open access och forskares incitament

Cellforskaren och en av 2013 års Nobelpristagare i medicin Randy Schekman skriver i The Guardian att topptidskrifter (Nature, Cell, Science) skadar naturvetenskapen:

These luxury journals are supposed to be the epitome of quality, publishing only the best research. Because funding and appointment panels often use place of publication as a proxy for quality of science, appearing in these titles often leads to grants and professorships. But the big journals' reputations are only partly warranted. While they publish many outstanding papers, they do not publish only outstanding papers. Neither are they the only publishers of outstanding research.

Han menar att de bästa tidskrifterna av statusskäl publicerar mindre än de skulle kunna:

These journals aggressively curate their brands, in ways more conducive to selling subscriptions than to stimulating the most important research. Like fashion designers who create limited-edition handbags or suits, they know scarcity stokes demand, so they artificially restrict the number of papers they accept.

Strävan efter toppubliceringar gör att forskare styrs mot att göra trendig forskning snarare än viktig, menar Schekman som nu deklarerat att hans labb bojkottar topptidskrifterna:

Randy Schekman says his lab will no longer send papers to Nature, Cell and Science as they distort scientific process … Schekman said pressure to publish in "luxury" journals encouraged researchers to cut corners and pursue trendy fields of science instead of doing more important work.

Schekman förordar istället ökad användning av open-access journals:

[these] are free for anybody to read, and have no expensive subscriptions to promote. Born on the web, they can accept all papers that meet quality standards, with no artificial caps.

Open-access journals har dock ett annat problem, som också diskuterats i The Guardian. I sann Sokal-anda skrev vetenskapsjournalisten John Bohannon en bluff-artikel – som blev accepterad i 157 olika open-access journals:

Bohannon … submitted around 10 articles per week to open access journals that … requires the author to pay a fee if the paper is published. The "wonder drug paper" as he calls it, was accepted by 157 of the journals and rejected by 98. Of the 255 versions that went through the entire editing process to either acceptance or rejection, 60% did not undergo peer review. Of the 106 journals that did conduct peer review, 70% accepted the paper.

Slutsats:

Det finns problem både med topptidskrifter och open-access tidskrifter. Topp-tidskrifter snedvrider incitamenten i riktning mot vad som är trendigt just nu, open access gör det möjligt att publicera mängder av nonsens som ingen någonsin läser. Därmed går det inte heller att bedöma en forskares insatser genom att räkna publikationer, vare sig totalt eller topp-10.

Som second best finns trots allt alternativet att räkna citeringar, snarare än publikationer. Förvisso  kan ett papper citeras flitigt för att det är fel, men sannolikheten att ett papper citeras av många för att det är fel är nog trots allt lägre än sannolikheten att ett bra papper citeras av många. (Jag tror att Johan Karlsson Schaffer varit inne på liknande tankar, men hittar ej relevant inlägg nu).

Slutligen påminns jag om vad McCloskey sade till mig en gång, om hur man vet om en forskare är duktig:

You actually have to read the papers!

Comments

[Peter Krantz]

Pudelns kärna ligger i slutsatsen. Att räkna citeringar kan ju orimligen vara bra för att kvalitetsbedöma forskning. Om en forskare skriver en artikel som blivit citerad massor av gånger för att den har haft en felaktig metod och slutsatserna är att betrakta som desinformation så är ju det knappast en merit.

Vi skulle behöva en tydligare modell för semantiken i citeringar för att kunna använda dem på ett vettigt sätt. Då skulle Bohannons spam-försök inte spela någon roll. Lika så kanske värdet av platsen för publiceringen minskar. Det skulle bli lite som på webben i stort: en stor graf med saker som pekar på varandra. Vissa är spam och kommer inte betraktas som relevanta.

[bergh]

Peter,

jag instämmer. Det första steget torde vara att undersöka empiriskt hur stor bias blir av att heltokiga papper citeras mycket. Som jag skrev misstänker jag att den inte är så stor, en rimligt nyfikenhetsdriven forskare tycker sannolikt det är roligare att spinna vidare på korrekta resultat och publicera nya resultat än att bemöta redan publicerade tokigheter, i varje fall tror jag att de flesta ägnar sig åt det förra i betydligt stor utsträckning.

Däremot blir det svårare att separera "bra" från "kontroversiell" när man räknar citeringar.

Och i slutändan kan man absolut tänka sig ett mått som bygger på nätverkscentralitet och överbryggande noder och grejor.

Något säger mig att man redan idag skulle kunna göra oerhört mycket mer med google scholar än vad som syns!

[Peter Krantz]

Precis! Tänk om citering kunde vara mer precis och dessutom ha en semantik som är maskinläsbar. Låt säga att flera forskare har använt citeringspekaren "förutsätter resultatet i papper X paragraf Y är sant". Då skulle vi direkt kunna se konsekvenserna om Y i papper X invaliderades av någon annan - ett slags nätverkseffekt. Vidare skulle dessa artiklar få mer push om Y i papper X validerades av fler. Tror det finns massor att göra här.

Blev nyfiken och Googlade och det är såklart flera som är inne på samma spår, bl.a. dessa: http://semanticpublishing.wordpress.com/

[bergh]

Intressant! Visst finns det en "lag" som säger att när man inser att något relativt enkelt och användbart skulle programmeras är det högst troligt att någon faktiskt redan gjort det för länge sedan?

För många år sedan funkade detta för mig nästan varje gång, men numera tycks mina tankar ligga aningen närmare fronten...

icke desto mindre: snart kan nog google scholar på försök rapportera en citation score som är justerad för supports/reviews/critiques.

[Viktualiebrodern]

Ett stort problem med tidskriftsartiklar är också att sammandraget utformats till att locka till läsning (och köp!) istället för att faktiskt sammanfatta resultatet/slutsatsen i artikeln.

Citeringar verkar också ofta användas för att ge "cred" till den egna artikeln, inte att man faktiskt använder resultatet i det man citerar.

Patentskrifter är så oerhört mycket bättre där, genom att sammandragen är strängt formaliserade. Även citeringarna är bättre, även om citeringar i USA i allmänhet är sämre. Två skäl till detta är att sökrapporterna dels gjorts av någon utomstående och dels inte alls är till för att ge artikeln "cred". Snarare tvärtom, för att skjuta nyhetsvärdet i sank.