Er fagfellevurderingen moden for revisjon?

11.–17. september 2017 er den internasjonale Peer Review Week – en uke der fagfellevurdering innen vitenskapelig publisering løftes frem og diskuteres. Hovedtema denne gangen er såkalt åpen fagfellevurdering.

Fagfellevurdering er selve hjørnesteinen i den vitenskapelige kommunikasjonen. En fagfelle i denne sammenhengen er en uavhengig ekspert som kvalitetssikrer en forskningspublikasjon på faglig og vitenskapelig nivå.

Det er bred enighet om at fagfellevurdering er viktig for kvalitetssikring av vitenskapelig publisering, men det diskuteres nå om ordningen vil fungere bedre dersom det blir større åpenhet rundt både vurderingen og fagfellens identitet.

Med skjult identitet

Fagfellevurdering slik vi kjenner den i dag, har ikke så lang tradisjon (1). Vitenskapssamfunnet The Royal Society i England var først ute med dette. I 1832 opprettet de en gruppe med uavhengige fagfolk som skulle vurderer artikler for tidsskriftet Philosphical Transactions.

Prosessen var likevel for kostbar og tidkrevende til at den ble særlig utbredt blant vitenskapelige tidsskrifter.

Først på 1950-tallet, med kopimaskinenes inntog og økt antall forskere, ble det enklere og viktigere for tidsskrifter å være mer kritiske til hva som skulle publiseres.

Tradisjonelt er fagfellevurderingen anonym. Enten er både forfatteren og fagfellen anonyme for hverandre, eller fagfellen er anonym for forfatteren.

Anonymiteten skal sikre en så ærlig og objektiv kritikk som mulig. I små fagkretser kan ofte både forfatter og fagfelle gjette seg til den andres identitet, og flere mener derfor at anonymitet er bortkastet.

Likevel er anonym fagfellevurdering fortsatt mest utbredt.

I en forskningsverden der trenden går mot mer åpenhet, både når det gjelder forskningsdata og artikkeltilgang, mener flere det er på tide med mer åpenhet rundt den faglige og vitenskapelige kvalitetssikringen.

Hvor åpent?

Det finnes fortsatt ingen standard definisjon av åpen fagfellevurdering. Graden av åpenhet varierer derfor mye.

En tolkning av «åpen» er at fagfelle og forfatter kjenner hverandres identitet. Andre går lengre og publiserer navn på fagfelle sammen med publikasjonen.

Enda mer åpent blir det når fagfellevurderingene publiseres sammen med publikasjonen, som for eksempel hos BioMed Central og British Medical Journal.

I den mest ekstreme formen for åpen fagfellevurdering publiseres artikkelen med adgang til at alle kan kommentere og vurdere det som er publisert i etterkant, som for eksempel hos F1000Prime.

Nødvendigheten av fagfellevurdering har blitt diskutert helt siden ordningen ble tatt i bruk.

Negative sider som er trukket frem, er at den er tidkrevende, dyr og subjektiv, at den lett kan misbrukes for å fremme egen forskning, og at det fortsatt er vanskelig å oppdage feil. Kan man egentlig stole på at fagfellene gjør en god jobb i vurderingene sine?

På slutten av 1990-tallet gjorde Baxt et al. (2) et eksperiment hvor et manuskript med noen større og noen mindre feil ble sendt til alle fagfellene i tidsskriftet Annals of Emergency Medicine.

To tredjedeler av de større feilene ble ikke oppdaget av fagfellene, feil som kunne bety liv eller død.

Mange tidsskrifter evaluerer sine fagfeller og rangerer dem etter kvalitet på vurderingene, men er det nok for å unngå at feil som kan være fatale, blir publisert? Kan mer åpenhet rundt fagfelleprosessen løse dette problemet?

Åpenhet forplikter

I 1998 publiserte van Rooyen et al. (3) resultater fra en randomisert studie, gjennomført hos British Medical Journal (BMJ). Den viste at det ikke var noen kvalitetsforskjell på anonym og åpen fagvurdering.

Som følge av denne studien begynte BMJ å gjøre fagfellens navn kjent for forfatter (4). Selv om kritikerne var skeptiske, opplevde ikke BMJ noen nedgang i innsendte manuskripter, eller i antallet fagfeller som ville vurdere artikler for dem. I dag publiseres fagfellevurderingene sammen med publikasjonen i BMJ.

Det som taler for å bruke en åpen fagfellevurdering, er at fagfellen ofte vil gjøre grundigere arbeid, særlig når vurderingen publiseres og skal leses av flere.

Noen mener også at fagfellene kommer med mer konstruktiv kritikk enn hvis de hadde vært anonyme.

Det kanskje viktigste argumentet for åpen fagfellevurdering er at fagfellene kan bli kreditert for arbeidet de har gjort. Når fagfellevurderingen publiseres sammen med publikasjonen, kan den bidra til å fremme fagfellens forskningskarriere. Den kan til og med siteres.

Feig og forsiktig?

Hovedargumentet mot åpen fagvurdering er at unge forskere ikke vil tørre å kritisere en seniorforskers arbeid i frykt for represalier eller egen forskningskarriere.

Andre spår at det vil øke antall antatte artikler som publiseres, fordi fagfeller vil være mer tilbøyelige til å anbefale revisjon enn å refusere en artikkel.

Enda et argument mot åpenhet er at fagfeller vil bruke mer tid, fordi de ønsker å ordlegge seg riktig dersom fagfellevurderingen skal publiseres. Det vil forsinke prosessen.

Uavhengig av metoden som brukes for fagfellevurdering, er det redaktøren som til syvende og sist skal ta den endelig beslutningen om å publisere en artikkel eller en bok. Ved åpen fagfellevurdering vil det også være redaktørens ansvar å vurdere om en fagfelle er ærlig i sin vurdering, eller om den er for subjektiv.

Universitetsforlaget praktiserer i dag anonym fagfellevurdering i alle sine vitenskapelige utgivelser, men vi følger nysgjerrig med på utviklingen. Det avgjørende for oss er at det finnes gode rutiner for solid og grundig faglig kvalitetssikring av forskningsresultater.

Litteratur:

1. Spier, R. (2002). The history of the peer-review process. Trends in Biotechnology, 357-8.
2. Baxt, W. G., Waeckerle, J. F., Berlin, J. A. & Callaham M. L. (1998). Who reviews the reviewers? Feasibility of using a fictitious manuscript to evaluate peer reviewer performance. Annals of Emergency Medicine, 310–7.
3. van Rooyen, S., Godlee, F., Evans, S., Smith, R. & Black, N. (1998). Effect of blinding and unmasking on the quality of peer review: a randomized trial. JAMA 280: 234–7.
4. Smith R. Opening up peer review. BMJ. 1999; 318: 4.