Alle siteringer er like, men noen siteringer er likere enn andre

Hva betyr det egentlig når du blir sitert i en forskningsartikkel? Hvordan skal man vurdere verdien av en sitering? En ny rangering av ofte siterte forskere gjør disse spørsmålene aktuelle.

All forskning bygger på annen forskning, og forskere forventes å gjøre det klart hvor de har hentet ideer fra andres arbeid. Dette gjør de ved å sitere andres arbeid, og i forskningslitteraturen er det over tid utarbeidet en formell måte å gjøre dette på, sånn at forskningens påvirkning på annen forskning kan spores og telles. Det er faktisk en av hovedmålene med bibliometrien, å identifisere hvordan forskningslitteraturen henger sammen ved å se på siteringer.

Man skulle tro det var enkelt nok – tell opp hvor mange ganger forskjellige artikler (eller forskere, om man er mest interessert i hvem i stedet for hvilke) blir sitert, og ranger dem fra flest til færrest siteringer. Men så enkelt er det ikke. Det er flere ting som kan grumse til en sånn ryddig oversikt, og her skal vi ta en titt på hvordan noen av dem har påvirket en ny rangering av høyt siterte forskere, hvor enkelte av dem kan synes å ikke egentlig ha så mange siteringer.

Highly cited?

Clarivate Analytics, selskapet bak forskningsdatabasen Web of Science, lanserte nylig 2017-utgaven av sin årlige kåring av forskerne som har blitt mest sitert det siste året, Highly Cited Authors. På årets liste finner vi blant annet fire forskere fra NTNU. Tre av disse, May-Britt Moser, Edvard Moser og Kristian Hveem, er neppe noen overraskelse – dette er akademiske superstjerner med over 100 publikasjoner og tusenvis av siteringer. Men den fjerde forskeren på denne listen er førsteamanuensis ved Institutt for marin teknikk Josef Kiendl, som har 20 publikasjoner i Web of Science, og under en tidel av siteringene til folk som Moser og Hveem. Samtidig har NTNU forskere med titusenvis av siteringer som ikke regnes som høyt siterte. Hvordan kan dette ha seg? Vel, det er fordi alle siteringer ikke er like mye verdt. Hvorfor? Det skyldes fire momenter, som jeg skal bruke resten av denne posten på.

Forskjeller i fagfelt

En av tingene som gjør det komplisert å bare telle opp siteringer er forskjellene i siteringspraksis mellom fagfelt. Det varierer nemlig ganske mye hvordan forskjellige fagfelt refererer i sine publikasjoner. Dette gjelder måten man siterer andre på, men aller mest hvor mange referanser en typisk artikkel i et fagfelt har. Innen medisin er gjennomsnittlig antall referanser over førti, mens innen matematikk er snittet rett under seks referanser (Leydesdorff og Bornmann 2011). Da er det kanskje ikke så unaturlig å si at det å bli sitert som en av få i en matematikk-artikkel bør veie litt tyngre enn å være en av mange referanser i en kildetung litteraturgjennomgang i biomedisin?

Dette kan korrigeres for med en form for feltvekting av siteringer. En vanlig metode er å regne ut hvor mange siteringer en artikkel i et gitt fagfelt får i gjennomsnitt, og så se på hvor mye bedre (eller dårligere) en gitt artikkel gjør det i forhold til det gjennomsnittstallet. Clarivate regner i følge deres forbilledlig åpne metodebeskrivelse en høyt sitert publikasjon for å være blant de 1 % mest siterte artikler innen sitt fagfelt for en gitt periode.

Konsistens

Det holder ikke bare å ha skrevet én god artikkel som blir sitert mye. Det publiseres så mye at 1 % utgjør over 130 000 artikler – det ville blitt en lang liste. Derfor ser Clarivate på forskere som over en kort periode har produsert mange slike artikler. Helt konkret har man rangert forfattere i hvert felt etter hvor mange toppartikler de har og så brukt kvadratroten av antall forskere innen feltet som en terskelverdi for inkludering i listen. Vår venn Kiendl har hele seks artikler inne på topp 1 %, og det utgjør nesten en tredel av alle artiklene han skrev i den gjeldende perioden. Det er ganske imponerende, og mer enn godt nok for å være med i dette selskapet.

Medforfatterskap

En av de store diskusjonene innen bibliometrien er hvordan man skal vurdere verdien av en sitering når det er flere forfattere på en publikasjon. Noen artikler har hundrevis og til og med tusenvis av forfattere, og i vanlig telling av siteringer får hver av dem én sitering når publikasjonen dukker opp i en litteraturliste. Det betyr at siteringer av artikler med mange forfattere, hvor de fleste har små bidrag til artikkelen, fortsatt bidrar med en hel sitering til samtlige forfattere. For å ta et eksempel: Publikasjonen med verdensrekorden i antall forfattere, en fysikkartikkel som beskriver en ny beregning av massen til Higgs-bosonet (Aad et al. 2015), har 5154 forfattere. Artikkelen er på ni sider, og listen med forfatternavn og deres institusjoner er på 24. Den har blitt sitert 341 ganger så langt, og det betyr at med tradisjonell telling blir det telt over 1,7 millioner siteringer for denne publikasjonen! Ingen eneforfattede artikler vil noen gang komme i nærheten av slike tall.

Diskusjonen går altså på om ikke en sitering inn til en artikkel bør deles på antall forfattere, såkalt fraksjonalisering. Da vil kanskje belønningen stå i stil med innsatsen på publikasjonen. Samtidig kan det være mye arbeid for hovedforfatterne av en publikasjon, og å bli avspist med 0.02 % av en sitering hver gang noen refererer til artikkelen du har brukt månedsvis på kan virke knuslete. Med fraksjonalisering vil hovedforfatterne av Higgs-artikkelen ha klart å «tjene opp» 0.06 siteringer på to år. Med den hastigheten vil det gå 33 år til før de har fått en hel sitering. Det er noe selv den mest obskure eneforfatter ikke vil ha problemer med å slå.

Så dette gir seg ikke selv. Clarivate løser akkurat denne hodepinen med å telle på den tradisjonelle måten og heller bruke løsningen med å bare ha med en liten andel av de mest siterte (som beskrevet over) som et vern mot masseforfattede artikler.

Tidens tann

Antall siteringer kan være et tvetydig tall å operere med, ikke minst fordi det alltid er i endring. Det er ingen tidsbegrensning på hvor langt tilbake i tid en sitering kan gå – denne posten siterer for eksempel en bok fra 1965. Det betyr at publikasjoner akkumulerer siteringer over tid, og dette ville i en ren telling være fordelaktig for eldre publikasjoner. Derfor er det vanlig å operere enten med et såkalt «siteringsvindu», for eksempel antall siteringer oppnådd tre år etter publisering, eller ved å kun sammenligne publikasjoner med andre publisert samme år. Det er den siste metoden Clarivate bruker, mens en måling som Leiden-rankingen bruker slike rullerende vindu på tre år.

Konklusjon

Så hva betyr dette for vurderingen av hvem som skal regnes som høyt siterte forskere? Det er ikke så lett å si. Som det forhåpentligvis kommer fram av gjennomgangen over er det mange måter å telle siteringer på, og man får frem forskjellige aspekter ved vitenskapelig publisering ved å bruke en metode framfor en annen. I denne posten presenterte jeg metodikken bak én spesifikk rangering, men ved å bruke for eksempel andre siteringsvinduer eller andre kriterier for valg av fagfelt eller persentiler ville man få en annen liste.

Det viktigste budskapet er at det ikke holder å bare telle opp siteringer forskere får – man må se på hvilket fagfelt de opererer innenfor, hvor mange de publiserer sammen med, hvor mange av deres publikasjoner som får virkelig mange siteringer, og hvor lenge det er siden publikasjonene kom ut.

PS. Angående tittelbildet på denne posten: det er en snedig ironi i Newtons berømte sitat om å stå på kjempers skuldre. Han siterer nemlig bare munken John av Salisbury fra midten av 1200-tallet, som siterer munken Bernard av Chartres fra femti år før, som muligens har hentet sitatet fra en kilde helt tilbake på 600-tallet. I det minste er det det man tror, i følge Merton (1965). Så sitatet om kjemper har selv noen egne kjemper et eller annet sted i historien…

Referanser

Aad, G. et al. 2015. Combined Measurement of the Higgs Boson Mass in $pp$ Collisions at $\sqrt{s}=7$ and 8 TeV with the ATLAS and CMS Experiments. Physical Review Letters, 114, 191803. Denne artikkelen har åpen tilgang.

Leydesdorff, L. og Bornmann, L. 2011. How fractional counting of citations affects the impact factor: Normalization in terms of differences in citation potentials among fields of science. Journal of the American Society for Information Sciences, 62: 217–229. doi:10.1002/asi.21450. Merk: Det fins en åpen versjon av denne artikkelen.

Merton, R.K. 1965. On the Shoulder of Giants: A Shandean Postscript. New York: The Free Press.

Henrik Karlstrøm

Jeg er ansatt som bibliometriker ved NTNUs universitetsbibliotek. Jobben min er å analysere data som har med publisering av forskning å gjøre - det kan være alt fra å holde styr på antallet publikasjoner til siteringstrender eller analyser av hvem NTNUs forskere samarbeider med. Innimellom skriver jeg litt om hva jeg holder på med.