Kategorier
Research UBrss

Altmetrics, del 2: Hvordan kan det (mis)brukes?

I forrige innlegg i miniserien om altmetrics her på bloggen diskuterte vi hvordan det er en forskjell på det å bli lest og sitert i den akademiske verden og det å utløse engasjement i den utvidete vitenskapelige offentligheten – de som er interesserte i, følger med på og forholder seg til ny forskning som ikke nødvendigvis selv er forskere innenfor feltet. Vi så hvordan den tradisjonelle måten å måle vitenskapelig innflytelse på, siteringer i vitenskapelige publiseringskanaler, ikke fanger opp alle måtene en publikasjon kan sette spor på, og hvordan altmetrics som måler interaksjoner med en vitenskapelig publikasjon kan være et nyttig supplement for å forstå hvordan vitenskap leses og påvirker resten av verden.

I dette innlegget skal jeg gå litt mer inn på hvordan vi måler engasjement og interaksjoner med vitenskapelige publikasjoner og hva dette kan si oss om kvalitet og innflytelse for et stykke akademisk arbeid.

Altmetrics (huh!), hva er det godt for?

Hvordan vet vi egentlig om forskningen vår leses, deles og påvirker andres arbeid? Det har lenge vært stor interesse for å spore hvordan et vitenskapelig arbeid kan spores i annen vitenskapelig produksjon, og måter å måle vitenskapelig innflytelse gjennom å telle for eksempel siteringer og oppføringer i vitenskapelige databaser er noe av grunnlaget for faget bibliometri. Samtidig er det klart at forskning kan ha en effekt også utenfor akademia, og i takt med at kravet om samfunnsrelevans for forskning blir sterkere har behovet for å også identifisere slik påvirkning meldt seg.

Innen altmetrics bruker man ofte begrepet interaksjoner som en indirekte måte å fange denne påvirkningen. En interaksjon kan være at et vitenskapelig arbeid (en artikkel, rapport eller faglig presentasjon) blir diskutert i en medieartikkel, en bloggpost, en patentsøknad eller en offentlig utredning, men også bare at det blir lest, lastet ned eller delt med andre lesere.

Eksempel på en leverandør av altmetriske data og de tallene de fanger opp og viser fram.

En av utfordringene med å måle altmetrics er rett og slett at kildetilfanget er enormt – langt, langt større enn den fortsatt store men klart definerte og avgrensede vitenskapelige publikasjonssfæren. Å skulle fange opp hver eneste tweet, Facebook-post eller nettaviskommentar som nevner en forskningspublikasjon ville innebære en nærmest total overvåkning av alt alle foretar seg på nettet. Dette er selvfølgelig umulig i seg selv, så det er utviklet en standard for å måle interaksjoner som både gjør det mulig å sammenligne publikasjoners altmetrikk og avgrenser interaksjonene til en slags vitenskapelig offentlighet som diskuterer akademisk arbeid på en mer eller mindre systematisk måte.

Vel og bra, men hva sier dette oss?

Kanskje det største spørsmålet som møter altmetrikk som metode er hva man egentlig får vite når man får opplyst antall interaksjoner til en publikasjon. Hva betyr det egentlig at noen hundre har diskutert artikkelen din på Twitter? Er det en spennende diskusjon, eller er det bare at noen deler den bløte vitsen du har sneket inn i abstractet?

Denne diskusjonen er ikke ny. Fra «tradisjonell» måling av vitenskapelige siteringer kjenner vi igjen diskusjonen om hva det egentlig vil si å bli sitert av en annen forsker. Er det nødvendigvis et udelt gode? Hva om du blir sitert fordi noen ønsker å kritisere arbeidet ditt? Selv om man ikke kan fange opp konteksten for en vitenskapelig sitering blir det generelt antatt at det å bli sitert bør regnes som et gode: for det første kan man si at også det å bli kritisert er et signal om at man har produsert noe som fortjener oppmerksomhet, men kanskje aller viktigst viser det seg at et overveldende flertall av siteringer (98 %, i følge Catalini, Lacetera og Oettl 2015) brukes for å hente legitimitet fra kilden eller gi sin støtte til innholdet.

Det samme kan man nok ikke si om altmetriske interaksjoner. Formålet med dem er jo ofte å åpne en offentlig diskusjon av noe, og offentligheten har ikke de samme sedvanene for å tildele oppmerksomhet og kreditering til vitenskapelig arbeid som akademia. Det er også mindre mulighet for forfatteren til å beholde kontrollen over hvordan arbeidet blir omtalt. Et godt eksempel på dette kan være følgende:

 

Artikkelen det er snakk om her (Culumber et al. 2014) – som tross alt har oppfylt kvalitetskriteriene til et rennomert vitenskapelig tidsskrift – har blitt sitert av en akademisk publikasjon tre ganger, og tweetet om 6500 ganger…

Altmetrisk kvalitet

Så kan vi si noe om hvor mye en interaksjon er verdt? Som vi ser over er mange interaksjoner i seg selv ikke er noen garanti for kvalitet. Når det er sagt er det en grunn til at det er stor interesse for altmetrikk i forskningsmiljøene. De festlige eksemplene i denne posten tilhører sjeldenhetene, og det er indikasjoner på sammenhenger mellom det å bli mye diskutert sosialt og det å ha akademisk innflytelse (Das og Mishra 2014).

De fleste syns det er stas at andre leser og lar seg engasjere av det de jobber med. Å skrive artikler og bøker kan være ensomt arbeid, og det er alltid usikkert når man slipper en publikasjon ut i verden om det er noen som vil plukke det opp og benytte seg av det. Å kunne spore interaksjoner er en god måte å følge med på og ta del i den offentlige samtalen om eget arbeid. Hvor mye dette er verdt er det ingen enkel måte å svare på, så vurderingen av altmetrikk blir litt opp til den enkeltes appetitt for å bli målt på enda en indikator i sin forskerhverdag.

Med det i mente: I neste og siste innlegg om altmetrikk skal vi se litt på hvordan disse tallene kan brukes og misbrukes i vurderingen av en forskers arbeid.

Referanser

Catalini, C., N. Lacetera and A. Oettl. 2015. The incidence and role of negative citations in science. Proceedings of the National Academy of Sciences, 2015 112 (45) 13823-13826, doi:10.1073/pnas.1502280112.

Culumber, Z. W., Bautista-Hernández, C. E., Monks, S., Arias-Rodriguez, L. and Tobler, M. (2014), Variation in Melanism and Female Preference in Proximate but Ecologically Distinct Environments. Ethology, 120: 1090–1100. doi:10.1111/eth.12282.

Das, Anup Kumar and Mishra, Sanjaya, Genesis of Altmetrics or Article-Level Metrics for Measuring Efficacy of Scholarly Communications: Current Perspectives (August 1, 2014). Available at SSRN: https://ssrn.com/abstract=2499467 or http://dx.doi.org/10.2139/ssrn.2499467.

Av

Jeg er ansatt som bibliometriker ved NTNUs universitetsbibliotek. Jobben min er å analysere data som har med publisering av forskning å gjøre - det kan være alt fra å holde styr på antallet publikasjoner til siteringstrender eller analyser av hvem NTNUs forskere samarbeider med. Innimellom skriver jeg litt om hva jeg holder på med.

Legg igjen en kommentar