CITATIES TELLEN: WAAR IS
DAT VOOR NODIG ?
Wetenschap en
Samenleving 42(6), 1990, 49-53
Loet Leydesdorff
Vakgroep
Wetenschapsdynamica, Nwe Achtergracht 166, 1018 WV AMSTERDAM
Met de kermis
komt ook de muziek mee! In de afgelopen tien jaar is de aandacht voor formele
evaluatie van onderzoek enorm toegenomen. Een voor de hand liggend hulpmiddel
daarbij zijn publicatie- en citatie-tellingen als zogenaamde
output-indicatoren.[1]
Het hele
idee van voorwaardelijke financiering van het onderzoek bijvoorbeeld, is
gebaseerd op systematische evaluatie.[2] Ook voor verkenningen ("sterkte/zwakte analyse") dient men
over output-indicatoren te beschikken.[3] In de meeste gevallen, zoals bijv. bij discipline-plannen, gaat het om
grote aantallen data en dan is het convenient om met statistische indicatoren
te werken.
Output-indicatoren
kan men gebruiken naast of in plaats van het kwaliteitsoordeel van collega's.[4] Met name bij belangrijke beleidsbeslissingen, zoals bijv. bezuinigingen,
komt men er met het oordeel van collega's ("peer review") niet altijd
uit, omdat men soms moet kiezen uit goed/ beter/ best of omdat verschillende
betrokkenen wel kunnen wijzen op positieve beoordelingen door andere collega's
en ten opzichte van andere referentie-kaders. Een beleidskeuze die soms nodig
is of althans gewenst wordt, blijft vaak met een legitimatie-probleem zitten:
waarom deze groep opheffen en die laten voortbestaan?
Voor de
politiek is het altijd buitengewoon prettig bij moeilijke keuzen te kunnen
wijzen op "objectieve maatstaven". Output-indicatoren schijnen die
maatstaven te leveren. Een eerste voor de hand liggende maatstaf is, wie er het
"productiefst" is? Dat kan men eenvoudig proberen vast te stellen
door bijvoorbeeld in de jaarverslagen aantallen publicaties te tellen. (In
allerlei verbanden wordt dit dan ook intensief gedaan!) De bekendste en meest
omstreden output-indicator is echter de citatie-telling met behulp van de Science
Citation Index.
Tegen
het (rechte) tellen van publicaties kan worden ingebracht, dat het bij
wetenschappelijk onderzoek niet alleen om aantallen, maar vooral om
"kwaliteit" gaat. "Citaties" zijn een voor de hand liggende
proxy voor kwaliteit. Weliswaar zal iedere wetenschapsonderzoeker
onmiddellijk toegeven, dat ze geen "kwaliteit", maar
"impact" meten. Omdat "kwaliteit" nu eenmaal niet te meten
is, moeten we het dan vervolgens maar doen met de meting van deze
"impact".
De
vraag is echter: wie is er geďnteresseerd in impact? Indien we niet in impact,
maar in kwaliteit geďnteresseerd zijn, ontkomen we derhalve niet aan de vraag,
of citaties als indicator voor "impact" ook een goede proxy kunnen
zijn voor "kwaliteit".
In deze
bijdrage wil ik het over dat punt hebben: wat weten we over citaties op zich?
Een volgende keer hoop ik nog eens in te gaan op het tellen van publicaties en
het gebruik van aggregaten van citaties voor het in kaart brengen van
wetenschap (bijv. door middel van zgn. co-citaties).
De scientometrie
is de wetenschap die zich bezighoudt met achtergrond kennis over kwantitatieve
gegevens over wetenschap en wetenschapsbeoefening. In een wetenschappelijk
onderzoek zijn kwantitatieve gegevens doorgaans een waarde van een variabele,
die is gespecificeerd vanuit een theoretisch model.[5] In het geval van citatie-gegevens, die ter beschikking zijn gekomen als
instrument bij het geautomatiseerde opzoeken van informatie, wordt deze
redenering eigenlijk omgedraaid: we pogen een (min of meer theoretisch)
perspectief te specificeren bij gegevens die we al hebben.
Scientometrisch
onderzoek kan zich natuurlijk ook bezig houden met "beter meten" of
met de statistische fout.[6] Ook is nu bijvoorbeeld genoegzaam bekend, dat men citatie-tellingen niet
mag vergelijken tussen disciplines: wiskundigen citeren nu eenmaal gemiddeld
minder dan biochemici, etc. Men moet altijd "like with like" (ceteris
paribus) vergelijken, zoals dat heet. Zolang we echter niet tot de
kernvraag doordringen, nl. wat de citatie-gegevens betekenen, blijven deze
resultaten van statistische analyses weinig doorzichtig. Ze leiden doorgaans
voornamelijk tot een pleidooi voor verdere professionalisering van
citatie-analyse.[7]
Nu, wat
zijn citaties? Citaties zijn in de eerste plaats een verwijzing in een tekst
naar een andere tekst. Ze zijn dus primair een relatie tussen teksten. In
tweede instantie kun je zeggen, dat daarmee ook een relatie tussen auteurs
ontstaat, omdat teksten nu eenmaal geschreven zijn. De auteur van de citerende
tekst citeert, of hij dat wil of niet, niet alleen een tekst van een andere
auteur, maar ook die auteur. Dit is natuurlijk extreem het geval bij een z.g.
"personal communication".
Het
onderscheid tussen tekst en auteur enerzijds en tussen citerend en geciteerd anderzijds
levert ons het volgende schema om verschillende theorieën over citaties
enigermate te ordenen:[8]
│ tekst
│ auteur │
citerend ->
┌───────────┼────────────────┼───────────────┤
│ tekst
│ I │ II │
├───────────┼────────────────┼───────────────┤
│ auteur
│ III │ IV │
└───────────┴────────────────┴───────────────┘
geciteerd
In vak
I vinden we de discursieve relatie die een citatie legt tussen twee
teksten. Deze kan onderwerp worden gemaakt van bijv. linguistische,
filosofische of historische analyses. In vak II gebruikt een auteur een andere
tekst in zijn tekst als een middel voor zijn argument. We hebben hier te maken
met een rhetorische relatie. In vak III wordt een auteur geciteerd in
een andere tekst (nog afgezien van wie er citeert). We kunnen hier aansluiten
bij theorievorming over het beloningssysteem ("reward system") in de
wetenschap. In vak IV ten slotte gaat het om een relatie tussen twee auteurs
als een sociale relatie, die in dit geval gelegd wordt door middel van
teksten. Hierop sluit theorie-vorming aan over wetenschap als een sociaal
systeem, waarin auteurs elkaar in termen van reputaties bevestigen.
Tussen
de vier functies die zo aan citaties kunnen worden onderscheiden bestaan geen
noodzakelijke, maar hooguit empirische samenhangen. De populariteit van
citatie-analyse in wetenschapsonderzoek en evaluatie-onderzoek is afkomstig van
het gemak waarmee in deze veelheid van betekenissen door de eenheid van het
begrip "citatie" van de ene systeem-referentie naar de andere kan
worden gesprongen. Bijvoorbeeld kan het aantal malen dat een tekst wordt
geciteerd, worden toegeschreven aan de impact van de geciteerde tekst en daarmee
aan de kwaliteit van de onderzoeker.
Het
onderscheid tussen relaties tussen teksten ("het communicatie-systeem in
de wetenschap") en relaties tussen auteurs ("het sociale systeem in
het wetenschapsbedrijf"), heeft echter als implicatie, dat de predictie
die op het ene type relatie kan worden gebaseerd, niet zonder meer mag worden
gegeneraliseerd tot het andere type relatie. Bijvoorbeeld: als we in staat zijn
de relevante onderscheiding te specificeren tussen vaak geciteerde en minder
vaak geciteerde teksten en op grond daarvan een predictie te doen over het type
tekst dat vaak geciteerd zou kunnen worden, is dat niet persé een relevant
onderscheid tussen onderzoekers. We moeten eerst nog aantonen, dat de twee
relevante functies zich gelijkvorming en synchroon ontwikkelen.
Dat is
echter niet waarschijnlijk. Dezelfde onderzoeker kan veel geciteerde teksten
schrijven en minder vaak geciteerde. Ook het verloop van het citatie-patroon in
de tijd ("wanneer wordt een piek bereikt?") zal afhankelijk zijn van
de specifieke documentstructuur waarin de tekst past en van de
specifieke sociale structuur van de onderzoeksgemeenschap en mogelijk
ook nog van de interactie van die twee.
Samen
met mijn collega Olga Amsterdamska heb ik vier vaak geciteerde teksten
van vier onderzoekers met hun promovendi (etc.) uit één researchgroep van het
Laboratorium voor Biochemie van de Universiteit van Amsterdam nader bekeken.[9] Het voordeel van deze opzet was, dat alle relevante omgevingsfactoren
zoveel mogelijk constant konden worden gehouden. Bovendien heb ik ooit bij deze
groep lab-stage gelopen, dus ik wist ook nog zo'n beetje waarover we het
hadden.
Eerst
hebben we de 91 citaties van deze vier teksten (na correctie voor zelf-citatie
en "in huis" citatie) inhoudelijk onderzocht. Welke functie had de
citatie in het argument van de citerende tekst? Legitimeerde het de
vraagstelling, was het een verwijzing naar een relevante achtergrond,
functioneerde de verwijzing als een samenvatting voor een argument dat niet
herhaald hoefde te worden of was het een onmisbaar inhoudelijk element in het
betoog?
Daarna
hebben we alle auteurs van de citerende teksten een vragenlijst gestuurd om hun
o.a. te vragen waarom ze deze tekst hadden geciteerd; of ze de geciteerde
auteurs kenden; zo ja, hoe goed; of ze het argument in de geciteerde tekst nog
steeds "waar" vonden, of niet; etc. Uit de vragenlijsten konden
ongeveer 80 variabelen worden gehaald, die zo waren gespecificeerd dat we een
aantal van de bovengenoemde vragen er nader mee kunnen onderzoeken.
In het
eerste onderzoek kwam duidelijk naar voren, dat de discursieve functies in de
citerende teksten significant verschillend is voor de vier geciteerde teksten.
Dit is natuurlijk niet verbazend: de vier teksten hebben een verschillende
positie in de wetenschappelijke literatuur.
Gevraagd
naar het waarom van de citaties geven de citerende auteurs voor de vier papers
ook significant verschillende redenen op. Maar de twee patronen zijn wel
aanmerkelijk anders dan die op grond van de discursieve analyse.[10] In een geval noemt een citerende auteur bijvoorbeeld een tekst een
theoretische bijdrage aan de discussie, terwijl de referentie alleen maar
aangeeft dat hij een preciese bepaling van het molecuul-gewicht aan de geciteerde
tekst ontleent. In een ander geval wordt de probleemstelling ingeleid met een
citatie, terwijl de auteur niet aankruist, dat hij de citatie heeft gegeven om
het probleem op de agenda te zetten, maar omdat het geciteerde artikel
"een samenvatting van een bepaalde positie" gaf.
De
redenen waarom iemand een tekst citeert, hoeven kennelijk helemaal niet overeen
te stemmen met de functie die die citatie in de citerende tekst heeft! Bij meer
preciese analyse blijkt de geciteerde tekst met name vaak bepaalde functies in
het onderzoeksproces te hebben vervuld, die niet terugkomen in de citatie zelf.
Het onderzoeksproces en het literaire communicatie-proces zijn "loosely
coupled systems".
De
koppeling tussen deze twee processen kan te maken hebben met de structuur van
de onderzoeks-gemeenschap. In een van de vier cases hadden we te doen met een
gesloten onderzoeksgemeenschap, waarin de auteurs elkaar goed kenden en elkaar
derhalve regelmatig citeerden. In een andere kende een substantieel deel van de
citerende auteurs de geciteerde auteur niet. De referentie was derhalve
incidenteel.
We
hebben ook aan de citerende auteurs gevraagd, hoe ze het Amsterdamse
laboratorium zouden scoren op een zevenpuntsschaal voor "kwaliteit",
"relevantie", "originaliteit" en "invloed". Er
was geen significant verschil tussen de scores van hen die aangaven het
laboratorium te kennen en hen die aangaven dat niet te doen. Op het niveau van
de gehele sample waren de scores op de vier schalen hoog aan elkaar gecorreleerd,
maar zodra we het voor de vier groepen apart bekeken, vonden we meer
specificiteit en verdween in een aantal gevallen de correlatie. Dit is een
belangrijk punt, omdat bij gebruik van citaties voor evaluatie-doeleinden
veelal moet worden aangenomen, dat met deze schalen onderscheiden dimensies
hoog aan elkaar correleren. In hoge mate is dit echter een effect van
sample-grootte en van het aggregatie-niveau. Op lagere aggregatie-niveaus zijn
citerende auteurs wel in staat te onderscheiden naar deze dimensies.
Conclusies
Hoewel
wij onze analyse beperkten tot vier papers uit eenzelfde context en dus zoveel
mogelijk "like with like" vergeleken, vonden we, zodra we meer
precies keken, steeds verschillen op de dimensies, waarvan bij vergelijkingen op
basis van citatie-analyse juist zou moeten worden aangenomen, dat ze hetzelfde
zouden zijn. Er is bovendien geen enkele reden om aan te nemen, dat de door ons
gevonden verschillen zouden uitmiddelen bij grotere groepen. Integendeel,
tekstuele relaties zijn doorgaans anders verdeeld dan sociale relaties.
Aangegeven
is, dat de oorzaak voor de gevonden varianties o.a. gezocht moet worden in de
verschillende systeem-referenties die relevant zijn voor citaties: citaties
zijn het resultaat van complexe interacties tussen het onderzoeksproces
en het wetenschappelijk communicatieproces. Ze moeten dus in termen daarvan
beschreven (en uiteindelijk verklaard) worden en niet zelf gebruikt worden als
de onafhankelijke variabele om die processen te beschrijven.
Of een
paper zal worden geciteerd, lijkt in de eerste plaats af te hangen van de mate
waarin de citerende auteurs de referentie in hun tekst kunnen gebruiken.[11] Of ze dat zullen kunnen, hangt af van de stand van zaken en de gang van
zaken in het betrokken vakgebied. Daarom zijn citaties niet een valide
indicator van de kwaliteit van het geciteerde paper op het moment dat dat wordt
gepubliceerd. Paradoxaal zeggen ze eigenlijk meer over de kwaliteit van de
citerende artikelen!
[1] B. R. Martin, J. Irvine, "Assessing Basic Research: Some Partial
Indicators of Scientific Progress in Radio Astronomy," Research Policy
13 (1983) 61-90; H. F. Moed, W. J. M. Burger, J. G. Frankfort, and A. F. J. van
Raan, "The use of bibliometric data for the measurement of university
research performance," Research Policy 14 (1985) 131-49.
[2] S. S. Blume and J. B. Spaapen, "External assessment and
"conditional financing" of research in Dutch universities," Minerva
26 (1988) 1-30.
[3] B. van der Meulen en L.
Leydesdorff, "Effecten en Gevolgen van Wetenschapsbeleid voor de
Filosofie-beoefening aan de Nederlandse universiteiten", Alg. Ned.
Tijdschrift voor Wijsbegeerte 82 (1990) 173-93.
[4] B. R. Martin and J. Irvine, "Research Evaluation. Why? How?"
Paper presented at the George Sarton Centennial, Gent, 1984.
[5] Zie ook: L. Leydesdorff, "The Relations Between Qualitative Theory
and Scientometric Methods in Science and Technology Studies. Introduction to
the Topical Issue," Scientometrics 15 (1989) 333-47.
[6] Zie bijv.: H. F. Moed, The Use of Bibliometric Indicators for the
Assessment of Research Performance in the Natural and Life Sciences,
Proefschrift RU Leiden, 1989.
[7] Raad van Advies voor
het Wetenschapsbeleid, Advies inzake registratie wetenschappelijk onderzoek,
's-Gravenhage, 1989.
[8] L. Leydesdorff and O. Amsterdamska, "Dimensions of Citation
Analysis," Science, Technology and Human Values 15 (1990) 305-35. Dit artikel bevat o.a.
een uitvoerig literatuur-overzicht. Zie ook: O. Amsterdamska
and L. Leydesdorff, "Citations: Indicators of Significance," Scientometrics
15 (1989) 449-71; L. Leydesdorff, "Towards a Theory of Citation," Scientometrics
12 (1987) 305-9.