De internationale productiviteit van de Universiteit van Amsterdam op wetenschappelijk gebied

Rob Hagendijk & Loet Leydesdorff
Wetenschaps- en Technologiedynamica, PSCW, OZ Achterburgwal 237, 1012 DL  Amsterdam
 

Samenvatting

De Universiteit van Amsterdam is de afgelopen jaren sterker dan voorheen aanwezig met publicaties in de internationale wetenschappelijke tijdschriften waarop de Science Citation Index is gebaseerd. Binnen Nederland neemt de universiteit op dit punt een goede positie in ten opzichte van de andere brede universiteiten.[1] Indien rekening wordt gehouden met de omvang van de onderzoeksinspanningen op verschillende terreinen zoals gemeten door de VSNU, is er sprake van een prominente positie voor de UvA. De internationale wetenschappelijke productie van de brede universiteiten neemt sinds 1994 verder toe, zowel in absolute zin als in verhouding tot de onderzoeksinput. Voor de Universiteit van Amsterdam daalt het aandeel van de geesteswetenschappen in de totale Nederlandse productiviteit.

Op landelijk niveau lijkt het aandeel van de universiteiten in de internationale wetenschappelijke literatuur te stijgen ten koste van het aandeel der niet-universitaire instellingen (bedrijfsleven plus grote wetenschappelijke instituten). Internationaal neemt het aandeel van Nederland in de sociale wetenschappen en humaniora toe. De groei stijgt hier uit boven de internationale toename van het aantal publicaties. Bij de beta’s en de geneeskunde houdt de stijging in de productiviteit ongeveer gelijke tred met de internationale ontwikkeling.
 

1. Inleiding

Hoe zichtbaar en invloedrijk is de Universiteit van Amsterdam op wetenschappelijk gebied in de wereld? De Universiteit van Amsterdam claimt op het gebied van de internationalisering van zijn onderwijs en onderzoek een toonaangevende rol te spelen. De universiteit wil een beleid voeren dat er op is gericht is die rol te versterken en wil daarin de komende jaren ook veel investeren. Dit doet de vraag rijzen in welke mate de universiteit internationaal zichtbare prestaties levert, wat de invloed daarvan is en met welke investeringen daarin verbetering kan worden gebracht. Aan de beantwoording van dit soort vragen beoogt dit stuk een bescheiden bijdrage te leveren. Meer dan een eerste stap is het echter niet.

Vragen als deze zijn lastig te beantwoorden op een systematische manier. Gegevens ontbreken, zijn niet erg betrouwbaar en hebben methodische beperkingen. Publiceren in een tijdschrift dat systematisch door het Institute for Scientific Information (ISI) in zijn databases wordt verwerkt, betekent nog niet automatisch dat de onderzoeker daarmee ook goed zichtbaar is voor de internationale wetenschappelijke gemeenschappen die voor dat specifieke onderzoeksgebied van belang zijn. En zichtbaarheid op zich betekent nog niet dat er daarmee ook een grote invloed uitgaat van de publicaties. Een bekend bezwaar tegen de internationale wetenschappelijke databases is dat ze vertekend zijn ten opzichte van de Engelstalige wetenschappelijke literatuur.[2] Wat men hier allemaal echter ook van moge vinden, duidelijk is ook dat er momenteel geen betere datasets beschikbaar zijn. Deze bestanden stellen ons in staat over disciplinegrenzen en op basis van institutionele adressen vergelijkingen te maken. Als we trends willen bekijken en vergelijkingen willen maken, dan zijn we daar dus op aangewezen.

De databases waarop de Science Citation Index berust hebben betrekking op de uitkomsten van wetenschappelijk werk. Om zinvolle analyses te maken moeten we ook kijken naar de inzet van menskracht en materieel. Sinds de jaren tachtig worden kwantitatieve gegevens over de inzet aan wetenschappelijk personeel voor onderzoek bij de universiteiten verzameld. De VSNU [3]  speelt daarbij een centrale rol. Helaas is lang niet altijd duidelijk hoe betrouwbaar deze data zijn. Opnieuw geldt echter dat het de enige trendmatige gegevens hierover zijn waarover we kunnen beschikken. In de jaren negentig is door het NOWT [4] een begin gemaakt met het bundelen van de gegevens in de zgn. Wetenschaps- en Technologie Indicatoren. Het meest recente rapport van het NOWT dateert echter van 1998 en bevat ten aanzien van de universiteiten cijfers tot 1996. Wie bij de start van het nieuwe millennium discussieert over te voeren beleid heeft behoefte aan meer actuele gegevens en trendanalyses. Om daaraan te voldoen hebben we hieronder gegevens bijeengebracht over de periode 1994-1999 aangaande de aantallen wetenschappelijke artikelen die zijn gepubliceerd in de tijdschriften waarop de world-wide-web versie de Science Citation Index [5] is gebaseerd. Voor de Internet-versie is gekozen omdat deze gemakkelijk toegankelijk is, omdat het naar verwachting in de toekomst de meest voor de hand liggende bron zal zijn voor de communicatie en analyse van gegevens en omdat het voor een wijde kring van belangstellende daarmee mogelijk wordt de gegevens te controleren en verder te onderzoeken.

De gevolgde werkwijze wordt in Appendix A uitgelegd. Nadrukkelijk wijzen we er nogmaals op dat het gaat om een beperkt verkennend onderzoekje. We zijn ons bewust van methodische en inhoudelijke beperkingen en raden lezers aan de resultaten dienovereenkomstig te waarderen.
 

2. De ontwikkeling van het Nederlandse aandeel in de internationale wetenschappelijke tijdschriftartikelen

In figuur 1 worden de veranderingen in het aandeel van Nederland in de internationale wetenschappelijke productie weergegeven voor de periode 1994-1999. Het aandeel ontwikkelt zich met name in de alfa- en gamma-wetenschappen gunstig voor Nederland. De groei zoals we die uit de jaren tachtig in de beta-sector kenden, is er nu uit.

Trekken we het aandeel van de teksten met één van de Nederlandse universiteiten als adres af van het totaal van de teksten met een Nederlands adres dan krijgen we een indruk van de productiviteit van de niet-universitaire sector. Dit aandeel daalt. Zie figuur 2. Hoe dit komt is ons niet duidelijk. Dit effect zou bij voorbeeld kunnen worden veroorzaakt doordat universitaire medewerkers meer systematisch hun institutionele adres volledig vermelden.

3. De productie aan internationale wetenschappelijke teksten aan de ‘brede’ universiteiten

In de figuren 2.1 tot en met 2.6 worden de trends in de wetenschappelijke productie aangegeven voor de (zes) brede universiteiten over de periode 1994-1999. Er is steeds een onderscheid gemaakt tussen publicaties op natuurwetenschappelijk en medisch terrein enerzijds (beta) en die in de sociale en de geesteswetenschappen (alfa en gamma) anderzijds. De lijnen in de grafieken zijn slechts hulplijnen die de tendens in de data aangeven.

4. De internationale wetenschappelijke productie in relatie tot de inspanning op onderzoeksgebied

Jaarlijks produceren de Nederlandse universiteiten wetenschappelijke jaarverslagen. Daarin wordt onder meer de omvang van de onderzoeksinzet in termen van wetenschappelijk personeel (in zgn. "full time equivalents" of fte’s) vermeld. De VSNU verzamelt deze gegevens en langs die weg speelt dit soort gegevens een rol in de nationale discussie over wetenschapsbeleid. Door de productie aan wetenschappelijke artikelen te vergelijken met de inzet aan wetenschappelijk personeel in de jaren die direct voorafgaan aan het jaar van publicatie krijgen we een scherper beeld van de verhoudingen tussen prestaties van de verschillende universiteiten.

Afhankelijk van de tijd die verstrijkt tussen het doen van onderzoek en het er over publiceren kan men kijken naar de onderzoeksinspanning in het lopende jaar, de inspanning in het voorafgaande jaar en/of twee jaar voordat de betreffende publicatie het licht zag. Welke periodes het beste kunnen worden gekozen zal tussen wetenschapsgebieden en specialismen sterk kunnen verschillen. In de onderstaande tabellen 4.1 en 4.2 presenteren we per cluster (beta en alfa/gamma) de ratio’s tussen de wetenschappelijke productie in jaar X en de onderzoeksinspanning in het jaar ervoor (X-1) en twee jaar (X-2). Het makkelijkst laten de tabellen zich lezen als het aantal teksten in internationale wetenschappelijke tijdschriften per mensjaar aan onderzoeksinspanning. Het laatste jaar waarover we input-gegevens van de VSNU hebben is 1997 en we normeren daarom de output voor de jaren 1998 en 1999 ten opzichte van die input in de onderstaande tabellen.

Tabellen 4.1 en 4.2: Integrale internationale wetenschappelijke productiviteit per FTE-WP onderzoeksinspanning
 

B-index 1998 1999 UvA 2,67 2,54 UU 1,96 2,10 RUL 2,21 2,12 RUG 2,12 2,18 KUN 2,33 1,94 VU 2,59 2.67

AY- index 1998 1999 UvA 0,63 0,64 UU 0,53 0,64 RUL 0,54 0,53 RUG 0,60 0,65 KUN 0,48 0,53 VU 0,94 1,10

In de tabellen 4.3 en 4.4 treffen we verwante gegevens aan, maar nu is de berekening gemaakt voor uitsluitend wetenschappelijke artikelen. Reviews, commentaren en brieven aan de redactie zijn nu buiten beschouwing gelaten.

Tabellen 4.3 en 4.4: Internationale wetenschappelijke artikelen per FTE-WP onderzoeksinspanning
 

B-index 1998 1999 UvA 2,11 2,01 UU 1,75 1,83 RUL 1,68 1,61 RUG 1,68 1,67 KUN 1,76 1,49 VU 1,98 2,01

AY-index 1998 1999 UvA 0,46 0,41 UU 0,43 0,49 RUL 0,37 0,35 RUG 0,43 0,47 KUN 0,38 0,37 VU 0,77 0,84

 

5. Sociale en geesteswetenschappen aan de Universiteit van Amsterdam

Voor de gegevens van de Universiteit van Amsterdam is afzonderlijk gekeken naar sociale wetenschappen en geesteswetenschappen. Het resultaat is opgenomen in figuur 5. Daaruit blijkt dat het aandeel van de Amsterdamse geesteswetenschappen (gemeten in de Arts and Humanities Citation Index (AHCI)) ten opzichte van de rest van het land daalt over de onderzochte periode (1994-1999).
 
 

Als we uitgaan van de hiervoor gepresenteerde cijfers mogen we concluderen dat Nederland en de Universiteit van Amsterdam het niet slecht doen als het gaat om het publiceren in de wetenschappelijke tijdschriften waarop de internationale wetenschappelijke databases zijn gefundeerd. Internationaal lopen we met Nederland qua aandeel in de pas voor wat de beta’s en de medici betreft. De eerdere relatieve groei uit de jaren ’80 is er echter uit. In de sociale wetenschappen en humaniora groeit het Nederlandse aandeel. Het aandeel van de niet-universitaire sector blijft achter bij dat van de universiteiten.

Vergeleken met de rest van Nederland stijgt het aandeel van de Universiteit van Amsterdam voor beta’s en medici. Ook voor andere universiteiten treedt dit effect op. Dit is een effect van de relatieve daling van de buiten universitaire output ten opzichte van de universitaire. Alleen bij de Universiteit Leiden tekent zich een lichte daling af. In de alfa- en gammasector is het aandeel van de Universiteit van Amsterdam vrijwel stabiel. Ook hier een daling voor Leiden en een lichte stijging voor de rest van de universiteiten. Bekijken we in Amsterdam de geesteswetenschappen en de sociale wetenschappen apart van elkaar dan blijkt voor de UvA het aandeel voor de geesteswetenschappen in de internationale gestewetenschappelijke output van Nederland te dalen.

Normeren we de output voor de input uit 1997 over de publicatiejaren 1998 en 1999 dan zien we dat de productiviteit van Amsterdam ruim boven het gemiddeld ligt. Kijken we alleen naar wetenschappelijke artikelen dan komt de Universiteit van Amsterdam er als beste uit in de sector van de natuurwetenschappen en de medische wetenschap. Opvallend goed doet ook de Vrije Universiteit het. In de sociale wetenschappen en humaniora doet de UvA het ook goed, zij het dat er een stevige duikeling wordt gemaakt als we alleen kijken naar de productiviteit aan wetenschappelijke artikelen in 1999.

Aangezien de databases waaraan we onze gegevens ontlenen nadrukkelijk worden geassocieerd met internationale zichtbaarheid en ten grondslag liggen aan de invloedsmetingen waarop bestuurders zich richten zijn de cijfers in het algemeen gunstig. Toch blijft voorzichtigheid geboden vanwege zorgen over de betrouwbaarheid en validiteit van de gegevens. Zo lijkt een zekere scepsis ten aanzien van de universitaire ‘input’ gegevens zeker op zijn plaats.

Dit soort kwantitatieve exercities zijn uiteraard niet de enige manier om naar internationalisering te kijken of erover na te denken. Een beperkte stijging in de publicaties in het Frans, Spaans, Japans of juist het Nederlands kan waardevoller worden geacht dan een relatief grote stijging in Engelstalige publicaties. Het is maar waar men aan hecht. Het zou interessant zijn om het publiceren in het Engels ook eens te vergelijken met het publiceren in andere talen en de trends die zich daarin voordoen en ons dan af te vragen wat we daarvan vinden. Voor Nederland moet dat op niet al te ingewikkelde – maar wel arbeidsintensieve - manier kunnen worden nagegaan aan de hand van de wetenschappelijke jaarverslagen.

Een andere kanttekening betreft de vraag ‘en wat dan nog?’ Veel publiceren hoeft niet altijd een bijdrage aan de wetenschappelijke vooruitgang te betekenen. Om te weten of al dat werk nu ook nog wel eens gebruikt wordt zou je kunnen kijken naar de mate waarin dat werk nu ook nog gebruikt wordt in de productie van nieuwe kennis en nieuw inzicht. Misschien blijkt dan dat de Universiteit van Amsterdam wel relatief veel publiceert, maar dat dit werk qua impact op de internationale wetenschappelijke communicatie toch achter ligt bij werk aan de zusteruniversiteiten. Ook dat laat zich tot op zekere hoogte kwantitatief onderzoeken door bij voorbeeld naar citaties te kijken.

Ook is het mogelijk dat relatief meer publiceren ten koste zou kunnen gaan van het deelnemen in het ontwikkelen van patenten die op onderzoek zijn gebaseerd. Aangezien het aandeel van de niet-universitaire sector voor de natuurwetenschappen en geneeskunde duidelijk sneller lijkt te dalen dan voor de maatschappij- en cultuurwetenschappen is het interessant om dit na te gaan. Voor wie een aanhanger is van samenwerking met de industrie en van de ondernemende universiteit kan de ogenschijnlijk gunstige positie van de UvA dan juist een ongunstige ontwikkeling blijken te zijn.

Om dit soort dingen te onderzoeken moet meer werk verricht worden dan voor deze notitie kon worden gedaan.

Een geheel andere kwestie betreft nog de gebruikswaarde van dit soort analyses. Die kan worden vergroot door te desaggregeren. Nu is er geen onderscheid gemaakt tussen beta-onderzoek en medisch wetenschappelijk onderzoek. Ook alfa- en gamma-domeinen zijn samengenomen. Beleid dat voor iemands wetenschappelijke productiviteit van directe betekenis is, wordt echter in belangrijke mate op een lager bestuurlijk niveau vorm gegeven. Uit ander onderzoek blijkt hoe belangrijk de participatie in internationale netwerken is voor de wetenschappelijke productiviteit. Binnen wetenschapsgebieden en binnen faculteiten kunnen zich wat dat betreft belangrijke verschillen voordoen. Zowel in de voorwaarden voor dat soort samenwerking als in de praktische activiteit en de vormgeving ervan. In beginsel is het mogelijk veel meer materiaal aan de gebruikte databases te ontlenen dat voor de beantwoorden van beleidsvragen van belang is. We hebben dat niet gedaan omdat desaggregatie relatief veel tijd kost. Gegevens moeten dan ‘handmatig’ worden geïnspecteerd en gecodeerd om te worden verwerkt in en te worden gecombineerd met verdere analyses. Juist dat soort analyses kan echter zeer interessant zijn voor beleidsdiscussies over de vraag wat kenmerken van goede onderzoekspraktijken zijn (en hoe die over gebieden kunnen variëren) en hoe internationalisering te bevorderen door hindernissen weg te nemen en het goede te bevorderen. Zeker een combinatie van dit soort gegevens met open overleg met de direct betrokkenen, i.c. de onderzoekers zelf, kan daarbij heel vruchtbaar zijn. Als deze rekenexercitie daartoe bijdraagt, is misschien al veel gewonnen.

Amsterdam, februari 2000.
 

[1] De zgn. "brede universiteiten" zijn: Amsterdam  (VU en UvA), Groningen, Leiden, Nijmegen, Utrecht

[2] Zie voor de discussie hierover: E. Garfield, ‘How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations,’ Current Contents, May 28, 1990. Zie ook: S. Maricic, "Scientific Journals: Selection Criteria for Information Services," 4S Letters, 5(1) (1980), 6-8.

[3] Vereniging van Nederlandse Samenwerkende Universiteiten.

[4] Nederlands Observatorium voor Wetenschap en Technologie.

[5] Tenzij nadrukkelijk anders is aangegeven betreffen verwijzingen in de tekst naar de Science Citation Index (SCI) , de Social Science Citation Index (SSCI) en de Arts and Humanities Citation Index (AHCI).

De materiaalverzameling is gebaseerd op de Internet-versie van de Science Citation Index, resp. de Social Science Citation Index en de Arts & Humanities Citation Index. De laatste twee indices zijn gecombineerd onder de categorie "alfa/gamma", terwijl het aantal publicaties in de SCI wordt gebruikt als een indicator voor de categorie "beta". De op het Internet beschikbare versie van de SCI is 'expanded' t.o.v. de CD-ROM versie van deze database, d.w.z. er worden meer tijdschriften meegenomen in de processing. (De andere twee databases zijn identiek met de CD-ROM versies.)

Voor het onderscheid tussen de universiteiten gebruiken we de adres-velden die we als een percentage normaliseren op het totaal van publicaties met een Nederlands adres. Vanwege het optreden van spellingsvarianten is dat soms nog vrij ingewikkeld. Voor de Rijksuniversiteit Leiden hebben we de indruk dat we bijv. alle varianten kunnen vangen door te formuleren "(Leiden OR Leyden) SAME (Univ OR Rijksuniv)". De operator SAME garandeert (i.t.t. AND) dat we niet te maken hebben met een andere universiteit die met enigerlei instelling in Leiden een artikel heeft geco-auteurd.

De Universiteit van Amsterdam en de Vrije Universiteit in Amsterdam laten zich lastig onderscheiden, omdat "Univ Amsterdam" altijd de gecombineerde set oplevert. "(Univ SAME Amsterdam) NOT ((Free OR Vrije) SAME Univ SAME Amsterdam)" levert wel een set voor de UvA, maar zonder de ge-coauteurde artikelen met collega’s aan de VU. Ook de VU kan afzonderlijk worden gezocht ("(Free OR Vrije) SAME Univ SAME Amsterdam), maar de intersectie tussen de twee universiteiten wordt altijd alleen aan de VU toegerekend. Precisering zou hier inspectie op het niveau van de afzonderlijke publicaties vereisen. Dat gaat de statistische exercitie hier te boven.

Er kan ook worden gezocht naar de publicaties zonder universitair adres, nl. door de search als volgt te formuleren: "(Netherlands NOT (Univ OR Rijksuniv)". Deze zoekaktie levert behalve artikelen vanuit bij voorbeeld de industrie ook een groot aantal artikelen op van universitaire medewerkers die geen adres gebruiken of van bijdragen die zonder adres zijn gepubliceerd. Het laatste is soms het geval bij bijv. editorials e.d. Met deze methodologie kan daarvoor niet worden gecorrigeerd.

Wel is het mogelijk nog twee aanvullende selecties te maken, nl. op het type document of op de taal. In de sciëntometrie is het gebruikelijk om alleen artikelen, reviews en "notes" mee te nemen als wetenschappelijke output. De categorie "letters to the editor" is meer omstreden, maar wordt vaak ook meegenomen. Omdat de afgrenzing in de alfa/gamma-wetenschappen tussen de verschillende documenttypen niet helemaal duidelijk is en om pragmatische redenen hebben we hier in het algemeen niet verder tussen documenttypen onderscheiden. Uitsluitend voor de berekenen van de productiviteits-indexen is voor 1998 en 1999 apart uitgerekend wat de aantallen wetenschappelijke artikelen zijn. Bij de taal-onderscheiding is om soortgelijke redenen gekozen voor "any language". Het gaat ons hier immers slechts om een globale statistische vergelijking.

In de grafieken zijn de lineaire regressielijnen als hulplijnen voor de eenvoudige oriëntatie van de lezer aangegeven.

return