1 Data og metoder i forskningsbarometeret

Dette vedlegget gjør rede for data, metoder, definisjoner og begrensninger i forskningsbarometeret, jf. kapittel 4. Vedlegget inneholder også en del detaljert informasjon som ikke er inkludert i kapittel 4, blant annet produktivitetsindikatorer for de ulike fagfeltene. I tillegg inneholder vedlegget to supplerende analyser basert de dataene som er presentert.

Enhetene for forskningsbarometeret er i hovedsak land og nasjonale forskningsinstitusjoner. De syv landene vi har valgt å sammenligne oss med er Canada, Danmark, Finland, Nederland, New Zealand og Sverige. New Zealand har ikke sammenlignbar FoU-statistikk og er derfor holdt utenfor i indikatorene som måler publisering og sitering i forhold til FoU-utgifter.

Forskning i ulike fag har forskjellig formål og publiseringspraksisen er svært forskjellig. Generelt er det lettere å sammenligne forskningskvalitet og omfang i et fagfelt enn på tvers av ulike fagfelt. De beregningene som presenteres her er et forsøk på ta hensyn til dette så langt det er mulig med de dataene vi har til disposisjon.

1.1 Datakilder

1.1.1 FoU-statistikken

Indikatorene i forskningsbarometeret baserer seg på flere forskjellige datakilder. OECD har siden første halvdel av 1960-tallet utgitt internasjonale oversikter over ressurser til forskning og utvikling, såkalt FoU-statistikk, etter felles retningslinjer slik de er definert i Frascati-manualen.1 FoU-statistikken skal være sammenlignbar mellom land. Vi har imidlertid valgt å holde New Zealand utenfor, fordi måten FoU-statistikken samles inn på der, ikke er sammenlignbar med de andre landene. I New Zealand er blant annet mange polytekniske høgskoler ikke med i statistikken. Disse utfører forskning og tilbyr forskningsbasert undervisning. Dette fører til at FoU-utgiftene i universitets- og høyskolesektoren i New Zealand er underestimert i statistikken.

I OECDs database for statistikk på vitenskaps- og teknologiområdet konverteres nasjonal valuta til faste amerikanske dollar ved hjelp av kjøpekraftspariteter – utviklet av OECDs nasjonalregnskapsdivisjon. For Norge brukes en deflator som ekskluderer trender i oljeprisen. Justeringen for fagforskjeller bruker fagfordelte FoU-data. Disse har vi kun for de nordiske landene hvert annet år.2 De fagfordelte FoU-utgiftene omfatter bare universitets- og høyskolesektoren.

Detaljert statistikk for norsk FoU-innsats utarbeides hvert år for næringslivet og instituttsektoren, annet hvert år for universitets- og høyskolesektoren, sist for året 2009. NIFU har etter avtale med Norges forskningsråd statistikkansvaret for universitets- og høyskolesektoren, instituttsektoren og helseforetakene. SSB har ansvaret for FoU-undersøkelsen i næringslivet.

I universitets- og høyskolesektoren gjennomføres totalundersøkelsene – med full datainnsamling og spørreskjema til alle enheter – i oddetallsår. I tillegg til opplysninger fra enhetene innhenter NIFU personal- og regnskapsopplysninger fra lærestedene, herunder også økonomiske data om eksternt finansiert virksomhet. Informasjon innhentes også direkte fra eksterne finansieringskilder, blant annet Norges forskningsråd og diverse fond og foreninger. Opplysninger om investeringer i nye bygninger innhentes fra Statsbygg. Alle institutter eller avdelinger med faglig virksomhet får tilsendt spørreskjema om FoU-virksomheten. Enhetene blir bedt om å oppgi FoU-andelen av utgifter til drift (annuum) og vitenskapelig utstyr.

For universitetene ble spørreskjemaene fra 2007 supplert med regnskapsopplysninger fra lærestedenes administrasjon før utsendelse til enhetene (selvangivelsemodellen).

For mellomliggende år beregnes totaltall for FoU-utgifter i sektoren på bakgrunn av opplysninger om det vitenskapelige og faglige personalet, regnskapstall for institusjonene, oppgaver fra Statsbygg og FoU-statistikk for helseforetak med universitetssykehusfunksjoner.

NIFUs forskerpersonalregister utgjør en viktig del av grunnlaget for beregning av FoU-ressursene. Hver stilling og stillingskategori i dette registeret er koblet med en stillingsbrøk, gjennomsnittslønn og FoU-andel. FoU-andelene bygger på tidsbruksundersøkelser foretatt av NIFU. På dette grunnlaget beregnes FoU-årsverk og lønnsutgifter til FoU over lærestedenes grunnbudsjetter.

Ressursene til FoU omfatter også forskningens andel av indirekte utgifter (administrasjon, drift av bygninger osv.). I tillegg inngår FoU-andelen av kapitalutgiftene (vitenskapelig utstyr, bygg). Kapitalutgifter til FoU er årlige bruttoutgifter til faste eiendeler brukt i FoU-virksomheten til den statistiske grunnenheten, og består av utgifter til eiendom og bygningsmasse, instrumenter, utstyr og dataprogrammer. Ifølge OECDs retningslinjer skal utgiftene tas med det året investeringene fant sted, og det skal ikke registreres avskrivninger. Dette innebærer at det kan være store svingninger i kapitalutgiftene fra ett statistikkår til et annet for læresteder som har eierskap til egen bygningsmasse, og således står for investeringene. For å unngå store svingninger er kapitalutgifter til FoU holdt utenfor når vi sammenligner norske institusjoner gjennom indikatorene publisering og sitering i forhold til FoU-utgifter.

I omtalen av FoU-bevilgninger og finansieringskilder i utredningen benytter vi NIFUs statsbudsjettanalyse i tillegg til FoU-statistikken. I motsetning til FoU-statistikken som går tilbake i tid og ser på hva enkeltinstitusjoner har brukt til FoU, ser statsbudsjettanalysen på hva som er hensikten med bevilgninger over statsbudsjettet, basert på analyse av budsjettdokumenter. Fordelen med statsbudsjettanalysen er at vi kan få mer oppdaterte tall. Ulempen er at tallene er beheftet med mer usikkerhet, ettersom de baserer seg på opplysninger om utgifter til FoU før de er brukt eller fordelt.3 Skattefunn holdes utenfor statsbudsjettanalysen i tråd med retningslinjene i Frascati-manualen.

1.1.2 Andre datakilder

Til internasjonale sammenligninger av publiseringer og siteringer har utvalget benyttet data fra ISI Web of Science (ISI), som er tilgjengelige gjennom NIFU, og som man der oppdaterer årlig på oppdrag for Norges forskningsråd. Publikasjoner og siteringer i ISI kan knyttes til ulike institusjoner gjennom registrerte forfatteradresser. Data fra den internasjonale tidsskriftdatabasen ISI dekker i mindre grad den vitenskapelige publiseringen i humaniora og samfunnsvitenskap, blant annet fordi man her i høyere grad publiserer i bøker og i nasjonale tidsskrifter.

En mer dekkende indikator for alle fagområders samlede publisering er publiseringspoeng, som er innført som indikator på institusjonsnivå i Norge, både i universitets- og høyskolesektoren, instituttsektoren og helsesektoren. Datagrunnlaget for denne indikatoren er institusjonenes felles informasjonssystem, som fra 2010 heter Cristin, og som fra 2011 vil gjengi de tre sektorenes vitenskapelige publisering på en sammenlignbar måte. Begrensningen ved denne datakilden er at den ikke har informasjon om siteringer, og at den heller ikke kan benyttes til internasjonale sammenligninger. Publiseringspoeng tas i bruk i forskningsbarometeret som en av flere indikatorer på vitenskapelig produksjon for norske institusjoner.

I tillegg til disse datakildene er statistikken for økonomi og tilsatte ved norske universiteter og høyskoler som publiseres i Database for statistikk om høgre utdanning (DBH), en viktig kilde til informasjon om universitets- og høyskolesektoren. Det er en styrke ved statistikken i DBH at den er basert på budsjetter og regnskap, men den spesifiserer ikke ressursene til forskning og er heller ikke sammenlignbar internasjonalt eller på tvers av sektorer. Det gjør den vanskelig å bruke til noen av våre formål.

En annen internasjonal kilde til statistikk som utvalget benytter, er Eurostat, som har tall for EU- og EFTA-land, blant annet fra de europeiske innovasjonsundersøkelsene, og som kan gi sammenlignbare indikasjoner på i hvilken grad næringslivet i det enkelte land samarbeider med forskningsinstitusjoner og annen FoU-virksomhet.

1.2 Internasjonale sammenligninger av siteringer og artikkelproduksjon

Tabell 1.1 viser en oversikt over artikler og siteringer fra 2003 til 2009 i de nordiske landene, Canada og Nederland. Tabellen viser også kjøpekraftsjusterte FoU-utgifter i offentlig sektor4 for landene fra 2001 til 2007. Norge er det landet med færrest artikler og siteringer gjennom hele perioden. I 2007 hadde både Danmark og Finland lavere offentlige FoU-utgifter enn Norge, målt i kjøpekraftsjusterte dollar. Siden 2007 har FoU-utgiftene vokst raskere i Norge enn i de andre landene og vi har nå større FoU-utgifter enn både Danmark og Finland.5

1.2.1 Enkle produktivitetsindikatorer basert på antall artikler

Figur 1.1 viser en grov sammenligning av produktiviteten i artikkelproduksjonen mellom land. Figuren viser landenes andel av artiklene i ISI i forhold til deres andel av FoU-utgiftene. For å ta hensyn til at det tar tid fra forskningsinnsats omsettes til resultater, er det lagt inn et tidsetterslep på to år. Figuren bruker også gjennomsnitt over tre år for å utjevne endringer som kun har effekt ett år, og for å ta hensyn til at vi ikke har FoU-tall for alle år. I noen land har vi FoU-utgifter for hvert år. I andre land har vi opplysninger fra annet hvert år, blant annet Norge.

Årstallet i figuren refererer til det siste året vi observerer. Tallene for 2009 i figuren vil med andre ord være gjennomsnittlige resultater for 2007 til 2009, sett i forhold til innsatsen for årene 2005 til 2007.

Vi har ingen internasjonale datakilder som viser publiseringer eller siteringer for humaniora. For å kunne måle produktivitet må vi ha gode mål på innsats og resultater. Det er derfor en utfordring at vi har innsatsindikatorer som inkluderer FoU-utgifter i humaniora, men ikke resultatindikatorer for humaniora. En relativ produktivitetsindikator, som sammenligner land med hverandre, vil påvirkes av om forskningsandelene i humaniora varierer mellom land når humaniora kun er med på innsatssiden. For de nordiske landene har vi imidlertid fagfordelte data for FoU-utgifter og har mulighet til å ekskludere humaniora også når det gjelder innsats. Vi finner at dette har liten effekt. Vi antar at det samme også gjelder for de andre landene i forskningsbarometeret.

Kilde: Beregninger utført av utvalget basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

Figur 1.1 er en relativ produktivitetsindikator, det vil si at den måler landets produktivitet relativt til de andre landene. Et produktivt land har en større andel av produksjonen enn dets andel av FoU-utgiftene skulle tilsi. Danmark har for eksempel en produksjon som er 30 % høyere enn det man skulle forvente hvis man la innsatsen, målt i andel av FoU-utgiftene, til grunn. Til sammenligning er Norge blant de minst produktive landene målt på denne måten. Figuren viser at Norges andel av forskningsartiklene i 2007-2009 var 6 % lavere enn det andelen av FoU-utgiftene i årene 2005-2007 skulle tilsi.

Forskningsproduksjonen har økt betraktelig de siste 15 årene i alle landene vi sammenligner oss med. Dette kommer ikke fram av figuren, ettersom vi for hver periode sammenligner landene med hverandre. Figur 1.2 viser at Norge er det landet som har hatt størst produksjonsvekst av disse landene, med 150 % vekst i antall artikler siden 1993. Mye av dette kan forklares med ressursene som er tilført systemet. Fra 1991 til 2008 økte de totale FoU-utgiftene i Norge med 116 % målt i faste priser.

Kilde: Utvalget basert på tall fra NIFU/Thomson Reuters

For årene 2002, 2004 og 2007 er det tilsynelatende en svak nedgang i artikkelproduksjonen. Dette kan delvis skyldes at registreringene i ISI for ett år avsluttes før årets er omme, og at tidspunktet kan variere fra år til år. Lengden på et år kan derfor variere og gi små utslag i statistikken. Noe av økningen i artikkelproduksjon kan også forklares med at flere tidsskrifter inkluderes i ISI. Den er således ikke utslag av en reell produksjonsvekst. For vårt formål har dette ingen betydning, ettersom utslaget vil være det samme for alle land og derfor ikke vil påvirke sammenligningen mellom land.

Kilde: Utvalgets beregninger basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

Hvis vi i stedet for å sammenligne hvert lands andel av total produksjon med landets andel av FoU-utgiftene, sammenlignet med hvor mange artikler de fikk per FoU-krone, ser vi at de fleste landene har hatt en moderat produktivitetsvekst siden 1993. For flere av landene kom imidlertid veksten tidlig i perioden. Canada, Finland og Sverige har hatt en negativ utvikling siden slutten av 90-tallet (figur 1.3). Alle disse landene har med andre ord økt sine investeringer i FoU betydelig, uten at dette har gitt seg tilsvarende utslag i økt produksjon av artikler. Nederland og Norge har hatt en positiv utvikling i antall artikler per FoU-krone. Nederland har økt sin produksjon av artikler per krone med 40 prosent siden 1993, mens Norge har økt sin produksjon med over 20 %.

1.2.2 Forsøk på å justere for forskjeller i fagprofiler

Produktivitetsindikatoren i figur 1.1 er en av de enkleste vi kan tenke oss. Den er enkel å forstå, og resultatene er relativt transparente. En ulempe er imidlertid at ISI-databasen som artiklene hentes fra, ikke er like representativ for alle fag. Det betyr at noe av forskjellen i produktivitet vi observerer mellom land, kan skyldes ulik fagsammensetting og ikke ulik produktivitet.

Figur 1.4 viser hvordan FoU-utgiftene til universitets- og høyskolesektoren fordeler seg på fag i de nordiske landene. Blant de nordiske landene har Norge den høyeste andelen i humaniora og samfunnsfag, som er dårlig representert i ISI. Andelen som går til teknologisk forskning og naturfag i universitets- og høyskolesektoren i Norge er mindre enn i de andre landene. En årsak til dette er måten forskningssystemet er organisert på. Mens instituttsektoren i Sverige er organisert som en del av universitets- og høyskolesektoren, har vi i Norge selvstendige institutter, der mye av den teknologiske forskningen foregår. Disse inngår ikke i oversikten, siden OECD ikke samler inn data for fagfordelt FoU-statistikk for instituttsektoren.

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI

Dette gir oss en utfordring når vi skal justere for fag. Vi har produksjonsdata for universitets- og høyskolesektoren og instituttsektoren samlet, men bare fagfordelte FoU-utgifter for universitets- og høyskolesektoren. Hvis vi bruker de fagfordelte FoU-utgiftene fra universitets- og høyskolesektoren uten å justere for at forskningsinnsatsen i instituttene ikke er med, vil det se ut som om Norges forskningsinnsats er lav, sammenlignet med andre land, og Norges produktivitet vil framstå som høyere enn den i realiteten er.

¹ Tallene er hentet fra OECD statistikken. Offentlig sektor er her definert som Higher Education Sector og Government Sector slik de framkommer i OECD-statistikken. Government sector utgjør i hovedsak offentlige forskningsinstitutter.

Kilde: Utvalget basert på tall fra NIFU/ÒECD-MSTI

Figur 1.5 viser at universitets- og høyskolesektoren i Sverige utgjør en større andel av forskningen som utføres i offentlig sektor.6 I Sverige sto universitets- og høyskolesektoren for 78 % av de offentlige FoU-utgiftene i 2007, mens det samme tallet var 60 % for Norge. Figuren viser hvordan universitets- og høyskolesektorens andel av FoU-utgiftene utført i offentlig sektor har økt i Danmark, Finland og Norge siden slutten av 90-tallet. I Danmark har universitets- og høyskolesektorens andel har økt fra 54 % i 1997 til 78 % i 2007.

Figur 1.5 viser at det er store forskjeller mellom land når det gjelder hvor stor andel av de totale FoU-utgiftene vi mister når vi ikke har fagfordelte tall for instituttsektoren. Hvis vi ikke tar hensyn til dette, vil Norge og Finland framstå som mer produktive enn de er, fordi universitets- og høyskolesektoren utgjør en mindre andel av de offentlige FoU-utgiftene. Vi gjør to antagelser for å beregne nye fagfordelte FoU-utgifter som er sammenlignbare mellom landene. For det første antar vi at all humanioraforskning foregår i universitets- og høyskolesektoren. Siden vi ikke har gode resultatindikatorer kan vi derfor se bort fra humaniora ved å trekke fra FoU-utgiftene til humaniora. Totale FoU-utgifter blir samlede FoU-utgifter for universitets- og høyskolesektoren og instituttsektoren fratrukket FoU-utgiftene til humaniora i universitets- og høyskolesektoren.

I tillegg har vi i beregningene lagt inn en forutsetning om at fagprofilen i instituttene er den samme som fagprofilen i universitets- og høyskolesektoren. Den siste forutsetningen er opplagt ikke riktig og gjør at metoden ikke kan brukes for å si noe fornuftig om hvert enkelt fagfelt. For Norges del vil for eksempel teknologisektoren isolert sett framstå som svært produktiv, fordi instituttene har høyere FoU-utgifter til teknologisk forskning enn universitetene og høyskolene. Hvis feilen vi gjør for hvert enkelt fagfelt er den samme i alle landene, vil det imidlertid ikke få noe å si for vår fagjusterte indikator. Hvis det er systematiske forskjeller i instituttenes fagprofiler mellom landene, vil det påvirke resultatene.

For hvert enkelt fagfelt har vi sammenlignet andelen artikler i hvert land med landets andel av de beregnede FoU-utgiftene. De fagspesifikke produktivitetsindikatorene er videre vektet sammen, der fagets andel av FoU-utgiftene i landet er brukt som vekt.

Kilde: Utvalgets beregninger basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

Figur 1.6 viser landenes andel av artikler i forhold til deres andel av FoU-utgiftene når vi justerer for fagfelt. Figuren viser også forskjellene før vi justerer for fagfelt for å synliggjøre konsekvensene av fagjusteringen. Noe av Danmarks høye andel av publikasjonene kan forklares med at Danmark har en høyere andel av sin forskning i felt som er godt representert i ISI. På samme måte kan noe av Norges lave andel av publikasjonene forklares ved hjelp av vår høye andel av forskning i samfunnsvitenskap. Det overordnede bildet er det samme som før vi justerte for fagforskjeller.

Vi kan ikke kontrollere for forskjeller som skyldes ulik publiseringspraksis i ulike deler av samme fag. Hvis det er systematiske forskjeller mellom landene når det gjelder subdisipliner i de enkelte fagretninger, vil vi ikke fange opp dette.7

På den annen side kan vi ikke korrigere for forskjeller på et for detaljert nivå, hvis indikatoren skal kunne si noe om produktivitet. Hvis vi går helt ned på tidsskriftnivå, vil vi miste effekten av at noen tidsskrifter blir mye sitert fordi de har større gjennomslagskraft og holder en høyere kvalitet.

1.2.3 Siteringer som mål på produktivitet

Antall artikler i ISI viser forskningsproduksjonens omfang. I mange sammenhenger vil vi være mer interessert i forskningens kvalitet og gjennomslagskraft. En god indikator på dette kan være hvor mye en artikkel blir sitert.

Det er vanlig å se bort fra selvsiteringer når siteringshyppighet undersøkes på individ- eller gruppenivå. Selvsiteringer har imidlertid liten betydning for utfallet når institusjoner og nasjoner sammenlignes.8 Selvsiteringer er ikke holdt utenfor i det datagrunnlaget vi bygger på her.9

I kapittel 4 gjør vi rede for mulighetene som ligger i å bruke siteringer som indikator. Siteringspraksis, både når det gjelder antall siteringer og hvor lenge en artikkel blir sitert, varierer mye mellom fag. Desto lavere aggregeringsnivå, desto viktigere blir det å ta hensyn til fagforskjeller når man benytter siteringer som indikator.

Kilde: Utvalget basert på tall fra NIFU/Thomson Reuters

Når vi ser på aggregerte tall for land, ser det ut til at effekten av siteringer i hovedsak er uttømt ti år etter at artiklene har stått på trykk (se figur 1.7). Figuren viser hvor mange ganger artikler publisert i de ulike årene er blitt sitert. Fram til 2000 ser det ut som publiseringsår har relativt lite å si, når vi ser på aggregerte tall for land. Selv om noen artikler har mye lenger levetid, kan det se ut som dette ikke gir store utslag på nasjonale statistikker etter ti år.

At en artikkel blir publisert er en forutsetning for at den skal bli sitert. Derfor kan man forvente at det er en positiv sammenheng mellom publiseringer og siteringer når de publiserte artiklene er vurdert som gode nok av fagfeller. I bibliometriske studier er det vanlig å se på relativ siteringshyppighet, det vil si hvor mange siteringer en artikkel har sammenlignet med gjennomsnittet for artikler i tidsskriftet. Når vi skal bruke siteringer som utgangspunkt for en produktivitetsindikator, kan vi imidlertid ikke bruke siteringshyppighet som et resultatmål. Vi ønsker ikke en indikator der publisering av artikler i svært gode tidsskrifter kan slå negativt ut på produktiviteten sammenlignet med publisering i mindre krevende tidsskrifter. I stedet bruker vi siteringer direkte. På den måten vil både antall artikler og siteringshyppighet påvirke vår indikator i positiv retning.

I datamaterialet er det noen utfordringer med å se på siteringer. For at en siteringer skal bli registrert må både artikkelen som blir sitert og artikkelen som siterer være registrert i ISI. Dette er en særskilt utfordring i de fagfeltene som er dårlig representert i ISI, som for eksempel samfunnsvitenskap.

Figur 1.8 viser hvert lands andel av siteringene i de seks landene i forhold til deres andel av landenes FoU-utgifter, uten noen form for fagjusteringer. Det overordnede bildet er det samme enten vi ser på antall artikler som i figur 1.1 eller siteringer som her. Siden nevneren i figuren er den samme som i figur 1.1, betyr dette at antall artikler og antall siteringer er sterkt korrelert for landene.

Kilde: Utvalgets beregninger basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

På samme måte som for artikler kan vi justere for fagsammensetningen i de nordiske landene, for å ta hensyn til at siteringspraksisen vil være forskjellig fra fag til fag. Figur 1.9 viser konsekvensen av å fagjustere og å fjerne FoU-utgiftene fra humaniora. Fagsammensetningen i Norge kan forklare noe av grunnen til at norske artikler blir mindre sitert enn man skulle forvente i forhold til forskningsinnsatsen, men ikke nok til at rangeringen endres i nevneverdig grad.

Kilde: Utvalgets beregninger basert på tall fra NIFU/OECD-MSTI/Thomson Reuters

1.3 Nasjonale sammenligninger av universiteter og høyskoler

For nasjonale sammenligninger har vi, i tillegg til de internasjonale databasene, mulighet til å bruke nasjonal statistikk basert på publiseringspoeng. Publiseringspoeng inkluderer flere typer vitenskapelig produksjon, som bøker, monografier og artikler i antologier. Fagfelt som humaniora og samfunnsfag er representert på linje med de andre fagene. Det finnes imidlertid ikke siteringsdata basert på data fra DBH, dermed må vi fremdeles forholde oss til internasjonale databaser når vi ser på siteringer.

Utvalget har også vurdert å bruke statistikken for økonomi og tilsatte ved norske universiteter og høyskoler som publiseres i DBH. Det er en styrke ved statistikken i DBH at den er basert på budsjetter og regnskap, men den spesifiserer ikke ressursene til forskning og er heller ikke sammenlignbar internasjonalt, på tvers av sektorer eller mellom institusjoner i universitets- og høyskolesektoren som har ulike FoU-andeler.

Noen institusjoner har slått seg sammen eller har endret status fra høyskole til universitet i den perioden vi ser på. Blant annet gjelder dette Universitetet i Tromsø som i 2009 slo seg sammen med Høgskolen i Tromsø. For at tallene skal være sammenlignbare over tid har institusjoner som har slått seg sammen blitt betraktet som én institusjon i hele perioden. For Universitetet i Tromsø betyr det at tallene for produksjon og FoU-utgifter inkluderer Høgskolen i Tromsø også før 2009.

I de nasjonale sammenligningene har vi avgrenset oss til å se på universiteter og høyskoler med minimum 5 mill. kroner i FoU-utgifter hvert år i minst tre forskjellige fagfelt. For institusjoner som er mindre enn dette kan tilfeldigheter og unøyaktigheter i statistikken gi store utslag. Vi har også vurdert andre alternativer, som å øke grensen til 10 mill. kroner i FoU-utgifter og å redusere kravet til antall fagfelt til to. For de fleste institusjoner får dette ingen betydning. Når vi sammenligner fagfelt for fagfelt, ønsker vi også å få med oss de spesialiserte institusjonene og har således ikke et krav om bredde. I stedet har vi begrenset oss til institusjoner som har minimum 10 mill. kroner i FoU-utgifter i det enkelte fagfelt.

Tabell 1.2 viser at de store institusjonene gjennomgående har en større andel av ressursene avsatt til FoU. For de fem største universitetene utgjør FoU-utgiftene om lag 50 % av de totale driftsutgiftene. For høyskolene i Narvik, Bergen og Stord-Haugesund er tallet rundt 10 %. Hvis man sammenligner vitenskapelig produksjon med årsverk, vil det favorisere institusjoner hvor en stor andel av driftsutgiftene er avsatt til forskning og utvikling.

En måte å måle produktivitet basert på publiseringspoeng på, er å se på antall publiseringspoeng per mill. FoU-kroner. En ulempe med denne tilnærmingen er at publiseringspoeng i humaniora og samfunnsfag er langt billigere enn i eksperimentelle fag som ofte har høye kostnader forbundet med drift og vitenskapelig utstyr, som medisin og MNT-fagene. Rangeringer basert på antall publiseringspoeng per mill. FoU-kroner favoriserer institusjoner som har en høy andel av sin forskning i humaniora.

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH

Når vi ser på publiseringspoeng for institusjonen som helhet, bruker vi treårige gjennomsnitt med to års tidsetterslep fra FoU-utgiftene påløper til vi forventer resultater. For fagfordelte publiseringspoeng og for antall ISI-artikler og siteringer har vi ikke tidsseriedata for de norske institusjonene. I dette tilfellet er resultatene gjennomsnitt av årene 2005 til 2009. Vi kan beregne fagfordelte publiseringspoeng for hvert år basert på antagelsen om at fagfordelingen er konstant over tid. Denne muligheten har vi imidlertid ikke når det gjelder siteringer siden vi heller ikke har årlige data for det totale antall siteringer. I videreutviklingen av forskningsbarometeret vil det være ønskelig med mer detaljerte resultatdata, slik at man også kan lage gode sammenligninger over tid.

For fagfordelte FoU-utgifter har vi bare tall fra 2009. For å kunne beregne innsatsen tilbake i tid antar vi at fagfordelingen ved institusjonene når det gjelder FoU-utgifter er konstant over tid. Med denne antagelsen kan vi beregne fagfordelte FoU-utgifter tilbake i tid, basert på tall for de totale FoU-utgiftene. Hvis det har vært systematiske endringer i fagprofilene, kan produktivitetsindikatoren gi et misvisende bilde. I videreutviklingen av forskningsbarometeret må datagrunnlaget for fagjusterte FoU-utgifter bli bedre, og man bør bruke data for flere år, slik at det er mulig å gjøre gode sammenligninger over tid.

Når vi sammenligner en institusjons andel av publiseringspoengene med institusjonens andel av de totale FoU-utgiftene blant universiteter og høyskoler, er Høgskolen i Vestfold den institusjonen som produserer flest publiseringspoeng i forhold til FoU-innsatsen. Universitetene fordeler seg ganske jevnt utover, med Universitetet i Stavanger som det beste. Universitetet i Oslo, NTNU og Universitetet i Bergen plasserer seg omtrent på midten av rangeringen.

Denne rangeringen baserer seg imidlertid på at publiseringspoeng er nøytrale mellom fag og tar ikke hensyn til at det kan koste mer å produsere et publiseringspoeng i noen fag. Fagprofilen ved institusjonen kan derfor påvirke hvordan en institusjon gjør det på denne rangeringen. Vi ønsker derfor å utvikle en indikator som tar hensyn til institusjonenes ulike fagprofiler.

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH

Det er en utfordring å kategorisere FoU-utgifter og publiseringer i bestemte fagfelt. Det kan ofte være flytende hvorvidt en type forskning er naturvitenskapelig eller medisinsk. Selv om statistikken er basert på omforente OECD-standarder, vil det alltid være både utgifter og resultater som ligger i grenseland mellom ulike fag. Uansett hvordan man kategoriserer, vil det derfor forekomme at for eksempel utgifter til medisinsk forskning fører til publikasjoner i naturvitenskapelig forskning. I statistikken er det en særlig utfordring at en institusjon kan ha publiseringspoeng i fagfelt der den ikke har oppgitt å ha FoU-utgifter. Universitetet i Bergen oppgir for eksempel ikke å ha FoU-utgifter i teknologifag, samtidig som 7 % av publiseringspoengene er i tidsskrifter som er klassifisert som teknologiske. Figur 1.11 viser andelen av publiseringspoeng som er i fagfelt der institusjonene oppgir å ikke ha utgifter til forskning og utvikling.

Når vi fagjusterer produktivitetsindikatorene, har vi løst dette ved at vi beregner en faktor på bakgrunn av publiseringspoeng i fagfelt som ikke finnes i FoU-statistikken ved en institusjon. Publiseringspoengene i de andre fagene ved institusjonen blir så ganget opp med denne faktoren for at vi også skal ta hensyn til denne produksjonen i beregningene. For Norges Handelshøyskole, som oppgir å ha all sin forskning i samfunnsfag, vil alle publiseringspoengene i andre fagområder legges til samfunnsfag. For Universitetet i Bergen vil publiseringspoengene fra teknologi fordeles jevnt utover de fire andre fagfeltene i henhold til deres relative størrelse.

Måten vi korrigerer for fagforskjeller mellom institusjoner på, er den samme som den vi brukte for å korrigere for fagforskjeller mellom land. For hvert fag finner vi hver institusjons andel av publiseringspoengene og sammenligner den med institusjonens andel av FoU-utgiftene. Vi får dermed en rekke fagspesifikke produktivitetsindikatorer. For å lage en felles indeks er disse fagspesifikke produktivitetsindikatorene vektet sammen, der fagets andel av FoU-utgiftene ved institusjonen brukes som vekt.

Høgskolen i Vestfold kan brukes som eksempel for å illustrere metoden. Høgskolen i Vestfold har fem produktivitetsindekser – én for hvert fagfelt der de har FoU-utgifter. Disse er vist som første kolonne i tabell 1.3. I humaniora har høyskolen en produksjon som er hele 4,5 ganger høyere enn deres andel av FoU-utgiftene skulle tilsi. I kolonne to ser man at høyskolen har 8,9 promille av den samlede produksjonen av publiseringspoeng i humaniora, mens kolonne tre viser at deres høyskolens andel av FoU-utgiftene i humaniora kun var 2 promille. Bidraget fra humaniora på den samlede indeksen er imidlertid begrenset siden humaniora kun utgjør 4 % av FoU-utgiftene ved høyskolen. Det største forskningsfeltet ved Høgskolen i Vestfold er teknologisk forskning som utgjør 43 % av FoU-utgiftene ved skolen. Her utgjør publiseringspoengene kun halvparten av det andelen av FoU-utgiftene skulle tilsi. Produktivitetsindeksen for teknologi blir vektlagt med 43 % i den samlede indeksen og bidrar således til å dra ned snittet betydelig. Den samlede indeksen for Høgskolen i Vestfold er summen av alle de fagspesifikke indeksene vist i kolonne én ganget med deres størrelse ved høyskolen vist i kolonne fire.

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH

Figur 1.12 viser produktivitetsindeksen for hver institusjon med minst 5 mill. kroner i FoU-utgifter i minst tre fagfelt. Målt på denne måten framstår Høgskolen Stord-Haugesund som den mest produktive. Det er særlig i teknologifag Stord-Haugesund framstår som svært produktiv. I indeksen blir teknologi tillagt en beskjeden vekt for Stord-Haugesund, ettersom faget kun utgjør 9 % av høyskolens totale FoU-utgifter. Til gjengjeld publiserer høyskolen så mye i forhold til ressursinnsatsen på dette fagområdet at det løfter Stord-Haugesund øverst på lista.

De store universitetene plasserer seg omtrent på midten blant institusjonene. Selv om ingen publiserer mer enn de største universitetene, viser oversikten at de kanskje ikke publiserer så mye som man skulle forvente med tanke på hvor stor andel av forskningsressursene de disponerer. Blant de fire største universitetene framstår NTNU som det mest produktive, tett fulgt av Universitetet i Oslo. Universitetet i Stavanger gjør det aller best av universitetene.

Kilde: Utvalgets beregninger basert på tall fra NIFU/Thomson Reuters

Hvis vi ser på hvor mye forskningen blir sitert, er bildet et annet. Figur 1.13 viser at det er de største universitetene som blir sitert klart mest i forhold til ressursinnsatsen. Figuren viser at det kun er Universitetet i Oslo og Universitetet i Bergen som blir sitert mer enn deres andel av FoU-utgiftene skulle tilsi.10

Indikatorene som viser publiseringspoeng og indikatoren som viser siteringer gir med andre ord svært forskjellige resultater. Til sammen viser figurene at produksjonen ved mange høyskoler er betydelig, men at det er forskningen ved universitetene som i størst grad blir sitert av nasjonale og internasjonale forskningsmiljøer.

1.3.1 Produktivitetsindekser for hvert fag

I tillegg til å se på indeksen samlet kan vi studere hvert enkelt fag for seg. Noen institusjoner er store forskningsaktører i enkelte fag, selv om de mangler bredden som måtte til for å komme med på forrige rangering. For å få med disse institusjonene har vi fjernet kravet om bredde og i stedet hevet kravet når det gjelder FoU-utgifter fra 5 mill. kroner til 10 mill. kroner i det aktuelle faget.

Kilde: Utvalgets beregninger basert på tall fra NIFU/Cristin/Thomson Reuters

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH/Thomson Reuters

Figurene viser både rangeringen basert på publiseringspoeng og siteringer. Rangeringen i figurene er basert på gjennomsnittet av de to indeksene som er med. I humaniora er det de store institusjonene som kommer best ut. Høgskolen i Oslo kommer på topp, tett etterfulgt av Universitetene Bergen, Oslo, Tromsø og NTNU. Det kan være verd å merke seg at siteringene er basert på ISI-statistikk, der det er med få tidsskrifter i humaniora. Det kan derfor være grunn til å være litt varsom med å legge for mye vekt på siteringer i figur 1.14. Ved Høgskolen i Lillehammer er det for eksempel snakk om én sitering i løpet av en femårsperiode.

Samfunnsfag har også generelt lav dekning i ISI. Blant samfunnsfagene er imidlertid økonomi langt bedre representert enn de andre. Institusjoner som har en stor andel av den samfunnsvitenskapelige forskningen i økonomi, vil derfor gjøre det bedre på siteringsindikatoren. På rangeringen som baserer seg på både siteringer og publiseringspoeng kommer Norges Handelshøyskole best ut av samtlige. Det er særlig siteringsindikatoren som slår positivt ut, og noe av dette kan nok skyldes at denne høyskolen har en stor andel av den samfunnsvitenskapelige forskningen i økonomiske fag.

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH/Thomson Reuters

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH/Thomson Reuters

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH/Thomson Reuters

1.4 Helseforetak og institutter

Utvalgets forskningsbarometer har prioritert universiteter og høyskoler. Det skyldes både datatilgangen og behovet for å begrense sammenligningen med institusjoner som ikke har vitenskapelig publisering som sitt viktigste mål med forsknings- og utviklingsarbeidet. Helseforetakene har ikke vært med i FoU-statistikken som en egen kategori i mer enn noen år, og det er startet et utviklingsarbeid for å få statistikken bedre.11

Figur 1.19 viser antall siteringer i forhold til det forventede, basert på fag, tidsskrift og årgang. I denne figuren er det også korrigert for fagforskjeller helt ned på enkelttidsskriftnivå. Figuren viser at de artiklene som blir publisert av helseforetakene og instituttene, blir mer sitert enn forventet. Figuren tar imidlertid ikke hensyn til ressursinnsatsen og sier således ingenting om produktiviteten.

Kilde: Utvalgets beregninger basert på tall fra NIFU/Thomson Reuters

For å kunne si noe mer om instituttene og helseforetakene er vi avhengige av å utvikle bedre og mer sammenlignbare data. Figur 1.20 sammenligner andelen siteringer i forhold til FoU-utgifter i helseforetakene og de medisinske fakultetene. Siden helseforetakene har en svært stor andel av FoU-utgiftene, gir det store utslag når de har en lav andel av siteringene. Noe av dette kan nok forklares med at FoU-utgiftene i helseforetakene har andre formål enn vitenskapelige publiseringer, og at publiseringene i større grad er innefor klinisk pasientrettet forskning, som gjennomgående er mindre sitert.

Kilde: Utvalgets beregninger basert på tall fra NIFU/Thomson Reuters

1.5 Doktorgrader

Norge har et komplett register over alle doktorgrader som er tildelt i landet siden 1817. Men til de internasjonale sammenligningene som utvalget gjør her, må data hentes fra OECD. Der er statistikken basert på en International Standard Classification of Education (ISCED), som er utarbeidet av UNESCO. Utvalget har valgt å relatere antallet doktorgrader per land og år til den yrkesaktive befolkningens størrelse. Dermed fanger indikatoren opp både utdannings- og forskningsaspektet ved doktorgrader.

Det siste tiåret har det vært en kraftig vekst i utdannede doktorgradskandidater. Sammenlignet med andre land er det særlig i naturvitenskap og medisin/helse at Norge utdanner mange forskere, mens vi ligger under snittet når det gjelder samfunnsfag, humaniora og teknologiske fag.12 Fortsatt utdanner imidlertid Norge relativt få doktorgradskandidater regnet per 1000 innbyggere i aldersgruppen 25-64 år, sammenlignet med Finland og Sverige,13 jf. figur 4.10.

¹ Tall for Canada er for 2000 og 2008.

Kilde: OECD/Eurostat

Kilde: NIFU/Thomson Reuters

1.6 Samforfatterskap på tvers av sektorer

ISI-databasen inneholder informasjon om forfatter og forfatterens institusjonstilknytning. Den kan derfor brukes til å si noe om hvilke institusjoner som samarbeider når det gjelder artikkelproduksjon.

Universitets- og høyskolesektoren bidro med 7342 artikler i 2009. 1308 av disse var publisert sammen med instituttsektoren, mens 1615 var publisert sammen med helseforetakene. Artikler der alle sektorene samarbeider, utgjør 169 artikler og er holdt utenom. Samforfatterskap internt i sektoren er også holdt utenom.

Bildet bekrefter mye av det vi kunne forvente: universitets- og høyskolesektoren er den klart viktigste samarbeidspartneren for instituttene og helseforetakene. Over 70 % av artiklene skrevet av ansatte ved helseforetakene har minst én medforfatter fra universitets- og høyskolesektoren.

1.7 Ekstern finansiering av universiteter, høyskoler og institutter – sammenligning av land og norske institusjoner

Andelen av FoU-utgiftene som finansieres fra næringslivet indikerer hvor relevant, anerkjent og attraktiv forskningen er for private virksomheter som støtter, samarbeider om eller bestiller forskning og utviklingsarbeid i offentlig sektor.

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI

Kilde: Utvalget basert på tall fra NIFU

For land som Canada, Finland og Nederland14 utgjør næringslivet en viktigere kilde til finansiering av forskning i offentlig sektor, målt som andel av FoU-utgifter, enn i Norge, jf. figur 4.13. Norge plasserer seg omtrent på nivå med Sverige og foran Danmark. Andelen av FoU-utgiftene som finansieres fra næringslivet, viser en svakt nedadgående trend for Norge.

1.7.1 Inntekter fra næringslivet

Figur 1.24 viser at instituttene, ikke overraskende gitt deres funksjon i forskningssystemet, henter en vesentlig større del av sine inntekter fra næringslivet enn de andre institusjonene. De teknisk-industrielle instituttene står i en særstilling. For institusjonene i universitets- og høyskolesektoren er det en forholdsvis stor forskjell mellom de institusjonene som dekker en betydelig andel av sine FoU-utgifter gjennom inntekter fra næringslivet (Universitetet i Stavanger, NTNU og Universitetet for miljø- og biovitenskap) og de som henter inn svært lite (Universitetene i Oslo og Agder). Helseforetakene ligger også forholdsvis lavt når det gjelder inntekter fra næringslivet.

Kilde: Utvalget basert på tall fra NIFU/OECD-MSTI

Kilde: Utvalget basert på tall fra NIFU

1.7.2 Inntekter fra EU

Finansiering fra utlandet kan komme fra både private og offentlige kilder og er som oftest konkurranseutsatt på internasjonalt nivå. Derfor kan indikatoren si noe om forskningens kvalitet, om internasjonal synlighet og om konkurransedyktighet, for eksempel når det gjelder oppdragsmidler fra utenlandsk næringsliv. Indikatoren kan også si noe om internasjonal deltakelse og samarbeid der hvor dette er en betingelse for å søke midler.

Det er mulig å bruke flere indikatorer, for eksempel suksessrater for søknader, nettoresultat av overførte EU-midler og andel av FoU-utgiftene som er EU-finansiert. Utvalget har valgt sistnevnte, med utgangspunkt i OECD-statistikk. Mer detaljert omtale av figurene finnes i kapittel 4.

1.8 Innovasjonssamarbeid mellom bedrifter, institutter og universiteter og høyskoler og internasjonalt

Samarbeid med næringslivet kan ta ulike former, fra støtte til forskning ut fra ideelle formål til kjøp av FoU-tjenester, fra intensjonsavtaler og utveksling av kandidater, medarbeidere og kunnskap til store felles forskningsprosjekter som også kan være finansiert av en tredje part. De europeiske innovasjonsundersøkelsene (Community Innovation Surveys – CIS, initiert av Eurostat) gjennomføres annet hvert år på en slik måte at det er mulig å sammenligne resultatene på tvers av deltakerlandene. Undersøkelsen er basert på et felles spørreskjema og felles populasjon og utvalgsmetoder. Bedrifter som innoverer, får blant annet spørsmål om de har samarbeid med nasjonale eller internasjonale, offentlige FoU-institusjoner. Indikatorer basert på CIS kan derfor si noe om hvor mye norsk næringsliv samarbeider med forskningsinstitusjoner i inn- og utland. Indikatorene kan supplere de som er basert på forskningsinstitusjonenes finansiering fra næringslivet, fordi de fanger opp flere samarbeidsformer enn kjøp av FoU. Til gjengjeld gir denne typen indikatorer ikke informasjon om hvor omfattende eller hvor viktig samarbeidet med offentlige forskningsinstitusjoner er for næringslivet.

Kilde: Utvalget basert på tall fra NIFU/Eurostat

Norge gjør det gjennomgående dårlig på indikatorer som viser innovative bedrifters samarbeid med universiteter og høyskoler, offentlige forskningsinstitutter og private konsulenter, kommersielle laboratorier og FoU-aktører.

Mer detaljert omtale av figurene finnes i kapittel 4.

Kilde: Utvalget basert på tall fra NIFU/Eurostat

Kilde: Utvalget basert på tall fra NIFU/Eurostat

Kilde: Utvalget basert på tall fra NIFU/Eurostat/OECD

1.9 Sammenhengen mellom institusjonsstørrelse, publiseringspoeng og siteringer

Det er store forskjeller mellom hva de ulike institusjonene får til forskning fra myndighetene, fra under 10 % til nærmere 50 %. Hvis vi antar at denne fordelingen reflekterer myndighetenes forventninger til hva de enkelte institusjonene skal bidra med, kan vi jamføre det med hva institusjonene faktisk klarer å prestere, målt på ulike måter.

I figur 1.31 har vi jevnført publiseringspoeng per FoU-krone (gjennomsnitt = 1) justert for fagområdeforskjeller og FoU-utgifter i prosent av totalbudsjett for et utvalg institusjoner i universitets- og høyskolesektoren. Figuren bekrefter at det er store forskjeller, spesielt for de mindre institusjonene, med hensyn til hvor mange publiseringer som kommer ut av forskningsbevilgningen. For det store flertallet av institusjonene er det ikke noen systematisk sammenheng mellom forskningsproduktivitet, målt med publiseringspoeng per FoU-krone, og institusjonstype, målt med FoU-utgifter som andel av totalbudsjettet. Men når vi passerer en FoU-andel på 20-30 % av totalbudsjettet, som tilsvarer nivået for de nye universitetene, er det en tendens til at forskningsproduktiviteten målt på denne måten avtar med økende finansieringsandel. Men det kan også være at det er en kvalitetsforskjell på forskningen i blant annet de tradisjonelle breddeuniversitetene og resten av systemet, og at denne forskjellen ikke kommer så godt fram i publiseringspoengmålet. Kvalitet er ikke direkte målbart, men forskningens innflytelse målt gjennom siteringer er det, og dette brukes ofte som en indikator på kvalitet. Det er rimelig å anta at det er en nær sammenheng mellom kvalitet og siteringer for større grupper forskningsarbeider, for eksempel hele institusjoners forskning, spesielt hvis man lykkes i å kontrollere for forskjeller mellom fagområder. I figur 1.32 har vi plottet både siteringer per FoU-krone og publiseringspoeng per FoU-krone, begge deler justert for fagområdeforskjeller, mot institusjonstype målt ved FoU-andel. Som før er det stor variasjon i hvor mye institusjonene får ut av sine forskningsbevilgninger. Men det er en klar positiv sammenheng mellom finansieringsandel og siteringer per FoU-krone. Denne sammenhengen blir sterkere jo høyere finanseringsandelen er. Dette støtter antakelsen om at de store breddeuniversitetene gjennomgående produserer forskning av høyere kvalitet enn resten av systemet.

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH

Kvantitetsdimensjonen, målt ved publiseringspoeng, og kvalitetsdimensjonen, målt ved siteringer, gir altså nokså forskjellige resultater. Siden myndighetene er opptatt av både kvalitet og kvantitet er det nærliggende å spørre om man kan få et bedre vurderingsgrunnlag ved å ta i bruk begge målene samtidig. I figur 1.33 er de to målene vektet til ett med like vekter (0,5 på hver) til et felles mål på forskningsproduktivitet. Når man gjør dette, blir de to trendlinjene (for forskningsproduktivitet og for finansieringsandel) helt parallelle. Det tyder på at den eksisterende fordelingen av forskningsmidler til institusjonene i store trekk samsvarer med deres prestasjoner, når man tar hensyn til både kvalitet og kvantitet. Men noen institusjoner, som universitetene i Oslo, Bergen og Agder og enkelte høyskoler får mer ut av forskningsmidlene enn finansieringsandelen tilsier, mens det er motsatt for andre.

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH/Thomson Reuters

Kilde: Utvalgets beregninger basert på tall fra NIFU/DBH/Thomson Reuters

Denne analysen støtter synspunktet om at man ved å ta hensyn til både publiseringspoeng og siteringer kan få et bedre vurderingsgrunnlag for hvordan institusjonene presterer. Det må imidlertid vurderes nærmere hvordan dette best kan gjøres, noe som vil kreve et utviklingsarbeid.

1.10 Valg av indikatorer for universiteter og høyskoler – noen dilemmaer

Forskningssystemet produserer en rekke resultater som ikke lar seg måle på en enkel måte. Selv om vi bare ser på universitets- og høyskolesektoren, oppstår det flere måleproblemer. For det første lar ikke forskningen seg enkelt avgrense i forhold til andre aktiviteter fordi sektoren også utdanner kandidater med det formål å dekke samfunnets behov for kunnskap. Deler av undervisningen skal være forskningsbasert, og dette gjelder også den delen av undervisningen som ikke direkte knytter seg til forskerutdanningen. I det minste skal utdanningen på mastergradsnivå gi studentene et innblikk i forskningsmetodikk og praksis helst gjennom interaksjon med forskerne selv. Slik sett skal man ikke skille forskning og undervisning helt fra hverandre.

Det forventes også at sektoren skal bidra til samfunnet på en rekke andre områder, helt fra konkrete og «nyttige» bidrag til mer generelle samfunnsoppgaver av typen å bidra til en åpen og informert debatt om viktige samfunnsproblemer. Forskningsformidlingen kan ikke skilles fra forskningen, men er heller ikke identisk med denne. Samlet sett er det altså et meget sammensatt produkt som sektoren skal levere, og det er problematisk å isolere hver enkelt resultatkomponent som et mål på produksjonen for hvert område. Å måle forskningsproduktivitet definert som forskningsresultat i forhold til forskningsinnsats, er derfor problematisk selv om man har rimelig gode mål både på resultat og innsats. Med potensielt betydelig komplementaritet i produksjonen av de ulike resultatene, er det problematisk å skille ut produktiviteten for hver enkelt komponent.

Dersom slike komplementariteter er store ville det være ønskelig å ha en oppskrift på hvordan vi skulle veie sammen forskningsresultater, undervisningstjenester og formidling. Det har vi imidlertid ikke. Verken myndigheten eller andre har gitt oss en klar beskjed om hvordan undervisning, forskning og formidling skal vektlegges. Vi har rett og slett ingen oppskrift på hvordan «epler og bananer» skal veies mot hverandre. I et vanlig marked kan man vurdere å vekte epler og bananer ved hjelp av priser, men på dette området har vi ikke priser. Et alternativ ville være å vekte sammen resultater ved hjelp av (marginale) kostnader på hvert område. En enda enklere metode kunne være å si følgende: Ved universitetene har forskerne i utgangspunktet halv tid til forskning og halv tid til undervisning. Den tiden som går med til administrasjon fordeles likt på de to komponentene forskning og undervisning. La oss derfor si at mål for produksjon av undervisningstjenester målt ved avlagte studiepoeng skal telle like mye som antall publiseringspoeng (som mål på forskningsresultat). Siden vi nå ikke har noe enkelt mål på formidling ser vi i første omgang bort fra dette. Da kan vi med utgangpunkt i like kostnadsandeler til undervisning og forskning måle den samlede produksjonen i sektoren. Et produktivitetsmål oppnås da enkelt ved å dividere på utviklingen i kostnadene i sektoren regnet i faste priser. Boks 1.1 illustrerer dette med tall for Norge fra 2004 og fram til og med 2009.

Analysen foran tok utgangspunkt i en vurdering av at det er vanskelig å skille hvordan ressursinnsatsen i sektoren fordelt på undervisning og forskning fordi undervisningen delvis er forskningsbasert. Det tilsier at man bør vekte resultatene av undervisning og forskning slik at man får med seg mulige komplementaritetseffekter. Man kan også dividere på samlet ressursinnsats i sektoren for å måle produktivitet og slike tall for ressursinnsats er lett tilgjengelige og blir grundig evaluert slik at kvaliteten på ressursmålet er god. Dog skal det påpekes at i offentlig forvaltning er innsatsen av maskiner og bygninger som regel ikke inkludert i målet for innsats. Selv om institusjonene nå har balansetall for verdien av bygninger av maskiner og man beregninger kapitalslitet på driftsmidlene, er kvaliteten her noe mer usikker. Dessuten har man ikke tall for «leieprisen» på driftsmidlene slik at et mer samlet produktivitetsmål er mer komplisert å lage.

Utvalget har i forskningsbarometeret valgt indikatorer for forskningsproduktivitet der resultatene måles hver for seg. En årsak til det er utvalgets mandat som avgrenser arbeidet til offentlige forskningsressurser og resultater og effekter av disse. Forskningsresultatene ses i forhold til forskningsinnsatsen. Forskningsinnsatsen måles gjennom FoU-statistikken. Selv om FoU-statistikken i enkelte tilfeller har mangelfull detaljeringsgrad for mindre enheter og andre land, vurderer utvalget det som nødvendig å bruke den, fordi den gjør det mulig å sammenligne ressursinnsatsen til forskning internasjonalt og på tvers av sektorer, jf. kapittel 4.2.1. Institusjonene i denne sektoren bruker en svært ulik andel av sine ressurser på forskning, fra de store breddeuniversitetene som bruker ca. 45 % til høyskoler som bruker omtrent 10 % av sine ressurser på forskning.

Utfordringen med å velge en slik tilnærming er at den ikke fanger opp komplementariteten mellom de ulike formål institusjonene skal ivareta, jf. over. Det betyr at man kan komme til å undervurdere produktiviteten på et område hvis denne aktiviteten har store positive effekter for aktiviteten på et annet område.