7 Effektivitet og tverrsnittsanalyser

7.1 Kort om ulike mål på effektivitet

Effektivitet er knyttet til utnyttelsen av innsatsfaktorer/ressurser i produksjonen. Jo bedre ressursutnyttelsen er, desto mer effektiv er produksjonen. Som tidligere nevnt er noen av de viktigste «produktene» i høgskolesektoren kunnskapsnivået hos de utdannede kandidatene, forskningsresultater og publikasjoner. Innsatsfaktorer er bl a ulike typer arbeidskraft, bygninger, varer og utstyr. Produksjonen og innsatsfaktorene må sees i forhold til hverandre for at en skal kunne måle effektiviteten i høgskolene.

Effektivitet brukes i betydningen «indre» og «ytre effektivitet». Vi kan si at indre effektivitet er knyttet til om vi gjør tingene riktig, mens ytre effektivitet er knyttet til om gjør de riktige tingene. Ytre effektivitet kan derfor oversettes med formålseffektivitet. For den enkelte institusjon vil formålseffektivitet gå på om en prioriterer de riktige tingene, f eks avveiningen mellom undervisning og forskning. For sektoren som helhet er det bl a et spørsmål om å prioritere den riktige typen utdanning. Utvalget har ikke vurdert formålseffektiviteten ved høgskolene. Dette skyldes både de betydelige teoretiske og praktiske problemene med å gjennomføre en slik analyse, og at mandatet i utgangspunktet er begrenset til å analysere indre effektivitet.

7.2 Mer om indre effektivitet

7.2.1 Teknisk effektivitet og kostnadseffektivitet

I en analyse av indre effektivitet kan det være hensiktsmessig å skille mellom de to begrepene teknisk effektivitet og kostnadseffektivitet. Noe upresist kan vi si at teknisk effektivitet betyr at vi ikke sløser med ressurser. Kostnadseffektivitet betyr at en i tillegg tar hensyn til prisene på innsatsfaktorene, og velger en kombinasjon av innsatsfaktorer som gjør at kostnadene blir så lave som mulig for et gitt produksjonsnivå. Kostnadseffektivitet betyr dermed at vi ikke sløser med budsjettet. For å kunne vurdere hva som er teknisk effektiv produksjon, må vi kunne måle klart definerte kvanta av både innsatsfaktorer og produkter. Måling av kostnadseffektivitet krever i tillegg at vi har informasjon om prisene på innsatsfaktorene.

7.2.2 Skalaeffektivitet

I punkt 7.2.1 har vi drøftet effektivitet for et gitt produksjonsnivå. Et annet spørsmål er hvordan forbruket av innsatsfaktorer endrer seg når produksjonen øker, gitt at produksjonen skal være teknisk effektiv. Vi sier at vi har stordriftsfordeler dersom produksjonen øker prosentvis mer enn bruken av innsatsfaktorer, mens vi i motsatt fall kan snakke om stordriftsulemper. I noen tilfeller kan vi ha stordriftsfordeler for lave produksjonsnivåer som følge av faste innsatsfaktorer som vi ikke får utnyttet fullt ut når produksjonen er lav. For høye produksjonsnivåer kan imidlertid bruken av innsatsfaktorer stige prosentvis mer enn produksjonen. En høgskole som produserer på det nivået der forholdet mellom produksjon og innsatsfaktorer er størst mulig, sier vi er skalaeffektiv. I forbindelse med høgskolereformen kan det være naturlig å tenke på eventuelle stordrifts- eller skalafordeler i tilknytning til å slå sammen ulike høgskoler.

Skalaeffektivitet er illustrert i figur 7.1. Figuren viser produksjon av en vare (f eks utdanning målt i antall vekttall) ved hjelp av én innsatsfaktor (f eks lærerårsverk). Produksjon langs kurven A er teknisk effektiv, og de tre punktene P1, P2 og P3 illustrerer dermed alle teknisk effektiv produksjon 1. Produksjonen av vekttall pr lærerårsverk er imidlertid høyest i punktet P2, og dette punktet illustrerer dermed skalaeffektiv produksjon. I de to punktene P1 og P3 er produksjonen hhv for lav og for høy til å være skalaeffektiv. I tillegg har vi tegnet inn punktet P4 som ligger under kurven A, og dermed illustrerer et punkt der produksjonen ikke er teknisk effektiv.

Gevinster ved å slå sammen virksomheter kan deles inn i to kategorier: Breddeog størrelse. Et eksempel på «breddegevinst» er at en ved å slå sammen flere høgskoler til en høgskole, vil kunne ha bedre muligheter for å sette sammen nye studietilbud. En annen breddegevinst er at ulike fagmiljøer kan samarbeide og dermed bidra til et høyere faglig nivå. «Størrelsesgevinsten» kan illustreres ved at én stor høgskole kan være mer effektiv enn en liten fordi fellesfunksjonene ved den store høgskolen kan betjene mange studenter og ansatte, og en får dermed en lavere kostnad pr enhet. Eksempler på slike fellesfunksjoner kan være systemer for regnskap, lønn og studentregistrering. Disse kan være felles for en stor høgskole, og en kan dermed spare ressurser i forhold til en situasjon med mange små høgskoler. En kan også få til bedre utnytting av felles lokaler. Bredde- og størrelsesulemper kan også forekomme. En høgskole kan bli så stor at det er vanskelig å holde oversikt over virksomheten. Det kan føre til dårligere utnyttelse av ressursene dersom en ikke klarer å organisere virksomheten på en god måte. I forbindelse med høgskolereformen kan det også tenkes stordriftsulemper pga geografiske avstander mellom ulike avdelinger som er slått sammen uten å ha blitt samlokalisert.

7.3 Metode for å analysere effektivitet og produktivitet

Høgskolene produserer produktene utdanning og forskning ved hjelp av ulike typer arbeidskraft og kapitalutstyr som innsatsfaktorer. I dette kapitlet skal vi drøfte om det er mulig å sammenlikne effektiviteten i ulike høgskoler med ulikt produksjonsvolum, ulik produksjonssammensetning og ulik sammensetning av innsatsfaktorer. Kapitlet bygger på et arbeid som SNF-Oslo har utført for utvalget ved hjelp av en såkalt DEA-analyse, se SNF-rapport 14/98.

En mulig metode for å sammenlikne effektiviteten i ulike høgskoler ville være å ta utgangspunkt i et beregnet forhold mellom ett produkt og én innsatsfaktor for hver skole 2. Med flere produkter og flere innsatsfaktorer må imidlertid de ulike forholdstallene veies sammen dersom vi skal sammenlikne den totale effektiviteten for flere skoler. Det er imidlertid ikke gitt hvilke vekter som skal benyttes i en slik sammenveining, selv om resultatet åpenbart kan være svært følsomt for valg av vekter. DEA er en metode der disse vektene bestemmes ut fra beste observerte praksis, gitt visse forutsetninger om produksjonsteknologien. I det følgende gjør vi kort rede for metoden. For en mer omfattende drøfting vises det til rapporten fra SNF.

Bruk av DEA-analyse krever at vi definerer produksjonsenheter, produkter og innsatsfaktorer, se nærmere omtale i kapittel 7.4 om viktige forutsetninger for metoden. I SNFs analyse har en valgt å definere hver høgskoleavdeling som en produksjonsenhet, utdanning og FoU-virksomhet er produkter, og faglige årsverk, ikke-faglige årsverk, bygg og øvrige driftsutgifter er innsatsfaktorer, se nærmere omtale i kapittel 7.5. DEA-analysen etablerer en norm for beste praksisbasert på alle de dataene som foreligger. Enheter som er effektive, har pr definisjon effektivitet lik 1. Enheter som ikke tilhører beste-praksis gruppen, blir beregnet relativt til denne gruppen, og får et effektivitetstall som er mindre enn 1 3.

For å etablere en norm for beste praksis må vi ta stilling til om vi skal forutsette en proporsjonal sammenheng mellom produksjon og innsatsfaktorer (konstant skalautbytte), eller om vi kan tillate stordriftsfordeler eller -ulemper (varierende skalautbytte). I analysen er det tatt hensyn til at det kan være stordriftsfordeler eller -ulemper i undervisning og forskning. Dette innebærer at størrelse i seg selv framstår som en mulig forklaring på hvorfor en høgskoleavdeling er relativt ressurskrevende i forhold til en annen.

En avdeling som ikke er effektiv, kan produsere like mye som den gjør nå ved bruk av mindre innsatsfaktorer. Alternativt kan den produsere mer uten å endre bruken av innsatsfaktorer. Med varierende skalautbytte kan vi også vurdere hvordan størrelsen på avdelingen påvirker effektiviteten. Dette gir grunnlag for å definere flere effektivitetsmål, se nærmere omtale i SNF-rapporten. I dette kapitlet vil vi konsentrere oss om det innsatsfaktorbesparende målet E1, som måler ressursbruk ved beste praksis i forhold til observert ressursbruk (innsatsfaktorbesparende teknisk effektivitet). Dette målet indikerer dermed om en avdeling bruker mer ressurser enn nødvendig for å oppnå sitt produksjonsomfang, gitt avdelingens størrelse. I tillegg vil vi se på målet E3, som måler observert produktivitet (forhold mellom produksjon og innsatsfaktorer) i forhold til maksimal beste praksis produktivitet (brutto skalaeffektivitet). Dette målet indikerer dermed både teknisk effektivitet og om avdelingen har en optimal størrelse.

7.4 Viktige forutsetninger for DEA-analysen

Det er viktig å være oppmerksom på at alle enheter i en DEA-analyse implisitt forutsettes å ha samme produksjonsteknologi. Dersom vi f eks ikke skiller mellom produktene sykepleierutdanning og økonomutdanning, vil eventuelle forskjeller mellom to avdelinger som produserer den ene eller den andre utdanningstypen, bli registrert som forskjeller i effektivitet. I SNF-rapporten er det ikke differensiert mellom produksjon av ulike typer høgskolekandidater. Dette innebærer en antakelse om at ulike typer utdanning er like ressurskrevende, noe som neppe er realistisk. En må derfor være varsom med å tolke resultatene fra analysen, spesielt når det er ulike utdanningstyper som sammenliknes. Like utdanningstyper vil imidlertid i større grad være sammenliknbare, selv om det kan være problemer knyttet til datakvalitet, se bl a omtalen av FoU i kapittel 7.5.

SNF har heller ikke inkludert mål for kvalitet i analysen, f eks i form av karakterer på uteksaminerte kandidater. I en mer uttømmende analyse kunne en f eks tenke seg å benytte karakterer til å beregne hver avdelings forventede effekt på kandidatens kunnskapsøkning. Denne effekten kunne betraktes som en kvalitetsindikator. I en slik analyse måtte en korrigere for kandidatens karakterer fra tidligere skoler (lavere skolenivåer) og for familiebakgrunn og andre karakteristika. Hver avdelings gjennomsnittlige bidrag kunne i neste omgang inngå i effektivitetsberegningene som et uttrykk for kvalitet. Denne typen analyser er gjort i Bonesrønning og Rattsø (1994) på videregående skoler i Sør-Trøndelag og Nordland 4. SNF har imidlertid ikke hatt tilgang til så omfattende data, og har heller ikke hatt tilstrekkelig gode data for karakterer på uteksaminerte kandidater ved høgskolene til å utføre enklere analyser.

Mangelen på kvalitetsmål skaper problemer for tolking og bruk av analysen. Eventuelle avdelinger som har lav ressursbruk, men også lav undervisningskvalitet, vil fremstå som effektive i DEA-analysen så lenge studentene består eksamen. Hvis høgskolene har redusert ressursbruken på bekostning av studiekvalitet, vil dette derfor ikke nødvendigvis fanges opp i DEA-analysen. Slike tiltak kan f eks bestå i å la undervisningen i enkelte fag foregå i svært store grupper med små muligheter for toveis kommunikasjon mellom lærer og student.

7.5 Innsamling av data og datakvalitet

7.5.1 Innsamling av data og valg av variable

For å finne data på avdelingsnivå har SNF i samråd med utvalget sendt ut spørreskjema til samtlige 26 statlige høgskoler. I utgangspunktet ønsket utvalget data for hele perioden 1992-97 for å kunne studere effekten av sammenslåingen over tid. Det har imidlertid bare vist seg mulig å få data for perioden 1994-96.

Som omtalt i kapittel 7.3 er det benyttet to produkter og fire innsatsfaktorer i analysen. Produktet utdanning er definert som antall ferdig uteksaminerte kandidater multiplisert med antall vekttall den bestemte utdanningen er normert til. Et ettårs studium er normert til 20 vekttall. Denne produktdefinisjonen medfører at en student som f eks gjennomfører et treårig studium, ikke gir utslag i avdelingens samlede produksjon før det året studiet er fullført. Bruken av innsatsfaktorer vil imidlertid bli registrert helt fra studiet påbegynnes. Dette bidrar til å redusere effektiviteten slik den måles i analysen for de avdelingene som har størst økning i antall studenter.

Produktet FoU er definert som summen av produserte artikler i vitenskapelige tidsskrifter, lærebøker og faglige bøker og kapitler i slike bøker. Arbeidsnotater, kompendier, konferansebidrag m m inngår ikke i FoU-variabelen. Utover dette er det ikke foretatt noen kvalitetsmessig vekting av ulike typer publikasjoner. Som omtalt i kapittel 5 kan det imidlertid reises tvil om datakvaliteten når det gjelder FoU.

Innsatsfaktoren faglige årsverk er definert som antall faglige årsverk som er direkte knyttet opp mot produksjonen av kandidater og FoU. Oppdragsansatte, personale i bistillinger og timelærere regnes også med som faglige årsverk i SNFs analyse. Dette skiller seg fra forutsetningene som er benyttet i kapittel 3. Innsatsfaktoren ikke-faglige årsverk er alle andre årsverk i høgskolene, slik som teknisk og administrativt personale.

Innsatsfaktoren bygningerer definert som antall kvadratmeter bygningsmasse den enkelte avdeling disponerer. Det er ikke mulig å finne et godt volummål for innsatsfaktorer eksklusive arbeidskraft og bygg, og innsatsfaktoren drift er dermed definert som driftsutgifter minus lønnsutgifter. Dette er dermed en heterogen innsatsfaktor som bl a omfatter ulike typer utstyr.

7.5.2 Datakvalitet og spredning av data

DEA-analysen er sårbar for datafeil for de mest effektive enhetene. Det kan derfor være nyttig å rangere avdelingene etter stigende verdi på ulike forholdstall, både for å vise den totale variasjonen i fordelingen, formen på fordelingen, hvor store og små enheter er lokalisert, og om noen av observasjonene kan karakteriseres som ekstreme. Omtalen er knyttet til data fra 1996, der datakvaliteten antas å være best.

SNF-rapporten har konsentrert seg om i alt fire forholdstall. Disse forholdstallene er illustrert i figur 7.2 til 7.5. Vekttallsproduksjonen pr faglig ansatt varierer fra 25 til 538, med en median på 228 (fig 7.2). En liten hale av avdelinger som representerer 5 pst av studentene, har ekstremt lav produktivitet, mens om lag 5 pst er avdelinger med ekstremt høy produktivitet. Inspeksjon av dataene gir ifølge SNF ikke noen grunn til å tvile på de opplysningene som er gitt.

Kilde: SNF

Det er større spredning i FoU pr faglig ansatt enn det er i vekttallsproduksjon (fig 7.3). Avdelinger som representerer 6 pst av studentene, har ingen FoU-produksjon, mens en gruppe avdelinger som representerer 7 pst av studentene, har ekstremt høy FoU-produksjon. Disse enhetene er gjennomgående små, noe som ikke er overraskende dersom små avdelinger har en tendens til større varians i FoU-aktivitet. Ut fra dataene er det vanskelig å fastslå om høy FoU-produksjon går på bekostning av høy vekttallsproduksjon.

Den store spredningen i FoU-produksjon gjør at en kan stille spørsmål ved kvaliteten på enkelte av de innrapporterte resultatene. SNF har derfor også utført en DEA-analyse med utdanning som eneste produkt, se omtale i kapittel 7.6.3.

Forholdet mellom faglige og ikke-faglige ansatte viser en forholdsvis jevn spredning uten spesielt mønster når det gjelder størrelse på avdelingen (fig 7.4). Dette kan i noen grad skyldes at ansatte i fellesadministrasjon er fordelt av SNF etter antall studenter i hver avdeling. Forholdet mellom innsatsfaktoren drift og antall vekttall varierer imidlertid betydelig (fig 7.5). En liten avdeling har svært høye driftsutgifter pr vekttall. En slik lite effektiv enhet vil imidlertid ikke påvirke den effektive fronten, og vil dermed ha liten betydning for resultatene fra den samlede DEA-analysen.

7.6 Resultater fra DEA-analysen

7.6.1 Teknisk effektivitet

Vi starter med å se på E1-målet, som viser hvor stor andel av de faktisk forbrukte ressursene en avdeling ville benytte dersom den var teknisk effektiv. Resultatene er illustrert i figur 7.6. Den loddrette aksen måler effektiviteten. Langs den vannrette aksen ligger avdelingene bortover, og bredden på hver søyle representerer størrelsen på hver avdeling målt ved registrert antall studenter. Avdelingene er ordnet etter stigende effektivitetstall.

Kilde: SNF

Av de 99 avdelingene er det 33 som er 100 pst effektive (dvs E1 = 1). Disse avdelingene omfatter om lag 37 pst av antall registrerte studenter. Beste praksis omfatter både små og store avdelinger. I den andre enden av skalaen er de minst effektive avdelingene, som i hovedsak består av store og mellomstore avdelinger. Variasjonsbredden er ganske stor, og den minste effektive avdelingen har et E1-mål på 0,21. Denne avdelingen kan altså ifølge DEA-analysen klare seg med 21 pst av de ressursene den faktisk bruker, og likevel opprettholde samme produksjon. Resultatet er imidlertid avhengig av at forutsetningene for analysen faktisk holder, se bl a omtalen i kapittel 7.4.

Den samlede innsparingen hvis alle avdelinger blir 100 pst effektive, kan anslås ved å se på differanse i areal mellom nivået 1 på den vertikale aksen og den faktiske effektivitetsfordelingen. Det samlede innsparingspotensialet er om lag 23 pst av nåværende ressursbruk.

7.6.2 Skalaeffektivitet

I figur 7.7 benyttes effektivitetsmålet E3, som illustrerer både skalaeffektivitet og teknisk effektivitet. De effektive avdelingene etter E3-målet må være en undergruppe av de avdelingene som var effektive etter E1-målet. De effektive avdelingene representerer nå om lag 15 pst av studentene. Disse avdelingene er i hovedsak mellomstore, mens både små og store avdelinger har skalaulemper.

Kilde: SNF

Spredningen ved bruk av effektivitetsmålet E3 er ganske stor, fra 0,13 til 1. Blant de minst effektive enhetene (E3 < 0,5) finner vi både små og store avdelinger, som i alt representerer nesten 20 pst av studentene.

7.6.3 Utdanning som eneste produkt

Det kan være enkelte problemer knyttet til datakvaliteten på FoU-variablen, se nærmere omtale i kapittel 5. Et problem er bl a hvordan kompendier, konferanseinnlegg o l oppfattes i forhold til forskning. Det er derfor interessant å vurdere hvor avhengige resultatene er av FoU-variablen. Dette kan gjøres ved å benytte utdanning som eneste produkt.

Med en variabel mindre må effektivitetsmålet (E1) gå ned eller forbli det samme. SNF har testet om gjennomsnittet er signifikant endret, identifisert avdelingene med størst endring og testet om rangeringen av avdelinger endres signifikant. Gjennomsnittlig reduksjon av FoU-tallene er 0,04, noe som ikke gir en signifikant endring. Videre beholder 60 av 99 avdelinger samme effektivitetstall. En test av rangering gir en rangkorrelasjon på 0,84 med og uten FoU 5.

Det er av spesiell interesse om avdelinger som er effektive med FoU, ikke er det når denne variablen sløyfes. Av de 33 effektive er det sju som er ineffektive når FoU-variablen ikke er med. Av disse er det imidlertid tre som ikke påvirker effektivitetsmålet for andre avdelinger, og én som bare er referanseenhet for én annen avdeling 6.

Av de 39 enhetene som får lavere effektivitetstall, har 20 endringer under 0,05. Fire enheter har spesielt store endringer, fra 0,3 til 0,67. De to avdelingene med størst endringer har ifølge kontroll fra SNF rapportert hhv. konferanseinnlegg og kompendier som FoU, men ingen av disse avdelingene påvirker effektivitetsmålet for andre avdelinger. De to neste avdelingene, rangert etter endringer, har rapportert FoU-resultater som ifølge SNF virker tilforlatelige. Den ene av disse påvirker heller ikke effektivitetsmålet for andre avdelinger. Samlet sett synes det derfor som om problemene med datakvaliteten for FoU-variablen har liten virkning for hovedresultatene fra analysen, selv om resultatene for enkelte avdelinger blir påvirket når FoU-variablen sløyfes.

7.6.4 Profesjonsstudier

Helse- og sosialfaglig utdanning, lærerutdanning og ingeniørutdanning regnes normalt som profesjonsstudier. Av de 33 effektive avdelingene er det 14 som er profesjonsstudier, og av disse er det bare fire som også er skalaeffektive. (Fordelingen mellom profesjonsstudier og andre studietyper blir ikke helt entydig, bl.a. fordi enkelte avdelinger kan tilby studier innen begge kategorier.) Dette kan gjenspeile forskjeller mellom profesjonsstudier og øvrige studier som ikke er spesifisert i DEA-analysen, og som derfor henføres til manglende teknisk effektivitet eller manglende skalaeffektivitet, se omtale i kapittel 7.4. SNF har derfor gjennomført en analyse som bare omfatter profesjonsstudiene. (Det vil ikke gi mening å gjennomføre tilsvarende analyse for de teoretiske avdelingene da antallet er for lite.)

Resultatene fra SNFs analyse er gjengitt i figur 7.8 med E1 som effektivitetsmål.

14 profesjonsavdelinger er nå blitt 100 pst teknisk effektive i tillegg til de 14 som var effektive i det totale materialet. Selv om de enkelte effektivitetstallene er blitt noe høyere, er strukturen noenlunde den samme. Effektive avdelinger representerer noe over 40 pst av avdelingene. Et typisk trekk er at store og mellomstore avdelinger dominerer blant de ineffektive avdelingene med effektivitetstall på 0,7 og lavere. Disse avdelingene står for om lag 25 pst av studentene.

Kilde: SNF

Det framgår av figuren at DEA-analysen viser ganske stor total ineffektivitet når vi bare studerer profesjonsavdelinger. I den forbindelse må det likevel understrekes at vi fortsatt forutsetter at vekttall fra ulike profesjonsstudier produseres på samme måte, slik at det ikke skilles mellom f eks sykepleierstudier og ingeniørstudier. På den annen side viser analysen for beregnede effektivitetstall at det også er stor forskjell i beregnet effektivitet innenfor samme type profesjonsstudium. Ulike avdelinger for lærerutdanning har f eks effektivitetstall som varierer mellom 0,60 og 1, mens ulike avdelinger for sykepleierutdanning har effektivitetstall som varierer mellom 0,67 og 1. Slike forskjeller kan bl.a. skyldes ulik vekst i antall studenter, se nærmere omtale i kapittel 7.5.1. Det er likevel naturlig å følge opp slike forskjeller mellom likeartede avdelinger i et videre arbeid for å øke effektiviteten i sektoren, se omtale i kapittel 7.8.

SNF har også utført en analyse av profesjonsstudiene med utdanning som eneste produkt. På samme måte som for analysen av alle avdelinger samlet (se kapittel 7.6.3), gir dette forholdsvis liten endring i effektivitetsmålet (E1). Den gjennomsnittlige endringen i effektivitet er på 0,05, noe som er en ikke-signifikant endring. Av ialt 64 avdelinger beholder 44 samme effektivitetstall, og rangkorrelasjonen er på 0,80 med og uten FoU.

Av de 28 avdelingene som var effektive med FoU, er det åtte som er ineffektive når FoU-variablen ikke er med. Tre enheter har stor nedgang i effektivitet når FoU ikke inkluderes. Av disse er det to avdelinger som ikke påvirker effektivitetsmålet for andre avdelinger. Den tredje avdelingen påvirker imidlertid andre avdelinger, og har også feilrapportert antall forskningspublikasjoner.

7.6.5 Produktivitetsutvikling 1994-96

SNF har også utført en analyse av produktivitetsutviklingen fra 1994 til 1996. I analysen beregnes en såkalt Malmquist-indeks, som vurderer utvikling over tid i observert produktivitet (utvikling i indeksmål E3) 7. Resultatene er illustrert i figur 7.9. Hver søyle representerer som vanlig én avdeling, mens bredden på søylen reflekterer antall heltidsstudenter i 1996. Tallene er kalibrert slik at tall mindre enn 1 betyr tilbakegang, og tall større enn 1 betyr framgang. Et tall på f eks 1,10 skal tolkes som om avdelingen har en produktivitetsframgang på 10 pst, mens et tall på 0,80 representerer en tilbakegang på 20 pst.

Kilde: SNF

Kilde: SNF

Kilde: SNF

I fig 7.10 viser vi produktivitetsendringen fra 1994 til 1995. Avdelinger med tilbakegang representerer nesten 30 pst av studentmassen, mens avdelinger med framgang representerer om lag 70 pst. Som en hovedtendens er det store og mellomstore avdelinger som dominerer i gruppen med tilbakegang, mens små enheter dominerer gruppen med framgang (med noen klare unntak). Nivået for framgang ligger klart over nivået for tilbakegang.

Utviklingen fra 1995 til 1996 er illustrert i fig 7.9. Avdelinger med positiv produktivitetsutvikling har nå om lag 60 pst av studentene. Det er nå små avdelinger som dominerer i gruppen med tilbakegang, mens store og mellomstore enheter klart dominerer gruppen med størst framgang (med unntak av to små avdelinger helt på topp). Framgangen ligger på et klart høyere nivå enn tilbakegangen (målt i prosentpoeng).

Fig 7.11 viser utviklingen fra 1994 til 1996. Med bruk av Malmquist-indeksen blir denne utviklingen produktet av utviklingen i de to foregående panelene. Det er derfor ikke overraskende at det ikke er noen klar tendens til om store eller små avdelinger dominerer gruppene med framgang eller tilbakegang. Andelen avdelinger med framgang stiger imidlertid ytterligere, og representerer nå over 75 pst av avdelingene.

7.7 Sammenhengen mellom beregnet effektivitet og eksterne variable

En meningsfull DEA-analyse krever at antall observasjoner står i rimelig forhold til antall variable i DEA-modellen. I anvendelser av DEA-metoden er det derfor blitt mer og mer vanlig kun å la sentrale variable inngå i DEA-beregningene. Øvrige variable betegnes eksterne variable, og tas først inn i andre trinn ved bruk av regresjonsanalyser. SNF har benyttet fire slike eksterne variable for å forklare sammenhengen mellom effektivitetstallene.

Den første eksterne variabelen er andelen førsteamanuenser (og høyere) sett i forhold til det totale antallet faglige årsverk ved hver avdeling. Det er grunn til å tro at forskningsproduksjonen er høyere desto større andel førsteamanuenser en avdeling har. Det er også mulig at en økning i andelen førsteamanuenser bedrer undervisningskvaliteten, slik at karakterene blir bedre og jobbsannsynligheten øker. En slik direkte analyse av undervisningskvalitet har ikke vært mulig å gjennomføre med tilgjengelige data. Det er imidlertid sannsynlig at bedre undervisningskvalitet også påvirker gjennomstrømningen av studenter, og dette vil i så fall ha en positiv virkning på effektiviteten når produktet er antall uteksaminerte kandidater.

Den andre eksterne variabelen er knyttet til valg av organiseringsform. SNF har konstruert en indeks for grad av sammenslåing ved å ta antall avdelinger ved hver enkelt høgskole i dag og dele på antall tilhørende høgskoler før reformen. Antakelsen er at en reduksjon i samlet antall avdelinger i forhold til tidligere antall høgskoler vil bedre effektiviteten som følge av bedre utnyttelse av fellesressurser m m.

SNF har også benyttet antall studieretninger ved hver avdeling som en ekstern variabel. Tankegangen er at det er ressurskrevende å opprette eller opprettholde mange studieretninger. Registering av antall studieretninger har medført enkelte definisjonsproblemer, som er nærmere omtalt i SNF-rapporten.

Den fjerde eksterne variabelen er knyttet til mulighetene for omstilling innenfor en høgskole. I de siste årene har særlig ingeniør- og realfagsutdanningene opplevd en nedgang i antall søkere. En mulig hypotese er i så fall at det er en negativ sammenheng mellom effektivitet og tilbud av ingeniørutdanning dersom en høgskole ikke har klart å redusere ressursbruken til ingeniørutdanning når antall søkere har gått ned. SNF har derfor tatt med en dummyvariabel, som måler om avdelingen tilbyr ingeniørutdanning eller er en realfags-/teknologiavdeling som utdanner ingeniører 8.

Regresjonsanalysen er gjennomført ved å benytte vanlig minste kvadraters metode, se omtale i SNF-rapporten. Effektivitetsmålet E1 er en avhengig variabel, mens de fire eksterne variablene er forklaringsvariable. Resultatene er gjengitt i tabell 7.1 (1996-tall).

Tabellen viser at bare variablene for ingeniørutdanning og andelen førsteamanuenser har forventet fortegn og er signifikante på vanlige nivåer 9. Variabelen for antall studieretninger har forventet fortegn, men er ikke signifikant forskjellig fra null. Variabelen for organiseringsform (antall nye avdelinger/antall gamle høgskoler) har derimot positivt fortegn. Regresjonsmodellen predikerer derfor at effektiviteten for en gitt høgskole er høyere jo flere avdelinger høgskolen har relativt til det tilhørende antall høgskoler før reformen. Dette er ikke i tråd med en antakelse om at sammenslåing av avdelinger gir bedre ressursutnyttelse gjennom bedre bruk av fellesressurser.

Analysen forklarer samlet sett bare 16,5 pst av den samlede variasjonen i effektivitetsmålet E1 (R2 = 0,165) 10. En tilsvarende analyse basert på data fra 1995 gir enda lavere forklaringsgrad (R2 = 0,091), se omtale i SNF-rapporten. Denne analysen gir for øvrig kvalitativt samme resultater som analysen med 1996-data. Imidlertid er det bare andelen førsteamanuenser som er en signifikant forklaringsvariabel i 1995-analysen.

SNF har også analysert hvilke av variablene i DEA-analysen som har størst betydning for produktivitetsutviklingen (målt ved Malmquist-indeksen for perioden 1995-96). Analysen viser at økning i antall vekttall pr faglig ansatt gir størst positivt utslag på produktivitetsutviklingen. Tilsvarende har økning i variabelen drift (driftsutgifter minus lønnsutgifter) gitt sterkest negativt bidrag til produktivitetsutviklingen.

7.8 Vurdering av DEA-analysen

I dette avsnittet vurderer utvalget hvilke konklusjoner det synes rimelig å trekke fra DEA-analysen. Utvalgets samlede vurderinger om økonomien i høgskolesektoren gjengis i kapittel 8.

DEA-analysen bygger på en forutsetning om at alle studietyper krever samme ressursinnsats, se omtale i kapittel 7.4. Analysen inneholder heller ikke mål for kvaliteten på studietilbudene ved ulike høgskoleavdelinger. I tillegg er det på enkelte områder usikkert om datakvaliteten er så god som ønskelig, se særlig omtalen av produktet FoU i kapittel 5. Resultatene fra DEA-analysen bør derfor etter utvalgets vurdering ikke uten videre benyttes til å trekke klare konklusjoner om effektivitet på avdelingsnivå.

Til tross for at det er vanskelig å trekke klare konklusjoner på avdelingsnivå fra SNFs arbeid, mener utvalget likevel at analysen gir grunnlag for å vurdere hvilke områder som peker seg ut for nærmere arbeid. Spesielt kan det etter utvalgets oppfatning være nyttig med en mer detaljert analyse av likeartede avdelinger som fremstår med ulik effektivitet i analysen, se særlig omtalen av profesjonsstudier i kapittel 7.6.4. Antallet avdelinger er for lite til å gjennomføre en statistisk analyse innenfor hver utdanningstype. Videre vil registrerte forskjeller i effektivitet kunne skyldes ulik vekst i antall studenter, se omtale i kapittel 7.5.1. Dette forhindrer likevel ikke at et nærmere studium kan avdekke interessante årsakssammenhenger. Slike analyser kan i sin tur legge grunnlag for vurderinger av hvor stor ressursinnsats som er rimelig for ulike typer avdelinger. Utvalget vil imidlertid understreke at et eventuelt styringssystem basert på produksjonsmål e l, må følges av en tilstrekkelig god kvalitetskontroll for å unngå at lavere ressursbruk fører til uønsket kvalitetsforringelse, se bl a omtalen i kapittel 7.4 og 4.

Profesjonsstudier fremstår i analysen som jevnt over mindre effektive enn andre høgskolestudier. Dette kan i stor grad skyldes at profesjonsstudiene faktisk krever større ressursinnsats for et gitt produksjonsnivå, og ikke at profesjonsstudiene reelt sett er mindre effektive, se drøftingen i kapittel 7.4. Forskjellene er imidlertid såvidt betydelige at de bør analyseres videre, f.eks. ved å analysere ressursbruken i sammenliknbare fag. Utvalget har ikke hatt mulighet til å gjennomføre en slik analyse innenfor den tiden som har vært til rådighet. Utvalget vil også understreke at høy ressursbruk kan skyldes bedre studiekvalitet. I mange profesjonsstudier er det tradisjon for undervisning i relativt små klasser, og en kan ikke se bort fra at studentene ved slike studier har et bedre undervisningstilbud enn studentene ved mindre ressurskrevende studier. Det er derfor ikke nødvendigvis ønskelig å etablere en minst mulig ressurskrevende studieform som norm, se omtalen i kapittel 7.4.

Resultatene fra DEA-analysen gir ikke grunnlag for å hevde at høgskolereformen isolert sett har bidratt til økt effektivitet i sektoren. Analysen gir ikke støtte til en antakelse om at store enheter gjennomgående er mer effektive. Analysen er imidlertid basert på datamateriale fra 1995 og 1996, og dette kan være for kort tid etter reformen til at det har vært mulig å hente ut eventuelle administrative gevinster, se nærmere omtale i kapittel 6.

Utvalget finner det sannsynlig at manglende omstilling kan være en forklaring på effektivitetsforskjeller, se variablen for ingeniørutdanning i regresjonsanalysen i kapittel 7.7. Dette kan delvis skyldes at høgskolene har begrenset frihet til å tilpasse innsatsfaktorene optimalt både når det gjelder undervisningspersonale, administrasjon og bygg.

Det er etter utvalgets oppfatning uklart om økt kompetanse for faglige ansatte (flere førsteamanuenser eller høyere) bidrar til mer effektiv produksjon slik regresjonsanalysen antyder. Resultatene fra analysen kan bl a skyldes at andelen førsteamanuenser er høyere i økonomisk-administrative fag o l som i utgangspunktet må antas å være minst kostnadskrevende.

Utvalget vil som en samlet vurdering vise til at de ulike høgskoleavdelingene fremstår med forholdsvis store effektivitetsforskjeller i DEA-analysen. Dette gjelder også når forholdsvis likeartede avdelinger sammenliknes. Som omtalt ovenfor bør imidlertid analysen etter utvalgets oppfatning ikke uten videre benyttes til å trekke klare konklusjoner om effektivitet på avdelingsnivå. Dette skyldes problemer både ved datakvalitet og produktmål, spesielt når det gjelder kvalitetsaspekter ved utdanning og FoU. Ulik vekst i antall studenter kan også ha hatt betydning for de registrerte effektivitetsforskjellene. Disse måleproblemene kan ha bidratt til de store forskjellene i effektivitet som forekommer i analysen, og kan også ha vært av betydning for rangeringen av de ulike avdelingene mht effektivitet. Analysen peker likevel mot at det kan være vesentlige effektivitetsforskjeller, og gir etter utvalgets oppfatning grunnlag for å vurdere hvordan en videre analyse kan innrettes for å avdekke de reelle effektivitetsforskjellene. Utvalget vil derfor tilrå at det på grunnlag av DEA-analysen arbeides videre med å vurdere effektiviteten i høgskolesektoren. I den forbindelse vil utvalget peke på at det bør legges vekt på å forbedre datagrunnlaget i sektoren, særlig når det gjelder mulige mål for undervisningskvalitet og resultatrapportering innen FoU.