4 Kvalitetsutvikling og evaluering

4.1 Innledning

Sentralt i utvalgets forslag er at det etableres ordninger for selvevaluering og såkalt metaevaluering. Dette må sees i sammenheng med forslaget om å fjerne statens direkte myndighet over forvaltning av skolenes faglige innhold, særlig ved å avskaffe tilsynsmannsembetet, og styrke og klargjøre skolenes ansvar for kvalitetsutvikling.

Utvalget foreslår i denne sammenhengen at krav om å gjennomføre årlig selvevaluering settes som et vilkår for å få godkjenning og statstilskudd, se kapittel 5.

Utvalget har i første rekke valgt å drøfte hvilke prinsipper som bør ligge til grunn for selvevaluering og metaevaluering, og har ikke vurdert eller foreslått konkrete metoder for hvordan dette bør gjennomføres.

4.2 Formål med systemer for kvalitetsutvikling

Innenfor høyere utdanning, både nasjonalt og særlig internasjonalt, har det lenge pågått utviklingsarbeid når det gjelder systemer for kvalitetssikring og -utvikling. Dette er blant annet et viktig tema i Mjøsutvalgets utredning NOU 2000: 14 Frihet med ansvar – om høgre utdanning og forskning i Norge. Det anvendes mange begreper om kvalitetssikring og -utvikling og ulike systemer for evaluering. Det er nødvendig å avgjøre hvilke formål et slikt system skal ha, da disse i stor grad vil legge premissene for utforming av selve systemet.

I henhold til faglitteraturen omkring dette temaet kan det sies å ligge to hovedambisjoner til grunn for utvikling og innføring av systemer for kvalitetssikring og -utvikling. Den ene er et ønske om kontroll og styring med det som foregår innenfor utdanningsinstitusjonene, og den andre et ønske om utvikling innenfor de samme institusjonene. I høyere utdanning har utøvelse av statlig kontroll ofte sammenheng med hvilke utdanningsideologiske tradisjoner landene er influert av. Eksempelvis kan en finne store variasjoner mellom det som betegnes som den kontinentale og den britiske tradisjonen. Innenfor den kontinentale tradisjonen, der Norge til en viss grad befinner seg, utøves kontrollen hovedsakelig i forkant gjennom forordninger og rammebetingelser, mens det innenfor den britiske tradisjonen i større grad utføres kontroll ved realiseringen av institusjonenes planer i ettertid. Det er en økende tendens til at utviklingsaspektet får en større vektlegging, noe som følger av en erkjennelse av at sterk og omfattende kontroll ikke nødvendigvis bedrer eller sikrer kvaliteten. 1

Parallelt til dette snakkes det om formativ og summativ evaluering. Den formative evalueringen har til hensikt å gi tilbakemelding slik at det kan gjøres forbedringer fortløpende i arbeidet. Den summative evalueringen har som formål å gi en tilstandsanalyse ved et fast tidspunkt. Skillet mellom de to hovedformene er mye brukt i forhold til evaluering av studentprestasjoner. De endringene det nå legges opp til i forbindelse med en kvalitetsreform i høyere utdanning, jf. St.meld. nr. 27 (2000-2001), er at institusjonene i større grad skal legge opp til formative evalueringsformer, det vil si at studentene får tettere oppfølging i løpet av studiene, og at prestasjonene evalueres fortløpende, i stedet for at resultatet måles kun ved en eksamen på slutten av studieåret.

4.3 Behov for å legitimere virksomhet

Behovet for å legitimere bruk av offentlige midler er en av hovedbegrunnelsene for å etablere systemer for kvalitetsutvikling og evaluering. Som nevnt har spørsmål om kvalitet og effektivitet i utdanningen hittil hovedsakelig vært diskutert i andre land og for høyere utdanning. Det er flere forhold som har medvirket til å øke oppmerksomheten rundt dette, blant annet en kraftig økning i antall studenter og dertil økende kostnader for samfunnet, befolkningens generelle etterspørsel etter høy kvalitet på offentlige tjenester, økende konkurranse om studenter og ressurser og spenningsforholdet mellom effektivitet og kvalitet. 2

Behovet for å fokusere på kvalitetsutvikling og for å kommunisere virksomheten utad gjelder i forhold til flere nivåer i samfunnet. Den enkelte elev/student har behov for å vite at den opplæringen eller utdanningen vedkommende tar, holder god kvalitet og er etterspurt i samfunnet. Den enkelte utdanningsinstitusjon vil ha et behov for å synliggjøre sin virksomhet for å opprettholde rekrutteringen og tilgang på ressurser i stadig økende konkurranse, og myndighetene og samfunnet for øvrig har behov for å få bekreftet at fellesskapets ressurser benyttes på en slik måte at sentrale målsettinger for samfunnsutviklingen kan oppnås. Sett fra myndighetenes side kan evalueringer fungere som tilbakemelding på om de ønskede politiske effektene oppnås, og kan dermed benyttes for å endre politikken på utdanningsområdet. 3

4.4 Relevans for folkehøgskolen

Innenfor utdanningssektoren i Norge har diskusjonen omkring kvalitetsutvikling hittil hovedsakelig vært knyttet til høyere utdanning, og også etter hvert til grunnskole og videregående opplæring. Den systematiske tenkningen rundt dette kan overføres til flere utdanningsnivåer. Vi finner også denne tenkningen i den nye danske loven for de frie kostskoler, som også omfatter de danske folkehøgskolene, der blant annet styret for den enkelte skole pålegges å klargjøre skolens verdigrunnlag, og foreta en årlig selvevaluering som er tilgjengelig også for andre.

Ved å innføre en slik ordning også for de norske folkehøgskolene vil man styrke og synliggjøre den enkelte skoles frihet til å definere mål og verdigrunnlag. Samtidig vil skolene tydeligere ansvarliggjøres for å kommunisere mål og verdigrunnlag, og for å vurdere sin egen måloppnåelse. Et viktig poeng ved å etablere slike ordninger er at det er folkehøgskolene selv som er ansvarlige for å forvalte og utvikle det faglige innholdet, og at det offentlige ikke skal regulere og styre dette ved den enkelte skole. En slik ordning vil på mange måter representere en overgang fra et system som er opptatt av kontroll, til et system som er redskap for kontinuerlig og dynamisk utvikling.

4.5 Selvevaluering

Selvevaluering er et sentralt element i systemer for kvalitetsutvikling. Selvevaluering innebærer blant annet å etablere rutiner for kritisk å vurdere egen virksomhet, identifisere områder for forbedring, sette inn ressurser på å oppnå forbedringer og vurdere de resultatene man oppnår.

Et eksempel kan være en folkehøgskole som gjennom en selvevalueringsprosess finner at målene ikke er tilfredsstillende nådd, og som benytter funnene til å justere både mål og tiltak som benyttes for å nå målene. Prosessen for den videre bruken av resultatene for selvevalueringen kan i mange tilfeller være viktigere enn selve erkjennelsen av at målene ikke er nådd. Godkjenning av selvevaluering trenger ikke å være knyttet til det faktum at en skole når eller ikke når sine mål, men at selvevalueringen benyttes som et effektivt verktøy for utvikling.

For å få gode selvevalueringsprosesser er det nødvendig å ha sterk medvirkning fra personalet ved den enkelte institusjon. De ansatte er sentrale i å peke ut ønsket utviklingsretning, fremskaffe informasjon og vurdere hvordan nåværende praksis fungerer. Det er viktig at selvevalueringen ikke bare blir en «øvelse» som utføres av institusjonens administrasjon og ledelse. For å oppnå aktiv deltakelse av personalet må selvevaluering bli en naturlig del av den daglige driften, og et verktøy i en kontinuerlig utviklingsprosess. 4

Elev- og studentmedvirkning er et sentralt element i mange systemer for selvevaluering. Noen folkehøgskoler har allerede i stor grad etablert ordninger som sikrer elevmedvirkning, for eksempel ved systematiske tilbakemeldinger fra elevene, og ved å bruke dette aktivt i en videreutvikling av fagtilbudet.

Det finnes mange metoder for å utføre selvevaluering. Det trenger ikke være slik at det utvikles ett felles system for dette som alle skolene må benytte. Snarere vil det kunne være en fordel at den enkelte skole utvikler sin egen profil også for dette arbeidet. Ved at den enkelte skole utvikler et system som er tilpasset dens egen virksomhet, vil også det lokale eierskapet til prosessen bli større enn om systemer blir innført ovenfra eller utenfra.

Skoledokumentasjonen som ble utarbeidet i forbindelse med innføringen av ordningen der elever fra folkehøgskolen får tre poeng ved inntak til høyere utdanning, har gyldighet til 2002. Ved etablering av prosedyrer for selvevaluering er det naturlig at skoledokumentasjon vurderes i sammenheng med dette, og eventuelt innarbeides som en del av opplegget.

4.6 Metaevaluering

En metaevaluering kan beskrives som en «evaluering av evalueringen». Den vil ha som hovedformål å vurdere den enkelte skoles system for kvalitetsutvikling, det vil si om skolen faktisk utfører selvevaluering, og hva denne benyttes til. I en metaevaluering vil man ikke gå konkret inn i skolens daglige drift, for eksempel ved å måle indikatorer for måloppnåelse, men på sett og vis vurdere skolens egen vurdering av måloppnåelse. Et viktig poeng vil være å vurdere hvordan den institusjon som metaevalueres bruker sin selvevaluering videre for å oppnå kvalitetsutvikling.

Ludvigsen og Lauvås (1999) mener det er særlig tre årsaker til at det er nødvendig å komplettere selvevaluering med en ekstern dimensjon:

• «Det må legges et såpass stort forventningspress på institusjonene at det blir nødvendig å opprettholde de interne prosessene over tid, både kvantitativt og kvalitativt.

• All selvevaluering står i fare for å bli intern, perspektivfattig, ufarlig, nærsynt, ja til og med «husblind». Det er derfor nødvendig med innspill, utfordringer, ideer og kritikk fra utenforstående personer, organer og institusjoner med tilstrekkelig legitimitet. Offentligheten om virksomheten må være videre enn det interne miljøet.

• En eller annen form for tilsyn må føres med at konsekvenser av arbeidet blir satt ut i livet.»

Generelt kan det sies at de instansene som utfører metaevaluering, har en todelt rolle, både som et styrende/kontrollerende og et utviklingsfremmende organ. I praksis varierer det hvilken rolle det legges vekt på, og det finnes ingen «mal» for dette. Metaevaluering bør ha som overordnet mål å bidra til at utviklingspotensiale kan identifiseres, og å gi råd om hvordan de interne systemene for selvevaluering kan utvikles og forbedres. Den instansen som gjennomfører metaevaluering vil dermed i stor grad ha en rolle som veileder.

Organisering og gjennomføring av metaevalueringer kan gjøres på flere måter, og av flere instanser, men noen prinsipper kan legges til grunn uavhengig av dette. Metaevalueringer bør for eksempel gjennomføres slik at det kan oppnås kontinuitet i arbeidet. Evaluering for kvalitetsutvikling bør være en kontinuerlig prosess, og det er derfor viktig at den instansen som evaluerer, kan følge utviklingen ved den enkelte skole over tid. Det vil derfor ikke være gunstig å gjennomføre metaevalueringer på avgrenset prosjektbasis/ad hoc-basis. Metaevalueringer bør gjennomføres av en instans som primært innehar metodekompetanse. Den bør være bredt sammensatt og ha både evalueringsfaglig kompetanse og, i dette tilfellet, kjennskap til folkehøgskolen.

4.6.1 Vurdering av aktuelle instanser for gjennomføring av metaevaluering

Utvalget har vurdert to alternative instanser for gjennomføring av metaevaluering av folkehøgskolene. Det ene alternativet er å legge ansvaret for metaevaluering til departementet. Gjennomføring kan for eksempel legges til statens utdanningskontorer (SU), som allerede i dag har et ansvar når det gjelder evaluering av grunnskole og videregående opplæring i sine respektive fylker.

Utvalget ser flere fordeler ved at evalueringen utføres av SU-kontorene. Blant annet legges det til rette for å oppnå kontinuitet i evalueringsarbeidet. I tillegg har SU-kontorene et ansvar for å skape møteplasser der ulike utdanningsaktører i regionen bringes sammen og utveksler erfaringer, noe som kan styrke prosessene og gi synergieffekter. Deler av rapporteringen fra folkehøgskolene gjøres i dag til SU-kontoret i skolenes respektive fylke, slik at kontorene allerede innehar kompetanse om folkehøgskolene. Behovet for ressurser vil også begrenses siden SU-kontorene er etablerte institusjoner. Det kan være en mulighet å legge ansvaret for evaluering av alle folkehøgskolene til ett SU-kontor. Dette vil kunne bidra til å sikre et likt evalueringsopplegg for alle skolene.

Det andre alternativet utvalget har vurdert, er å legge ansvaret til en instans som også utfører tilsvarende oppgaver for andre deler av utdanningssektoren. Dette alternativet bør sees i sammenheng med de forslagene og diskusjonene som gjelder kvalitetssikring, evaluering og akkreditering for både høyere utdanning og fagskoleutdanninger. Mjøsutvalget foreslo blant annet i sin utredning at det opprettes et uavhengig organ for evaluering og akkreditering av høyere utdanning, og i Innst. S. nr. 177 (2000-2001) bes regjeringen om å legge frem forslag til et system for kvalitetssikring sammen med forslag til en egen lov om fagskoleutdanninger.

Det er per i dag ikke etablert noe sentralt organ eller instans for dette, men ved eventuell etablering av et slikt organ, kan det være mulig også å vurdere folkehøgskolene i denne sammenhengen.

4.7 Utvalgets vurderinger

De fleste land Norge naturlig sammenligner seg med, har innført nasjonale ordninger for kvalitetsutvikling og evaluering i utdanningssystemet. I Norge diskuteres det å innføre slike ordninger for både høyere utdanning, fagskoleutdanninger og for grunnskole og videregående opplæring. Utvalget mener det også bør etableres slike ordninger for folkehøgskolene, ved at det stilles krav til skolene om å legge frem en årlig selvevalueringsrapport, se også kapittel 5, og at det etableres ordninger for metaevaluering.

Selvevaluering skal primært ha utvikling som formål. Kontinuerlig vurdering av egen måloppnåelse vil bidra til at skolene kan identifisere og utnytte sitt utviklingspotensial.

Gjennom en metaevaluering skal det vurderes om skolene oppfyller kravet om å gjennomføre selvevaluering, og om skolene benytter selvevaluering systematisk for utviklingsformål. Utvalget mener utviklingsaspektet må tillegges størst vekt.

Den instansen som utfører metaevaluering, skal fungere som veileder for skolene som evalueres. Målet må i første rekke være gjennom dialog å hjelpe skolene til å gjennomføre en god selvevaluering, og å veilede skolene slik at det potensialet for utvikling som skolene selv har identifisert, best mulig kan utnyttes.

Ved siden av skolens personale må også elevene sikres medvirkning i selvevalueringsprosesser. Elevene har førstehånds kjennskap til hvordan undervisningsopplegget fungerer, og vil kunne gi nyttige tilbakemeldinger og forslag til forbedringer.

Ved utforming og innføring av slike ordninger er det nødvendig med en avklaring av roller og oppgaver mellom skolene, departementet og den instansen som har til oppgave å gjennomføre metaevaluering. Departementet skal føre tilsyn med at de offentlige midlene benyttes etter de forutsetningene som er satt for å oppnå godkjenning og statlig tilskudd. Dette vil inngå i de ordinære ordningene som også gjelder for andre tilskuddsordninger, og vil for eksempel innebære kontroll av innsendte årsrapporter, regnskapskontroll, kontroll av grunnlag for statstilskudd, etc.

De ordinære tilsynsoppgavene i forhold til tilskuddsforvaltningen blir løpende ivaretatt av departementet. Skolene rapporterer årlig til departementet/SU-kontorene om forhold som angår bruk av offentlige midler.

Utvalget foreslår å sette som vilkår for å få godkjenning og tilskudd at skolene skal utarbeide selvevalueringsrapport årlig. Dette bør inngå i rapporteringen til departementet/SU-kontorene ved at rapporten oversendes fra skolene hvert år. Dersom en skole ikke sender inn rapport, skal departementet/SU-kontoret gi tilbakemelding om at dette kan medføre bortfall av tilskudd. På dette nivået vil altså kontrollen bestå i å bekrefte at skolene faktisk har utført og sendt inn selvevalueringsrapport, og foreta en rimelighetskontroll av denne.

Utvalget mener det er tilstrekkelig at metaevalueringer, som er en mer omfattende prosess, gjennomføres for hver skole minst hvert tredje år. I et langsiktig utviklingsperspektiv vil dette gi skolene tid til selv å følge opp resultater fra selvevalueringene, og det vil da ligge tre selvevalueringsrapporter til grunn for gjennomføring av metaevaluering.

Det bør ikke opprettes et eget organ for å utføre metaevaluering av folkehøgskolene, både av hensyn til faren for økt byråkrati og økte kostnader, og av hensyn til at folkehøgskolen bør vurderes i en større samfunns- og utdanningssammenheng. Kombinert med behov for kontinuitet i evalueringene bør allerede etablerte instanser benyttes ved gjennomføring av metaevalueringer av folkehøgskolene. Utvalget foreslår at ansvaret for å utføre metaevalueringer formelt legges til Kirke-, utdannings- og forskningsdepartementet. Den instansen som gjennomfører metaevaluering, må være bredt sammensatt og ha både evalueringsfaglig kompetanse og kjennskap til folkehøgskolen. Det kan også være en fordel at vedkommende instans har kjennskap til den regionen skolen ligger i.

Utvalget mener at en eventuell videreføring av skoledokumentasjonen bør vurderes i sammenheng med, og være en del av, grunnlaget for utforming av prosedyrer for selvevaluering.

4.8 Utvalgets forslag

Utvalget har foretatt en samlet vurdering av de forholdene som knytter seg til kvalitetsutvikling i folkehøgskolene, og fremmer på denne bakgrunnen følgende forslag:

• Ansvaret for kvalitetsutvikling skal ligge hos den enkelte folkehøgskole.

• Det innføres krav om at folkehøgskolene etablerer ordninger for selvevaluering som ledd i arbeidet med kvalitetsutvikling.

• De ansatte og elevene må sikres medvirkning i selvevalueringsprosessen.

• Skolene skal legge frem en årlig selvevalueringsrapport som er offentlig tilgjengelig. Dette settes som et vilkår for godkjenning og statstilskudd, se også kapittel 5.

• Det skal gjennomføres metaevaluering av hver skole minst hvert tredje år.

• Ansvaret for å gjennomføre metaevaluering legges til Kirke-, utdannings- og forskningsdepartementet.

• En eventuell videreføring av skoledokumentasjonen vurderes i sammenheng med utforming av ordninger for selvevaluering.