8 Målvurdering og kontroll av studieforbundenes virksomhet

Utvalget er gitt i mandat

«å vurdere behov for endret statistikkgrunnlag som gir innsyn i bruken av de ulike tilbud, og som kan inngå i den målvurdering og kontroll som staten som tilskuddforvalter og eventuell annen framtidig tilskuddforvalter (utvalgets presisering av mandatet) er forpliktet til».

Dette punktet diskuteres i dette kapitlet.

8.1 Overordnede mål, strategi og ­styringsparametere

For å styre og følge opp offentlig politikk er det nødvendig å kjenne målene for virksomheten, finne relevante metoder for å måle resultater, sammenligne informasjonen med målene og bruke informasjonen til styring, kontroll og læring for å utvikle og forbedre virksomheten 1. Resultatkjeden i virksomheten kan deles inn slik:

1. resultater innenfor virksomheten: innsatsfaktorer og aktiviteter (kan kontrolleres)

2. resultater i grenselandet til omverdenen: produkter og tjenester (direkte påvirkning mulig)

3. resultater i omverdenen: brukereffekter og samfunnseffekter (indirekte påvirkning mulig)

Styringsparametere skal direkte eller indirekte angi om virksomheten når sine mål i en gitt periode. Innenfor virksomheten og i grenselandet til omverdenen er kvalitets- og produktivitetsmål sentrale. I omverdenen er det viktig å måle effekter og brukernes opplevelser. I henhold til det statlige økonomiregelverket skal styringsparametere gi god helhetlig og balansert styringsinformasjon. Den enkelte styringsparameteren må vurderes særskilt ut fra påvirkbarhet, pålitelighet og verifiserbarhet. Det er ifølge økonomiregelverket påkrevd å vurdere forholdet nytte og kostnad ved valg av styringsparametere.

8.1.1 Utvalgets vurderinger

Målene for studieforbundene har framstått som uklare. Utvalget anbefaler derfor en ny overordnet målstruktur, som beskrevet i kapittel 7. Ny målstruktur bør legges til grunn for mål- og resultatvurdering. Målstrukturen gjør det klart at sammensatte mål er en del av identiteten til studieforbundene. Studieforbundenes evne til å tilpasse seg skiftende forhold er et fortrinn i en tid da behov og ønsker er sammensatte og skiftende blant enkeltmennesker, både i arbeidsliv og i samfunnet. Målstrukturen innebærer en opprydning i forholdet mellom læring i frivillig sektor og voksenopplæring i offentlig regi.

Skal en oppnå en fungerende mål- og resultatstyring må ambisjonsnivået være realistisk. Utvalget ser områder der studieforbund kan spille en sentral rolle. Hvor stor rollen skal være, henger sammen med politisk vilje til å satse på studieforbundene, studieforbundenes evne og vilje til å gripe muligheter, organisatoriske og styringsmessige rammer og bevilgningsnivå. Deltakelse og motivasjon står sentralt i den foreslåtte målstrukturen. Åpenheten og tilgjengeligheten i studieforbundenes tilbud er viktige årsaker til at de har spilt, og fortsatt kan spille, en slik rolle. Med det stimulerer studieforbundene til frivillighet, demokrati og deltakelse og utvikling av kulturfeltet og til å utløse talent i befolkningen.

Studieforbundene representerer en alternativ læringsarena. De studieforbundene som ønsker det, kan videreutvikle dette til definerte alternativer til offentlig utdanning. Det er også et mål at studieforbundene bidrar på andre samfunnsarenaer som samarbeidspartnere, både for inkludering og involvering og på kulturfeltet.

Målvurdering forutsetter at tjenester og aktiviteter er klargjort. Studieforbundene produserer kurs, men de produserer også læringsaktiviteter som er mindre definerte, jf. frivillighetens læringslandskap. 2 Det kan være uklart hvor skillet går mellom læring og andre aktiviteter. Utvalget presiserer derfor i målstrukturen at studieforbundenes formål er opplæring. Organisasjonsaktiviteter må støttes på andre måter. Det har også vært en uklarhet i voksenopplæring som begrep.

I Norge er det et høyt antall studieforbund i forhold til i de andre nordiske landene, jf. punkt 4.2.4.3, og det kan være vanskelig å se fellesnevnerne. I enkelte studieforbund kan det se ut til at medlemsorganisasjonene har en svak felles identitet og profil, slik at studieforbundet vanskelig kan framstå med en felles identitet. Studieforbundets navn harmonerer ikke alltid med hovedaktiviteten. For eksempel organiseres en stor andel av sang- og musikkopplæring gjennom Folkeuniversitetet, der Norges Korforbund og Norges Musikkkorps Forbund er medlemmer, samtidig som finnes et eget Musikkens Studieforbund. Også eksisterende unntaksordninger for små studieforbund med svært liten aktivitet, og nesten ingen utadvendt og åpen aktivitet, oppfatter utvalget som uklart begrunnet. Dette er med på å gjøre forholdet mellom mål og aktiviteter uklart. Utvalget anbefaler på denne bakgrunnen at det foretas en ny godkjenningsrunde etter nye kriterier, jf. kapittel 7.

Det er også uklart om tildelingskriterier i styringssystemet er i pakt med målene for virksomheten. Utvalget framhever fleksibilitet som et fortrinn for studieforbundene, samtidig er det definert faste rammer for aktiviteten i den såkalte tallrekka for tilskuddsordningen (3–5–12–24) 3. Utvalget mener denne må vurderes på nytt.

Aktivitetene med å arrangere kurs kan defineres relativt klart, men det kan synes som om nødvendige aktiviteter knyttet til utvikling av kurs ikke er helt entydig definert og klargjort. Utvalget foreslår derfor sterkere fokus på kvalitet, noe som er nedfelt i nye forslag til godkjenningskriterier.

Utvalget peker på fellestrekk som studieforbundene har med andre opplæringsaktører utenfor det offentlige utdanningssystemet. Å se studieforbundene i sammenheng med andre aktører gjennom en felles lov om ikke-formell opplæring kan gi grunnlag for en mer samlet målvurdering og resultatmåling for disse tilbyderne. Et slikt grep kan gjøre studieforbundene og andre ikke-formelle opplæringsaktører til tyngre samarbeidspartnere i forbindelse med offentlige satsinger generelt. Det kan også styrke grunnlaget for mer helhetlig forskning og analyse på feltet.

8.2 Resultatmåling og vurdering

Produktivitet angir forholdet mellom antall av et produkt eller en tjeneste og ressursbruk, til en gitt kvalitet. Viktige forutsetninger ved måling av produktivitet er følgende:

• Samlet ressursbruk må måles og knyttes til tjenester, dvs. fordeling av innsatsfaktorer som arbeidstid og direkte og indirekte kostnader.

• Sammenligning av produktivitet over tid eller mellom enheter, derfor må det sikres entydige definisjoner av tjenester og med det likhet i sammenlikningsgrunnlaget over tid og mellom enheter.

Kvalitetsmål er viktig, spesielt der det ikke eksisterer et marked.

1. Produksjonsorientert kvalitet kan måles på innsatsfaktorer som utøvers kompetanse, om prosedyre følges ved aktiviteter (drives det utviklingsarbeid, lages det studieplaner, får kursdeltaker tilstrekkelig dokumentert sin læring, evalueres kursene, og produkter (klager, tilgjengelighet, dekningsgrad).

2. Opplevd kvalitet handler om bruk av den ferdige tjenesten eller produktet og opplevd nytteverdi med utgangspunkt i gitte forventninger. Opplevd kvalitet kan måles på innsatsfaktorer (hva synes kursledere om mulighet til kompetanseheving?), aktiviteter (kurslederes og kursdeltakeres vurdering av prosess, som tilrettelegging for personer med nedsatt funksjonsevne) og produkter (brukertilfredshet).

Effektmåling handler om virksomheten oppfyller sitt formål eller ikke. Effektivitet er et mål på effekten av innsats sammenlignet med ressurser som settes inn. Måling av effekter går ut på å observere forandringer hos brukerne eller i samfunnet som følge av virksomhetens tiltak. Det er nødvendig å bevise eller sannsynliggjøre at det er et årsak–virkningforhold mellom tiltaket og endring i tilstand. Det vil derfor som regel være usikkerhet ved påvisning av årsakssammenhenger. Der usikkerheten er lav, kan eksperimentelle opplegg bevise en effekt. Der den er høy, kan det være mer formålstjenlig å måle tilstanden og søke å sannsynliggjøre en effekt.

8.2.1 Utvalgets vurderinger

Utvalget ser både bedre kunnskapsgrunnlag og bedre bruk av dagens datagrunnlag som helt nødvendig for god mål- og resultatstyring av studieforbund. Offentlig statistikk over volum av aktivitet og læring i form av timer, kurs og deltakere er i de siste årene blitt bedre, og gir et godt grunnlag for å sammenligne utviklingen innenfor ulike former for aktivitet, mellom studieforbund og over tid.

For studieforbund utløses tilskudd av antall timer, men det finnes ingen samstemt oppfatning om at flest mulig timer er viktigere enn andre kriterier, som for eksempel høy kvalitet. Høyt antall timer og høy kvalitet kan godt la seg forene, høyt timetall indikerer at mange får tilbud. Høyt timetall gir mulighet til god bredde i kurstilbudet, større deltakelse og med det større samfunnsengasjement. Samtidig viser figur 3.1 i kapittel 3.4 at utvikling i studieforbundenes aktivitet i de siste ti årene ser ganske annerledes ut hvis det benyttes en indikator for deltakertimer i tillegg til størrelsene timer, deltakere og kurs. Antall deltakertimer har holdt seg langt mer stabilt over tid, og indikerer at studieforbundene har effektivisert gjennom å tilby større kurs med flere deltakere ettersom bevilgningene har gått ned. Dette er viktig informasjon når man skal vurdere tiltak rettet mot studieforbundene. Denne informasjonen kommer imidlertid ikke systematisk godt fram i dag, fordi den ikke er tatt i bruk som styringsparameter på fast basis.

Annet utviklingspotensial i statistikken omfatter etter utvalgets vurdering følgende:

1. En mer treffende emneinndeling, og som er sammenlignbar i internasjonal kontekst.

2. Statistikk om unike deltakere, ikke kun om deltakelse. Bedre informasjon vil forutsette at det registreres personnummer for deltakere, se utvalgets vurdering i punkt 8.2.1.1.

3. Mer treffende angivelse av nivå på opplæringen. Utvikling av ny nivåkoding må så langt mulig kommunisere internasjonalt, jf. også omtale i kapittel 3 av europeisk kvalifikasjonsrammeverk.

4. Systematisk oversikt over hvordan kostnader totalt fordeler seg på innsatsfaktorer. ECONS kartlegging viser tydelig at dette er et område der det må gjøres et oppfølgings- og utviklingsarbeid dersom man skal få et konsistent kunnskapsgrunnlag, slik man har for inntekter og kostnader i svenske studieforbund. Bruk av undervisningslokaler og frivillig arbeid må være med i estimater.

Fokus på volum kan som omtalt forenes med kvalitetstenkning, men kan også gi målforskyvning og for lite fokus på kvalitet. Utvalgets oppfatning er at kvalitet må vies større oppmerksomhet i alt av studieforbundenes opplæringsarbeid. Det må settes søkelys på utvikling og bruk av verktøy som studieplaner og kursdokumentasjon. Kvalitetskontroll må sikre at kun læringsaktiviteter får støtte. Dette kan gjøres ved å innføre en kvalitativ årlig rapportering til Vox i tillegg til statistikkrapporteringen til SSB, med basis i studieforbundenes egendefinerte fokusområder, jf. kapittel 7.

Noen kvalitetsmål vil i henhold til utvalgets forslag følge av annet lovverk, eksempelvis opplæringslovens og universitets- og høyskolelovens krav til kvalitet i tilbud om offentlig utdanning. Her mener utvalget det ikke er nok at studieforbundene tilfredsstiller kravene, men at kravene også tydeliggjøres så det blir enklere for studieforbundene å forholde seg til dem, jf. kapittel 7.

Det måles i dag hovedsakelig på aktivitetssiden og lite på resultat- og effektsiden. Utvalget anbefaler at det innføres faste kartlegginger av ansatte, kursledere og deltakere i studieforbundenes virksomhet som grunnlag for nye styringsparametere om tilfredshet. Undersøkelsen Rambøll Management har gjennomført på oppdrag av utvalget, kan i så måte fungere som en pilotundersøkelse. Undersøkelsen tok form av en utvidet kursevaluering med systematisk utvelgelse av deltakere. Dette med utgangspunkt i kjennskap til vanskeligheter med å kartlegge studieforbundenes virksomhet som det framgår i kapittel 3. Svarprosenten blant kursdeltakerne var lav fordi studieforbundenes lister over deltakernes navn og kontaktinformasjon var dårlig. Bedre kvalitet på deltakerlister er en forutsetning. Det var også flere av de minste studieforbundene som reserverte seg mot å delta. Det må være en forutsetning for å kunne godkjennes som studieforbund at studieforbundene er i stand til å delta i innhenting av data som tjener nødvendige offentlige kontroll- og styringsformål. Det var som i andre undersøkelser, en overvekt av besvarelser fra personer med høy utdanning. Dette kan i eventuelle framtidige undersøkelser løses ved å trekke ut et utvalg fra kurs ut fra deltakerprofil.

Det bør innføres som et konkret kvalitetsmål at brukerne er kjent med at de har deltatt i kurs i regi av studieforbund. Dette kan gjøres på andre måter enn gjennom brukerundersøkelser. For eksempel kreves det nå i Sverige at det alltid skal opplyses ved studiesirkler og kulturarrangementer at studieforbund er involvert. En enklere variant kan være å sette som krav ved utsteding av kursbevis at det framgår av kursbeviset at studieforbundene er (med)arrangør.

8.2.1.1 Utvalgets vurdering av behov for å innføre personnummer for å kunne måle samfunnsmessige effekter

Datagrunnlaget om deltakere i studieforbundene ville bli bedre, og effektmåling ville også kunne lettes gjennom å innføre personnummer. Da kan informasjon kobles til andre offentlige registre, og gi systematiske data om innsats på områder som er omtalt som målområder for studieforbundene. De ambisjonene utvalget definerer som studieforbundenes mål, er hovedårsaken til at utvalget likevel er forbeholdent med å tilrå innhenting av personnummer.

Studieforbundenes ambisjonsnivå vil fortsatt være høyest i deres funksjon som frie og frivillige . Deres betydning for å nå konkrete samfunnsmål ellers er av mer indirekte art, med unntak av formell grunnopplæring for voksne, der de på oppdrag gis en konkret supplerende rolle til det offentlige. Selv med solide registerdata med personnummer som unik ID vil det være krevende å isolere en direkte effekt av studieforbundenes innsats for å nå mål som flere i arbeid og aktivitet, bedre folkehelse, mer levedyktige lokalsamfunn og høyere deltakelse i lokalt kulturliv.

Det eksisterer i dag ikke noe skikkelig datasystem samlet for studieforbundene. I Sverige innføres personnummerregistrering først etter at et felles datasystem nå har vært i drift i en tiårsperiode. Det eksisterer heller ikke samordnende påmeldingsrutiner på Internett. Innføring av nye systemer kan på lengre sikt føre til betydelige forenklinger og ressursbesparelse, og gjøre det langt enklere å registrere og forvalte personopplysninger. Dette vil også kunne medføre omfattende kostnader både ved utvikling og drift av et felles system. Det finnes ingen beregninger utvalget er kjent med som sier noe om hva det vil koste å innføre personnummerregistrering. Det er heller ikke beregnet hva det vil innebære at studieforbundene ivaretar nødvendig opplæring av lærere og instruktører som vil være nødvendig for å ivareta personopplysningslovens bestemmelser knyttet til innhenting av personnummer. I NIFU STEPs undersøkelse rapporteres det at dagens krav til dokumentasjon stort sett er akseptert i studieforbundene, men at omfanget i kravene til dokumentasjon og rapportering ser ut til å ha nådd et metningspunkt.

Utvalget ser ikke at krav i økonomiregelverket om å vurdere kostnader og nytte for styringsparametere relatert til mål og strategier er tilstrekkelig oppfylt til å ville anbefale personnummerregistrering på kort sikt. Utvalget frykter at administrative pålegg om å samle personnummer i tråd med bestemmelser i personopplysningsloven kan ha utilsiktede virkninger på motivasjonen til å gjøre en frivillig innsats. Som ECON-undersøkelsen viser er frivillig innsats viktig for gjennomføring av kurs.

I lys av dette ser utvalget bedre bruk av dagens datagrunnlag, innføring av faste undersøkelser av brukere, kursledere og andre ansatte og mer uavhengig forskning som mer hensiktsmessige strategier for å bedre kunnskapsgrunnlaget. Å vurdere studieforbundene i en større sammenheng av uformelle opplæringsaktører vil også kunne gi et bedre grunnlag for å foreta helhetlige analyser og forskning.

På noen områder vil det være problemfritt å bruke personnummer, for eksempel vil kravene til å følge utdanningslovverkets krav til kvalitet i formell utdanning også medføre at dokumentasjonsrutiner følges. Det foreslås i nye godkjenningsregler for studieforbund at de studieforbundene som ønsker å tilby mer omfattende kurs, må forventes å gi slik informasjon dersom kursene skal kunne utløse utdanningsstøtte. Det registreres alt i dag personopplysninger for deltakere i regi av NAV. Her bør det ses på muligheter for å tilpasse eksisterende registre slik at informasjon om studieforbund som arrangører av arbeidsmarkedstiltak kan hentes ut.

8.3 Læring og forbedring, leder­forankring og dialog

Læring og forbedring forutsetter at resultater synliggjøres og formidles, og at det tas beslutninger om oppfølging og eventuelle endringer av mål og strategier. Både gode og dårlige resultater skal gis oppmerksomhet. Kunnskap må kommuniseres og deles i hele organisasjonen. En god styringsprosess forutsetter også tydelig ledelse, involvering og demokratisk medbestemmelse. Dette er forutsetninger for hele prosessen. Gode styringsprosesser er preget av kultur for læring og utvikling.

8.3.1 Utvalgets vurderinger

Utvalget understreker at kvalifisert bruk av styringsdata og bevissthet om de ulike leddene i styringsprosessen må til for at offentlig målvurdering og kontroll skal fungere i praksis. Ikke minst er det viktig at offentlige myndigheter er bevisste på at en omfattende del av virksomheten foregår i frivillig regi. Ambisjonene om kontroll og styring må tilpasses denne realiteten. Til dels finansierer medlemsorganisasjoner i studieforbundene kun en svært liten del av sin totale kursvirksomhet av statstilskudd. Da kan heller ikke offentlige styringsambisjoner bli for omfattende, med mindre statstilskuddet økes betraktelig. Behovet for offentlig kontroll bør lett kunne ivaretas når det offentlige bruker studieforbund til konkrete kampanjer og målsettinger. Der studieforbund er invitert til slik deltakelse, er det også naturlig med en styrt resultatoppfølging.

Sentrale og regionale myndigheter må også selv ha gjensidig forståelse for hvilke prosesser som følges opp på de ulike nivåene. Utvalget finner det naturlig at overordnede og langsiktige mål for studieforbundenes virksomhet er nasjonale, statlige myndigheter bør likevel ikke sette krav til hvilke innsatsområder som skal prioriteres på kort sikt, med mindre det gis særlige oppdrag. Slike vurderinger må det være delvis opp til studieforbundene selv å foreta. Dels må prioriteringene skje i samarbeid med andre aktører på regionalt og lokalt nivå.

Studieforbundene understreker selv sterkt at de vil være frie og uavhengige. Da må de selv ta initiativ til å utvikle en organisasjon som fremmer en kultur for læring, og de må synliggjøre sin virksomhet. Dette er viktig for å framstå som tidsriktige og aktuelle, slik utvalget har pekt på i kapittel 7. For en demokratisk organisasjon må det tilstrebes best mulig representasjon både når det gjelder kjønn og minoritetsspråklige i styrende organer; slik NIFU STEPs undersøkelse viser at minoritetsspråklige er underrepresentert blant ansatte i studieforbundene.

Utvalget ser flyttingen av tilskuddsforvaltningen fra Kunnskapsdepartementet til Vox som et godt grep i å profesjonalisere styringen innenfor voksnes læring. Dette gir grunnlag for mer faglig styring på avstand fra bevilgende og politikkutøvende myndighet. At Vox nylig også har fått ansvaret for tilskuddsforvaltningen til de fem freds- og menneskerettighetssentrene, forsterker hensikten med bedre kompetanse på styring av læring utenfor det formelle utdanningssystemet og arbeidslivet.

Dersom studieforbund skal ses i nærmere sammenheng med andre uformelle tilbydere, blant annet gjennom felles lov, vil det på nytt bli nødvendig å vurdere hvordan styringen skal foregå. I dag styres tilbydere av ikke-formell opplæring ulikt. Vox er tilskuddsforvalter for studieforbund og frittstående fjernundervisningsinstitusjoner, og Utdanningsdirektoratet tilsvarende for folkehøyskoler og kapittel 6A-skoler. Utvalget understreker viktigheten av at det blir en samordning av forvaltningsansvaret dersom man går inn for en felles lov. Dersom en vil videreføre dagens direktoratsfunksjon, kan dette ivaretas av nåværende forvaltningsorganer, det vil si enten Vox eller Utdanningsdirektoratet.

Folkbildningsrådet i Sverige har flere myndighetsoppgaver enn tilsvarende norske forvaltningsorganer. For utvalget ser dette ut til å være en del av årsaken til at feltet tilsynelatende står sterkere i Sverige enn i Norge. Skal Norge innføre et helt nytt og mer frittstående organ der frivillig sektor i større grad styrer seg selv, som i Sverige, må det vurderes konsekvenser av dette både styringsideologisk og praktisk med hensyn til kompetanse og ressurser. Utvalget ser det som å gå ut over mandatet å ta konkret stilling til dette spørsmålet.

8.3.2 Utvalgets anbefalinger

• Ny målstruktur, forslag til ny organisering og styring og finansiering som framgår i kapittel 7, legges til grunn for å utvikle studieforbundene, herunder innhenting av og bedre bruk av relevante styringsdata.

• Tjenester og aktiviteter i regi av studieforbundene klargjøres i tråd med utvalgets vurderinger i punkt 7.4.2.1.

• I tråd med utvalgets anbefalinger i punkt 7.4.2.2. utvikler SSB og Vox ny filbeskrivelse for innhenting av offisiell statistikk. Det vurderes hvordan foreliggende statistikk kan utnyttes bedre for å lage mer treffende styringsparametere, og det utvikles bedre systemer for måling av kvalitet og sannsynliggjøring av effekter av studieforbundenes virksomhet.

• Det innføres jevnlige kartlegginger blant brukere og kursledere i studieforbund, og det innføres en indikator for om brukerne kjenner til at de deltar i tilbud i regi av et studieforbund.

• Eksisterende registre på utdanningsområdet og innenfor andre områder der personopplysninger hentes inn i dag, utnyttes bedre for å skaffe personopplysninger om deltakere i læringstilbud som organiseres av studieforbund, men der offentlige myndigheter har ansvaret.

• Nytte målt mot kostnader ved innføring av personnummerregistrering for all aktivitet i regi av studieforbund utredes nærmere i regi av Kunnskapsdepartementet og Vox, i samarbeid med VOFO og studieforbundene. En slik utredning må omfatte vurderinger av kostnader og nytte ved innføring av et samordnet datasystem for studieforbundene. Den må også vurdere om personvernbestemmelsenes krav til forsvarlig registrering og forvaltning av individdata kan ha betydning for motivasjonen til å gjøre frivillig innsats. Utvalget anbefaler et pilotprosjekt om registrering av personopplysninger i interesserte studieforbund. Et slikt prosjekt bør søke erfaringer fra og samarbeid med svenske studieforbund.

• Bedre rolleforståelse og bevissthet rundt en en velfungerende styringsprosess utvikles blant alle berørte aktører i tråd med utvalgets vurderinger som framgår i punkt 7.4.3.1. Studieforbundene og VOFO må i fellesskap ta ansvar for utvikling av en lærende organisasjon, for demokratisk medbestemmelse og god representasjon av begge kjønn og ulike nasjonaliteter i styrende organer.