Del 6
Implementering

17 Utprøving og evaluering

17.1 Utprøving og evaluering som metode

Systematisk utprøving og evaluering ligger til grunn for utviklingen av moderne vitenskap og kunnskapsutvikling. I kjernen av dette ligger et helt fundamentalt evalueringsproblem, nemlig at vi ikke kan observere parallelle virkeligheter, der alt annet er likt, bortsett fra den eller de faktoren(e) vi ønsker å lære om effekten av. Problemet er fundamentalt i den forstand at det i prinsippet er uløselig. Det finnes imidlertid vitenskapelige metoder der man, med ulike antagelser, forsøker å omgå dette problemet.

Systematiske utprøvinger er godt innarbeidet i en klinisk setting, for eksempel når det gjelder utprøving av legemidler. Det er imidlertid gode grunner til å etterstrebe systematiske utprøvinger av tiltak også i samfunnet for øvrig. Hensikten med slik utprøving i denne konteksten er å avdekke i hvilken grad de ulike tiltakene gir den effekten en er ute etter. I en klinisk setting kan det dreie seg om hvilket legemiddel som gir best effekt for pasientene. Når det gjelder kompetanseheving, kan det dreie seg om hvilken innretning av et virkemiddel som gjør at flest mulig deltar, at produktiviteten i jobb øker mest mulig, eller at tiltaket i størst mulig grad treffer ønsket målgruppe. På samme måte som legemiddelfirmaene ønsker å kunne si, med relativt stor sikkerhet, at legemiddelet kan tilskrives bedringen en observerer i pasientgruppen som får legemiddelet (og ikke er en placeboeffekt), bør myndighetene ønske å vite om tiltaket har ønsket effekt. Systematiske evalueringer bereder grunnen for å få vite nettopp dette.

Utvalget foreslår tiltak med bakgrunn i flere ulike typer kunnskapsgrunnlag:

• I noen tilfeller har utvalget kjennskap til lignende tiltak i andre land, og kanskje også kjennskap til evalueringer av disse. Det må da legges til grunn at virkningene i evalueringene er riktig anslått, og at disse vil være sammenlignbare i Norge.

• I noen tilfeller har utvalget kjennskap til lignende tiltak, men mot andre målgrupper i Norge, og kanskje også kjennskap til evalueringer av disse. Det må da legges til grunn at virkningene i evalueringene er riktig anslått, og at de er sammenlignbare for påtenkt målgruppe.

• I mange tilfeller er tiltakene kun basert på teoretiske resonnementer, eventuelt kombinert med erfaringer og evalueringer fra andre områder og/eller land. Det må da legges til grunn at disse hypotesene stemmer, og at tiltakene vil ha de tilsiktede effektene basert på disse antagelsene.

Den tilsynelatende kritiske, og kanskje også noe pessimistiske, typologiseringen over er ikke ment å underminere utvalgets tiltak. I mange tilfeller er kunnskapsgrunnlaget svakt. Derimot er det ment som en erkjennelse av at usikkerheten rundt virkningene av de foreslåtte tiltakene er store. I en situasjon med mange gode anvendelser av offentlige midler, og en erkjennelse av at offentlige budsjetter i framtiden vil bli stadig trangere, tilsier stor usikkerhet rundt virkningene av tiltakene en viss forsiktighet i gjennomføringen. Et eksempel på dette kan være at tiltakene avgrenses til en mindre gruppe, i tid og/eller omfang. Videre tilsier dette at man bør forsøke å prøve ut tiltakene på en slik måte at det kan høstes mest mulig ny kunnskap om hvordan de virker. Den beste måten å oppnå dette på, i den grad det er mulig, er å utforme tiltakene på en slik måte at de lar seg systematisk evaluere.

Utvalget erkjenner at slike systematiske utprøvinger ikke er mulige å gjennomføre på alle områder, men legger til grunn at så langt det er mulig bør tiltakene prøves ut eller utformes på en slik måte at de lar seg evaluere. I noen tilfeller vil også utvalget forsøke å skissere hvordan dette kan la seg gjøre. Utvalget legger videre til grunn at offentlige myndigheter samarbeider med forskningsmiljøer i den konkrete utformingen av slike utprøvinger, da dette i mange tilfeller er helt avgjørende for at ordningen i etterkant skal være mulig å evaluere på en god måte.

I Norge har vi en svært godt utviklet infrastruktur for innsamling av administrative data. Disse benyttes også i stor utstrekning til forskningsformål. Utvalget har lagt til grunn at utprøvingene skissert her kan evalueres ved hjelp av administrative data. Det har flere fordeler. Data er allerede tilgjengelig, uten ekstra kostnad. Videre har datamaterialet høy kvalitet og nærmest ingen frafall.

17.2 I hvilke tilfeller er utprøvinger egnet?

Spørsmålet en ønsker besvart i en evaluering er hvordan virkeligheten ville utspilt seg med og uten det aktuelle tiltaket, og der alle andre faktorer ellers er like. Det vi omtaler som effekten av tiltaket er forskjellen mellom virkeligheten med og uten tiltaket. Denne er i prinsippet umulig å fastslå med sikkerhet, siden vi ikke kan observere parallelle virkeligheter. Når evaluatoren skal forsøke å anslå effekter av et tiltak, er hun derfor nødt til å konstruere relevante sammenligninger som er så like som mulig, med unntak av den faktoren hun ønsker å måle effekten av. Hun vil derfor forsøke å etablere en situasjon som etterligner tankeeksperimentet overfor, hvor hun kan anslå effekter av et tiltak ved å sammenligne utfallet i en virkelighet med og uten tiltak.

Siden den konstruerte sammenligningen er en etterligning av en ideell, men tenkt situasjon, vil den i ulik grad skille seg fra den ideelle situasjonen. Muligheten for å få et riktig anslag på effekten av tiltaket, er da i praksis helt avhengig av hvordan den konstruerte og ideelle situasjonen skiller seg fra hverandre. I evalueringslitteraturen omtales dette gjerne som «identifiseringsantagelsen», som kan forstås som hvilke antagelser evaluatoren må gjøre for at den anslåtte effekten kan forventes å være lik den sanne (men uobserverbare) effekten av tiltaket. Når tiltak omtales som mulige, eller ikke mulige, å evaluere, dreier dette seg derfor om hvorvidt de antagelsene man må gjøre for å kunne identifisere effekten av tiltaket er troverdige eller ikke. Hvorvidt noe er mulig å evaluere eller ikke, eller hvorvidt en påvist korrelasjon kan antas å være en årsakssammenheng, er derfor et gradsspørsmål, avhengig av i hvilken grad de identifiserende antagelsene er troverdige.

«Gullstandarden» innenfor evaluering av tiltak er såkalte dobbelt-blinde randomiserte kontrollerte utprøvinger, som gjerne benyttes innenfor legemiddelutprøvinger. Kort fortalt vil da en tilfeldig utvalgt gruppe pasienter få preparat A, mens en annen tilfeldig utvalgt gruppe får preparat B, og hverken mottagerne eller de som gir ut preparatene vet hvem som får hva. Siden gruppene er tilfeldig utvalgt, vil man kunne forvente at de er helt like langs alle dimensjoner. Den eneste forskjellen mellom gruppene er hvilket preparat de mottar. Effekten av preparatet kan derfor isoleres fra alle andre faktorer ved å studere differansen i gjennomsnittsutfall mellom disse to gruppene. Utfall av et slikt eksperiment kan imidlertid også avhenge av om man endrer atferd fordi man deltar i eksperimentet. Det kan løses ved å sammenligne begge gruppene med en tredje gruppe som ikke fikk et preparat.

Innenfor samfunnsfagene er det ofte mer krevende å gjennomføre denne type eksperimenter av flere grunner:

• I mange tilfeller er det ikke mulig å konstruere slike kliniske situasjoner. For eksempel vil en deltager nødvendigvis vite om han deltar i utdanning eller ikke.

• I noen tilfeller kan målgruppen for tiltaket være institusjoner, og ikke enkeltpersoner, og det er ikke mulig å oppnå et tilstrekkelig antall observasjoner for å gjennomføre en studie.

• Å tilby tiltak til kun én gruppe personer kan være politisk kontroversielt, og i noen tilfeller kan det også gi konkurransemessige utfordringer.

Etter utvalgets oppfatning er systematiske, forskningsbaserte utprøvinger spesielt godt egnet i situasjoner hvor tiltaket uansett er rasjonert, i den forstand at det uansett er begrenset til noen mottagere. Dersom det er en form for kø, eller annen avgrensning, kan man i stedet velge personer på en systematisk måte. I praksis kan dette dreie seg om utprøvinger i noen regioner eller bransjer, avgrensning mot bestemte fødselskull eller tilfeldig tilordning på individ-/bedriftsnivå.

Som beskrevet over, vil graden av sikkerhet i vurderingen av et tiltaks effekter være uløselig knyttet til hvordan en slik utprøving legges opp. Det kan være illustrerende med et eksempel. Utvalget foreslår at dagpengemottagere skal kunne ta noe utdanning i kombinasjon med dagpenger. I tabell 17.1 skisserer vi flere ulike måter en utprøving av dette kan gjøres på, herunder hvordan det kan evalueres, hvilke antagelser som må gjøres for å identifisere effekter og hvilket omfang utprøvingen må ha for å kunne anslå effekter med en rimelig grad av sikkerhet. Det siste relaterer seg til det som kalles «statistisk utsagnskraft», og er noe som beregnes rutinemessig i utforming av forsøk og utprøvinger. Hensikten er å på forhånd kunne anslå hvor sannsynlig det er at en eventuell effekt faktisk kan påvises statistisk. Hovedregelen er at flere deltagere øker sannsynligheten for å kunne påvise effekter dersom de finnes, men graden av statistisk utsagnskraft avhenger også av innretningen på forsøket.

17.3 Effekter av tiltak

I flere av utprøvingene som skisseres i kapittel 17.5 kan vi være interessert i (minst) to ulike typer effekter: hvordan deltagelse i opplæring påvirkes, og hvordan deltagelse påvirker arbeidsmarkedsutfall. I praksis vil det være slik at effekter på deltagelse er langt lettere å påvise, enn effekter på arbeidsmarkedsutfall. Årsaken kan kanskje lettest forklares gjennom et praktisk eksempel: Vi har en gruppe personer som vi kan tenke på som «forsøkspopulasjonen». Disse må være klart definert og avgrenset, for eksempel at de er født i et bestemt år. Innenfor denne gruppen benytter vi loddtrekning (eller tilsvarende) til å avgjøre hvem som mottar et tiltak som skal stimulere til deltagelse i opplæring (tiltaksgruppen) og hvem som ikke gjør det (kontrollgruppen). Siden gruppen er stor og tildeling skjer tilfeldig, kan vi legge til grunn at tiltaksgruppen og kontrollgruppen er helt like, med unntak av at tiltaksgruppen har tilgang på tiltaket. Effekter på deltagelse kan vi da studere ved å sammenligne andelen som deltar i tiltaksgruppen og kontrollgruppen. Forsøksgruppen kan eksempelvis bestå av 10 000 personer og er illustrert i tabell 17.2. Denne deles så på midten i tiltaksgruppe og kontrollgruppe. Videre kan vi tenke oss at deltagelsen i opplæring øker fra 5 prosent til 7 prosent som følge av tiltaket. Det vil altså si at det vil være omtrent 500 deltagere i kontrollgruppen og 600 deltagere i tiltaksgruppen. Et slikt forsøk vil ha 99 prosent sannsynlighet for å avdekke en statistisk signifikant effekt på deltagelse (beregning ikke vist her).

Når vi så skal studere effekter på arbeidsmarkedsutfall senere, må vi fortsatt sammenligne tiltaksgruppen med kontrollgruppen. Hvis vi antar at 80 prosent av de som ikke deltar er i jobb to år senere, og at deltagelse i opplæringstiltaket øker sannsynligheten for å stå i jobb med fem prosentpoeng, vil tiltaket øke sysselsettingsraten fra 80,5 prosent til 80,6 prosent, altså kun 0,1 prosentpoeng. Forsøket skissert her vil ha om lag fem prosent sannsynlighet for å påvise en signifikant effekt på yrkesdeltagelse. For å påvise en slik effekt med 80 prosent sannsynlighet, ville forsøket måtte omfatte om lag fem millioner personer.

17.4 Tiltak og egnethet for utprøvinger

Utvalget foreslår mange ulike tiltak. Flere av dem egner seg som utprøvinger. Til grunn for vurderingen av egnethet ligger flere ulike hensyn:

• Det må være mulig å se for seg en utprøving som i etterkant kan gi informative svar. Dette krever at tiltaket på en eller annen måte kan tildeles til en avgrenset gruppe eller tilfeldig til ulike mottagere og at det har et visst omfang.

• Selve utprøvingen må ikke skape for store praktiske problemer for de som skal gjennomføre tiltaket.

For flere tiltak har utvalget valgt å skissere hvordan relativt enkle utprøvinger kan gjennomføres. Tilordningsreglen for utprøvingene er basert på fødselsår slik at noen fødselskull får tilgang til tiltaket mens andre ikke gjør det. Dette burde være relativt enkelt å implementere rent praktisk. Det vil derimot kunne oppleves som urimelig av de som ikke får tilgang til tiltaket, og det vil gjøre informasjonsarbeidet om tiltaket mer krevende. En full vurdering av om disse utfordringene er akseptable, sett opp mot gevinsten av en utprøving, krever dyp involvering av alle berørte parter, og dette er således utenfor omfanget av denne rapporten.

Utvalget har vurdert at det er spesielt tre tiltak som er godt egnet for denne type utprøving som er skissert i dette kapitlet. Alle har som hensikt å øke deltagelse i opplæring:

• Utvidet rett til videregående opplæring

• Tilleggslån for personer over 30 år i Lånekassen

• Utvidede utdanningsmuligheter på dagpenger (muligheten for å ta videregående opplæring på redusert dagpengesats for personer med utdaterte fagbrev)

Videre skisserer vi én stor utprøving av ulike former for tilskudd til deltagelse i utdanning (kapittel 14.2). For at denne skal kunne evalueres på en god måte, bør den gjennomføres som et randomisert kontrollert eksperiment. Under skisserer vi kort hvordan dette kan gjøres og hvor stort omfanget må være.

Vi har også grundig vurdert om utvalgets tiltak om «utvidede utdanningsmuligheter for arbeidsledige med inntil 10 studiepoeng pr. semester» er egnet for utprøving. Å konstruere et forsøk hvor man kan studere hvorvidt tiltaket gir økt deltagelse kan gjøres relativt lett, men siden muligheten for å ta utdanning er svært begrenset i dag, vil man kunne lære mye om dette bare ved å studere økningen i deltagelse før og etter en slik regelendring. Det er spesielt tre spørsmål som vil være svært interessante å besvare i forbindelse med dette tiltaket: 1) Øker tilstrømningen til dagpenger? 2) Øker det varigheten av dagpenger? 3) Gir det bedrede jobbmuligheter i etterkant? Alle disse spørsmålene kan i prinsippet besvares i en utprøving, men det vil kreve at denne er av et svært, og kanskje urealistisk, stort omfang. Utvalget har derfor vurdert dette som urealistisk.

17.5 Konkrete skisser av modeller for utprøving av tiltak

17.5.1 Om grunnlag for beregninger

For hvert av forsøkene er det gjort relativt enkle simuleringsbaserte beregninger av statistisk utsagnskraft (beregningene er ikke gjengitt her). Gitt antall personer, trekningssannsynligheter og antatte effekter, vil dette fortelle oss hvor sannsynlig det er at et forsøk faktisk avdekker disse effektene. Hensikten er todelt. For det første er det viktig å være rimelig sikker på at dersom man i evalueringen etter forsøket ikke finner noen effekter, så er det fordi det rent faktisk ikke er noen effekter av tiltaket. For det andre er det for å unngå at forsøket er unødvendig stort.

17.5.2 Konkret utforming

Tilskuddsordninger for å redusere kostnader som barriere for deltagelse

Hva skal vi lære?

Tiltaket består av fire ulike modeller som er beskrevet nærmere i kapittel 14.2. Modellene er:

• 1. Støtte til deltageravgift gitt til individer

• 2. Lønnsrefusjon gitt til individer

• 3. Støtte til deltageravgift gitt til bedrifter

• 4. Lønnsrefusjon gitt til bedrifter

Forsøket har som målsetting å besvare fire spørsmål:

• 1. Hvor mye øker deltagelsen av å få tilbud om skolepengetilskudd?

• 2. Hvor mye øker deltagelsen av å få tilbud om lønnsrefusjon?

• 3. I hvilken grad øker deltagelsen mer av lønnsrefusjon enn av skolepengetilskudd?

• 4. I hvilken grad påvirkes utdanningsvalg av om støtten går til arbeidsgiver eller individ? Spesifikt tenker vi her på hvorvidt utdanningen er relevant for nåværende jobb eller ikke.

Hvordan kan forsøket organiseres?

Blant en stor avgrenset gruppe (for eksempel ansatte i bestemte næringer i aldersgruppen 30–55 år) trekkes det ut to tilfeldige utvalg av individer og to tilfeldige utvalg av bedrifter. Hver av disse får tilgang til én av modellene 1–4. De resterende, ikke uttrukne individer og bedrifter utgjør kontrollgruppen.

De fire spørsmålene kan evalueres ved å gjøre ulike sammenligninger av de fem gruppene. Nærmere bestemt kan spørsmålene over besvares ved å:

• 1. Sammenligne deltagelse i gruppe 1 og 3 mot kontrollgruppen

• 2. Sammenligne deltagelse i gruppe 2 og 4 mot kontrollgruppen

• 3. Sammenligne deltagelse i gruppe 2 og 4 mot gruppe 1 og 3

• 4. Sammenligne andelen som tar jobbrelevant utdanning i gruppe 3 og 4 og mot gruppe 1 og 2

Anslåtte virkninger

Til grunn for beregningene ligger følgende premisser: Vi anslår at deltagelsen øker med 0,75 prosentpoeng som følge av støtte til skolepenger og med 2 prosentpoeng som følge av lønnsrefusjon. Videre antar vi at hele økningen i deltagelse er i jobbrelevant utdanning dersom virkemidlene rettes inn mot arbeidsgiver, mens halve økningen i deltagelse er i jobbrelevant utdanning dersom virkemidlene rettes inn mot individ.

Beregning av statistisk utsagnskraft

Til grunn for beregningen ligger det at den avgrensede gruppen det trekkes innenfor består av 80 000 personer. Forsøksgruppe 1 og 3 består av 6 000 personer, mens forsøksgruppe 2 og 4 består av 5 000 personer. De resterende personene inngår i kontrollgruppen. Med anslagene for effekter beskrevet over, vil et slikt omfang gjøre at spørsmål 1–3 vil kunne besvares med stor sikkerhet. Spørsmål 4 vil kunne besvares i 70–80 prosent av tilfellene. Forslaget vil, med de kostnadsnormene som er lagt til grunn i kapittel 14.2, påløpe til om lag 31 millioner kroner, eksklusive administrasjonskostnader og evaluering. Se vedlegg 3 for nærmere beskrivelse av kostnadsberegningen.

Tilleggslån i Lånekassa

Hva skal vi lære?

Vi ønsker å lære hvordan høyere studiestøtte i Lånekassen påvirker deltagelsen i utdanning. Vi ønsker å få svar på: (1) hvor mye deltagelsen øker som følge av tilleggslån, (2) hvilke grupper som øker sin deltagelse, og (3) hvorvidt gjennomføringsgraden i utdanning øker som følge av bedre lånetilgang.

Hvordan kan forsøket organiseres?

Vi foreslår å gjøre tilleggslånet tilgjengelig for personer født i 1975 eller senere. Evaluering kan gjøres ved å sammenligne deltagelse blant årskullene rett før og rett etter 1975, før og etter innføringen av tilleggslånet.

Anslåtte virkninger

Deltagelsen i formell utdanning i dag er rundt seks prosent. Utvalget anslår, på svært usikkert grunnlag, at utvidet lånemulighet vil øke deltagelsen med et halvt prosentpoeng, altså fra 6 til 6,5 prosent.

Beregning av statistisk utsagnskraft

Vi foreslår å sammenligne deltagelse i utdanning for 1974- og 1975-årskullet. Med en effekt på deltagelse på 0,5 prosentpoeng kan en effekt påvises i om lag 90 prosent av tilfellene med 95 konfidensintervall.

Mulighet for dagpengemottagere med utdatert fagbrev til å ta videregående opplæring på nytt

Hva skal vi lære?

Vi vil undersøke i hvilken grad personer med utdaterte fagbrev faktisk velger å benytte ordningen («deltagelseseffekt») og hvorvidt dette styrker deres arbeidsmarkedstilknytning etter fullført utdanning («arbeidsmarkedseffekt» målt som eventuell økt sysselsetting og inntekt).

Hvordan kan forsøket organiseres?

Forslaget er potensielt svært kostbart siden det gir rettigheter til å ta en langvarig utdanning med offentlig støtte, men til en liten gruppe. Vi foreslår at ordningen forbeholdes personer født mellom 1970 og 1980. Ordningen kan også avgrenses geografisk. Det er avgjørende for forsøket at det er mulig å identifisere ledige med utdaterte fagbrev i registerdata slik at man kan konstruere en sammenligningsgruppe i fødselskullene som ikke inngår i forsøket.

Anslåtte virkninger

Effekten på deltagelse er svært usikker. Vi legger til grunn at ti prosent av arbeidsledige med utdaterte fagbrev vil benytte ordningen. Videre legger vi til grunn at effekten av deltagelse på arbeidsmarkedsutfall er relativt stor, at sannsynligheten for å stå i arbeid øker med ti prosentpoeng og at inntekt (betinget på sysselsetting) øker med ti prosent.

Beregning av statistisk utsagnskraft

Vi har på nåværende tidspunkt lite kunnskap om antall personer med utdaterte fagbrev som er innenfor dagpengeordningen. Størrelsen på denne gruppen vil bestemmes av hvor mange og hvilke fagbrev Nav velger å definere som utdaterte. Tiltaket vil også kunne øke tilstrømmingen til dagpenger for denne gruppen. Effekten på deltagelse lar seg påvise selv med relativt få deltagere. Å kunne påvise effekter på sysselsetting krever urealistisk store datamengder, mens effekten på inntekt som oftest vil kunne påvises med en utprøving på rundt 1000 personer. Vi legger til grunn i beregningene at 300 personer i målgruppen rekrutteres til tiltaket hvert år. Det tilsvarer at utprøvingen må gå over 3–4 år om effekt på inntekt skal kunne påvises. Det årlige antallet kan økes om man ønsker å kunne undersøke effektene tidligere. Dersom det viser seg vanskelig å rekruttere 300 personer i året, kan ordningen utvides til å omfatte flere aldersgrupper.

Utvidet rett til videregående opplæring

Hva skal vi lære?

Vi vil undersøke i hvilken grad personer faktisk velger å benytte ordningen («deltagelseseffekt») og hvorvidt dette styrker deres arbeidsmarkedstilknytning etter fullført utdanning («arbeidsmarkedseffekt»).

Hvordan kan forsøket organiseres?

Forslaget er potensielt svært dyrt siden det gir rettigheter til å ta en langvarig utdanning. For å lettere kunne vurdere kostnadsomfanget, kan tiltaket gjennomføres som en pilot for et mindre utvalg først. Ordningen kan deretter prøves ut ved å for eksempel forbeholdes personer i fødselskullene mellom 1979–1989. Ordningen kan også avgrenses geografisk, for eksempel til et utvalg fylkeskommuner.

Anslåtte virkninger

Effekten på deltagelse er svært usikker. Ifølge Liedutvalgets spørreundersøkelse var det i underkant av 7 000 registrerte søkere til videregående opplæring som var 25 år eller eldre og som ikke hadde rett i 2017/2018 (NOU 2018: 15). Trolig vil ikke alle de 7 000 ønske å benytte seg av denne utvidede retten til videregående opplæring, da det kun vil gjelde utvalgte yrkesfaglige utdanninger og disse ikke nødvendigvis er sammenfallende med hva de 7 000 ønsker seg. Hvis vi likevel legger 7 000 til grunn og antar at de fordeler seg jevnt over aldersspennet 25–59 år, vil omtrent 2 200 personer befinne seg i fødselskullene 1979–1989. Dersom 60 prosent av disse søkerne takker ja til et tilbud, utgjør dette 1 320 elever. Det gir en deltagereffekt på rundt 0,2 prosentpoeng. Flere fylkeskommuner tar inn voksne også uten rett i dag, så anslaget på økt deltagelse vil være noe lavere. Vi har ikke noe grunnlag til å si noe om arbeidsmarkedseffekten.

Beregning av statistisk utsagnskraft

Med en effekt på deltagelse på om lag 0,2 prosentpoeng vil en klare å påvise en effekt av tiltaket i så og si alle tilfeller.