15 Kvalitet i arbeidsrettede tiltak

15.1 Innledning

I henhold til mandatet skal utvalget «kartlegge og vurdere erfaringene med utviklings- og kvalitetssikringsarbeidet til de skjermede virksomhetene samt erfaringene med Arbeids- og velferdsetatens rolle som bestiller, oppfølger og kontrollør av tjenester fra skjermede virksomheter. Utvalget bes bl.a. komme med forslag til hvordan kvaliteten på arbeidet best skal kunne måles.»

I dette kapitlet blir Arbeids- og velferdsetatens kvalitetsarbeid knyttet til arbeidsrettede tiltak gjennomgått, og det blir sett på kvalitetssikringsarbeidet til de forhåndsgodkjente tiltaksbedriftene. Det er gjennomført en undersøkelse hvor det bl.a. er sett nærmere på kvalitetsarbeidet i barnevernssektoren, en sektor som har hatt særlig kvalitetsfokus de siste årene.1 Hvilken kunnskap kan Arbeids- og velferdsetaten hente fra kvalitetsutviklingsarbeidet i denne sektoren? Deretter diskuteres kvalitet i anskaffelse av arbeidsrettede tiltak for personer med nedsatt arbeidsevne. Ulike måter å måle kvalitet på gjennomgås. Til slutt diskuteres forskjellige tilnærminger til strukturering av kvalitetsarbeidet og hvilke områder etaten er tjent med økt målingsfokus på. Kapitlet avgrenses til arbeidsrettede tiltak forbeholdt forhåndsgodkjente leverandører av arbeidsrettede tiltak med mindre annet er spesifisert.

Det er behov for en bred tilnærming i kvalitetsarbeidet. Kvalitetshensyn ved arbeidsrettede tiltak for personer med nedsatt arbeidsevne som er forbeholdt forhåndsgodkjente virksomheter inkluderer hele tiltaksprosessen. Den strekker seg fra kvalitetssikring ved krav til virksomhetene i forskrift om arbeidsrettede tiltak, godkjenningsordningen og avtalen mellom Arbeids- og velferdsetaten og tiltaksarrangør, til kvalitet i anskaffelse, kvalitet ved bestilling av tiltak2, kvalitet ved gjennomføring og oppfølging og resultatkvalitet. Tilstrekkelig god kvalitet vil være en avgjørende faktor for å lykkes med arbeidsrettede tiltak. Samtidig er tjenestekvalitet en krevende størrelse å definere og måle.

En utfordring ved å kvalitetsvurdere arbeidsrettede tiltak er at tiltakene har ulike og til dels motstridende formål. Hovedformålet med å ta i bruk arbeidsmarkedstiltak er å øke sannsynligheten for overgang til jobb. Men for noen brukere vil formålet være avklaring og utprøving av arbeidsevne i forbindelse med bl.a. søknad om uførepensjon. For andre brukere vil hensikten med å komme inn på et tiltak være faglig og sosial utvikling og en meningsfull tilværelse. Tiltaksdeltakelse er for denne siste gruppen av brukere et selvstendig mål og ikke et virkemiddel for å realisere andre mål. Disse ulike målene med tiltaksbruk er ikke nødvendigvis forenlige med hverandre, men kvaliteten i tiltaket bør hele tiden vurderes opp mot hva som er målet med tiltaket. Målsetningene, som for den enkelte bruker kan endre seg over tid, vil således være styrende for hva man legger vekt på i kvalitetsvurderingen av tiltakene.

15.2 Kvalitet i tjenesteproduksjon

Innen faglitteraturen finnes det flere ulike tilnærminger til spørsmålet om kvalitet, kvalitetskontroll og til hvordan man best skal kunne måle kvalitet i tjenester. Gjennomgangen av litteraturen taler for en helhetlig tilnærming til kvalitet og kvalitetskontroll.3 Denne helheten kommer til uttrykk ved at kvalitetsarbeidet inkluderer hele tjenesteytingsprosessen, og omhandler kvalitet i flere faser.

I dette delkapitlet ses det på hovedfunn fra faglitteraturen om kvalitet som kan gi lærdom for forståelse av kvalitet i arbeidsrettede tiltak for personer med nedsatt arbeidsevne.

Hva er kvalitet?

Den internasjonale standardiseringsorganisasjonen ISO har stor betydning for definering av kvalitet generelt og i forhold til offentlige tjenester. En betegnelse av kvalitet basert på ISO er «i hvilken grad en samling av iboende egenskaper oppfyller krav (eller behov).» En annen definisjon av kvalitet basert på ISO er at kvalitet utgjør en «helhet av egenskaper og kjennetegn et produkt/tjeneste har, som vedrører dets evne til å tilfredsstille fastsatte krav eller behov som er antydet.»4 Definisjonen bygger på at alt som imøtekommer brukernes forventninger eller behov, er kvalitet. Imidlertid finnes det mange ulike oppfatninger om hva som er godt eller meningsfylt. Det kan derfor være en utfordring å enes om hva kvalitet er. En merknad til ISOs definisjon når det gjelder arbeidsrettede tiltak er at også bestiller av tjenesten, her Arbeids- og velferdsetaten, har behov som skal dekkes eller mål som søkes oppnådd, og som er bakgrunn for bestillingen av tjenesten. Brukers og Arbeid- og velferdsetatens mål med arbeidsrettede tiltak går ikke nødvendigvis i samme retning. Dette kompliserer kvalitetsbegrepet ytterligere.

Kvalitetsfaget har bakgrunn i vareproduksjon, som er svært forskjellig fra tjenesteproduksjon. Vare står for en fysisk gjenstand og/eller dokument. Tjeneste kan på den andre siden defineres som «arbeid utført for andre, eksternt eller internt i bedriften.»5 Tjenestebegrepet er ikke entydig, og samme tjeneste kan også utføres på mange ulike måter. Tjenestene har ofte flere egenskaper: For det første er tjenester immaterielle eller abstrakte. Disse egenskapene innebærer at tjenestene er aktiviteter som skapes her og nå og som forbrukes her og nå. For det andre er tjenester kjennetegnet ved en samtidig produksjon, leveranse og konsumering. Derfor er det viktig at prosessen og planleggingen som finner sted i forkant av tjenesten er kvalitetssikret på en slik måte at de senere fasene i tjenesten kan gjennomføres så kontrollert som mulig. I tillegg skaper også brukeren deler av tjenesten gjennom å utføre aktiviteter på egen hånd, og er delaktig som medprodusent. Om ikke brukeren klarer å utføre tjenestens aktiviteter, vil ikke tjenesten materialiseres som planlagt. En viktig del av kvalitetssikringsarbeidet vil derfor være at tiltaksarrangørene tenker igjennom hvilken kompetanse, veiledning av ansatte og rutiner som er nødvendig for å håndtere situasjoner som dette. Siden brukeren deltar som medprodusent gjennom sine delvis unike krav og oppførsel vil dette også påvirke prosessen og resultatene. Dette gjør det vanskelig å standardisere og styre tjenesteprosessen og dermed resultatet, se diskusjon om standardisering under.

Hovedresultater fra litteraturgjennomgang om kvalitet

I forbindelse med kunnskapsinnhenting til utvalgets arbeid har Arbeidsforskningsinstituttet (AFI) gjennomført et prosjekt om kvalitet i skjermet sektor.6 I rapporten gir AFI en oversikt over fag- og forskningslitteratur om kvalitet med hovedvekt på offentlig sektor. Ut fra litteraturen kan kvalitet og kvalitetskontroll deles inn i tre hovedfaser:7

• Strukturkvalitet: Denne delen av kvalitetskjeden definerer formelle krav til leverandør i form av økonomiske, juridiske, materielle og kompetansemessige rammevilkår. Det omhandler orden i økonomien, orden i materiellstruktur, at medarbeiderne hver for seg og til sammen har den formelle kompetansen som kreves, og at man har systemer for å følge opp at strukturen til enhver tid holder mål.

• Prosesskvalitet: Det vil si kvaliteten i det arbeidet som legges inn i tjenesteleveransen og hva slags oppfølging som gis til den enkelte bruker i de ulike stadier i brukerens prosess.

• Resultatkvalitet: Det vil si om resultatet av tjenesteleveransen svarer til mål og forventning.

Det er særlige utfordringer knyttet til kvalitetsstyring av tjenester, herunder kvalitetsstyring av tjenestene som forhåndsgodkjente tiltaksbedrifter leverer til Arbeid- og velferdsetaten. Tjenestenes manglende standardisering er en av de største utfordringene. Fraværet av standardisering av hva som gjør en tjenesteleveranse god, gjør det vanskelig å formulere krav som er konkrete nok til at de kan måles på entydige måter. Fraværet av standardisering skyldes både trekk ved tjenesters karakter og at tjenester leveres i samspill med brukerens forutsetninger og deltakelse. Bruk av standardisering i kvalitetsutvikling og kvalitetskontroll innen tjenesteyting har derfor i stor grad fokusert på de strukturelle rammebetingelsene for tjenesteutøvelsen/produksjonen, snarere enn på prosessene hvor tjenestene skapes som sådan.

Mer standardiserte tjenester gir imidlertid mindre rom for å tilpasse tjenestene til brukerne. Brukerne er ulike og har ulike forventninger og ønsker til hvordan tjenesten skal utføres. Ved arbeidsrettede tiltak står man ovenfor avveiningen mellom å benytte standardisering versus at for sterk standardisering kan hindre en fleksibilitet i organisasjonen som er nødvendig for å tilpasse tiltakene på en god måte til det enkelte individ og vedkommendes behov. Sterkere grad av standardisering av tjenesten med klare kvalitetsmål vil kunne gjøre det enklere å sikre og kontrollere kvalitet i tjenesten. Det vil også kunne gjøre det tydeligere både for Arbeids- og velferdsetaten og tiltaksarrangørene hva som hhv. skal bestilles og hva som skal leveres. Dersom denne standardiseringen imidlertid går på bekostning av muligheter for tilpasning til tiltaksdeltakernes individuelle behov, vil standardisering gi uheldige konsekvenser.

Brukerundersøkelser vil kunne være en måte å måle både prosess- og resultatkvalitet i tjenester, og vil inngå som en del av mange dimensjoner knyttet til forståelse av kvalitet. Dette forutsetter at brukeren selv er i stand til å vurdere hva som er god eller dårlig kvalitet. I tjenesteleveranser hvor brukeren ikke selv definerer sine forventninger til kvalitet, vil dermed brukerundersøkelser være lite egnet som kvalitetsmål. Eksempelvis kan arbeidsrettede tiltak oppleves positivt av brukeren, uten at de bidrar til å bringe brukeren nærmere arbeidslivet eller de målene som kravspesifikasjonene setter for tiltaket.8 Ved arbeidsrettede tiltak skal tiltaksarrangøren være Arbeids- og velferdsetatens «advokat». Arbeids- og velferdsetaten har på vegne av brukerne bestilt en tjeneste hos tiltaksarrangøren, og målet for arrangøren vil være å tilfredsstille de mål Arbeids- og velferdsetaten har satt for tiltaket. Kvalitet knyttet til mål er styrt av bestiller, og hensikten med arbeidsrettede tiltak for Arbeids- og velferdsetaten er å få personer i arbeid.

Generelle diskusjoner av måling av kvalitet i tjenester i offentlig sektor viser ofte til indikatorer som ikke måler konkrete resultater for måloppnåelse av leveransen, men generelle egenskaper, som pålitelighet, fleksibilitet eller tillitskapende evner. Kravspesifikasjoner er slik sett også lite egnet som grunnlag for å kontrollere kvalitet på gjennomføring og resultat av tjenester i offentlig sektor generelt og arbeidsrettede tiltak spesielt. Oppnådde resultater eller fravær av oppnådde resultater kan i prinsippet skyldes flere forhold som ikke har å gjøre med selve leveransen. Hvilken behandling og måter å følge opp brukeren som egner seg for å levere en god tjeneste, vil variere med hva slags særskilt situasjon og unike behov brukeren har samt brukerens vilje og evne til å samarbeide. Det er kun når det gjelder strukturkvalitet at det finnes en grad av standardisering som gjør det mulig å måle kvalitet mot kravspesifikasjoner. I hvilken grad kvalitet på strukturen rundt leveransen av tjenesten sier mye om kvaliteten på tjenesteleveransen som sådan, kommer imidlertid an på hvor tett koplet gjennomføringen er til strukturvariable. Innen høyt spesialisert og kompetansekrevende tjenesteutøvelse som det finnes eksempler på innen helsevesenet, vil for eksempel formell kompetanse og antatt utføring av tjenesten korrelere høyt. Arbeidsrettede tiltak er tjenester som erfaringsmessig stiller mindre krav til spesiell profesjonskompetanse og til virksomhetenes organisering og struktur. Her vil kontroll med strukturkvalitet spille mindre rolle for kontroll med kvaliteten på gjennomføringen og resultatene av tjenesteleveransen.9 Ved arbeidsrettede tiltak fokuseres det mest på kvalitet gjennom sikring av kvalitet i forkant av tiltaket (strukturkvalitet).10 Det kan synes som om man ved arbeidsrettede tiltak i mindre grad har vektlagt betydningen av det faglige grunnlaget for utføring av tjenestene og konkrete avklaringer av hvordan kvaliteten på gjennomføringen kan ivaretas sammenliknet med helsevesenet.11

Måling av kvalitet vil bli diskutert nærmere under delkapitlet om kvalitetsstyring og kvalitetsmålinger av resultat. Der ses det blant annet mer på kvalitetsindikatorer, benchmarking og brukerundersøkelser.

15.3 Arbeids- og velferdsetatens kvalitetsarbeid ved arbeidsrettede tiltak i dag

Krav til virksomhetene i forskrift om arbeidsrettede tiltak, godkjenningsordningen og avtalen mellom Arbeids- og velferdsetaten og tiltaksarrangør med kravspesifikasjoner er alle dokumenter som i hovedsak redegjør for hva Arbeids- og velferdsetaten ønsker av tiltaksarrangøren i forkant av tiltaket. Det foreligger derfor en antakelse om at kravene og avtalene skal sikre en tilfredsstillende standard/kvalitet på tiltaket. Arbeids- og velferdsetaten velger tiltakstype for den enkelte bruker og leverandør ideelt sett i samråd med bruker. Deretter står tiltaksleverandøren for selve gjennomføringen av tiltaket. Ved arbeidsrettede tiltak vil oppfølging av kvalitet underveis i tiltaket kunne være underveiskontroll, eksempelvis oppfølging av at tiltaksdeltakeren er i hensiktsmessig tiltak, at innholdet i tiltaket er tilpasset den enkeltes behov og kontroll av kvalitet i gjennomføringen av tiltaket. Resultatkvalitet, dvs. kontroll av kvalitet i etterkant av gjennomført tiltak, er det resultat tiltaket har for brukeren sett opp mot mål for tiltaket, eksempelvis overgang til jobb, sosial trening eller meningsfull tilværelse i en arbeidssituasjon.12 Sluttrapporten fra tiltaksarrangør til Arbeids- og velferdsetaten er en kilde til å måle resultatkvaliteten.

I henhold til mandatet skal utvalget kartlegge og vurdere «erfaringene med Arbeids- og velferdsetatens rolle som bestiller, oppfølger og kontrollør av tjenester fra skjermede virksomheter.» Kvalitet i tjenestene fra Arbeids- og velferdsetaten kan avgrenses til følgende særlig viktige hovedområder:13

• Bestillingen av tjenesten

  Bestilling av tjenesten regnes som særlig avgjørende for kvaliteten i arbeidsrettede tiltak. NAV-veileder skal avklare behov for arbeidsrettede tiltak i samråd med bruker. Ved tildeling av tiltak velger Arbeids- og velferdsetaten tiltakstype for den enkelte bruker og deretter leverandør, ideelt sett i samråd med bruker.

  En rekke andre forhold påvirker imidlertid inntaksprosedyrene, noe som kan være med på å redusere kvaliteten på tjenesten. Dette kan være at bestillingene fra Arbeids- og velferdsetaten til tiltaksarrangørene er mangelfulle, og at NAV-veilederne ikke kjenner godt nok til tiltakene.14 Det kan også være at en bruker har behov for et spesielt tiltak, for eksempel et avklaringstiltak, men at tiltaksarrangøren kun har ledig kapasitet på et helt annet tiltak, for eksempel et oppfølgingstiltak, og at brukeren derfor ikke får det tiltaket som det er behov for. Når en rekke andre forhold enn faglige hensyn kan påvirke tiltaksutplasseringen, fører det til at tiltakene brukes på andre måter enn det som er hensikten.

  For å sikre at tiltak brukes til formål i henhold til kravspesifikasjonen kreves det gode bestillinger til arrangørene, dvs. klare, konkrete og målrettede bestillinger med god kommunikasjon før, underveis og etter tiltaket mellom Arbeids- og velferdsetaten og arrangør.

• Gjennomføring av tiltak (innhold, rutiner, varighet)

  Gjennomføring av tiltak omfatter innhold og rutiner i tiltakene underveis i tiltaksperioden og varighet/gjennomstrømning i tiltakene. Det er behov for at tiltakene har en viss varighet, samtidig som lengre tid i tiltakene enn nødvendig bidrar til å holde deltakerne utenfor arbeidslivet (innelåsningseffekt). Optimal varighet i tiltak vil avhenge både av tiltakets art og deltakernes individuelle behov. God gjennomføring av tiltak fordrer at både innholdet i tjenestene og gjennomstrømningen i tiltakene er tilpasset den enkeltes behov. Tiltakene kan imidlertid anvendes på andre måter enn det som er de opprinnelige formålene med tiltakene, og det er også andre forhold enn deltakernes individuelle behov som påvirker varighet i tiltak.15 Hvor lenge man deltar i et tiltak kan blant annet påvirkes av situasjonen på arbeidsmarkedet, insentiver hos tiltaksarrangøren til å skrive ut brukere av tiltak og kapasiteten i Arbeids- og velferdsetaten til å følge opp brukerne. Andre forhold som påvirker tiltakenes varighet er diagnose (personer med sosiale diagnoser kan ha behov for lengre tilvenningstid enn fysiske diagnoser, og psykiske lidelser har for eksempel gjennomsnittlig kortere tid i tiltak enn somatiske diagnoser16), karriere i trygdesystemet (lengre karriere i trygd gir lenger varighet i tiltak), forhold ved bedriften som eksempelvis kompetanse (tiltaksvarighet varierer fra bedrift til bedrift) mv. Kvalitet på gjennomføringsevne vil være tett knyttet til kompetanse.

• Sluttrapportering fra leverandør til NAV-lokal

  I henhold til kravspesifikasjonen skal det utarbeides rapporter om den enkelte deltaker, både underveis og etter tiltaket er avsluttet. Det utarbeides ofte halvårlige og årlige rapporter i tillegg til en sluttrapport for hver enkelt deltaker. Sluttrapporten skal besvare bestillingen, og innholdet i den avhenger av tiltakstype. NAV-veiledere mener kvaliteten på sluttrapportene varierer, og at de ikke alltid har nytte av rapportene.17 For å sikre kvalitet i sluttrapporteringen bør rapporten bygge på innspill knyttet til behovs- og arbeidsevnevurderingen ved NAV-kontoret og brukes aktivt av etaten.

• Arbeids- og velferdsetatens oppfølging av tiltaksarrangør – kommunikasjon

  I henhold til avtalen mellom Arbeids- og velferdsetaten og tiltaksarrangører, skal det avholdes møter for oppfølging av avtalen mellom partene minst én gang i året. Selv om møtevirksomheten mellom partene flere steder forekommer hyppigere enn årlig, er det verken fra tiltaksarrangørene eller Arbeids- og velferdsetatens side tilfredsstillende kommunikasjon og dialog mellom partene.18 Denne dialogen vil være viktig for kvaliteten i tjenestene. En av årsakene til at dialogen mellom partene ikke er tilfredsstillende kan være at Arbeids- og velferdsetaten i forbindelse med etablering av NAV-reformen har hatt fokus på interne forhold.

• Formidling til arbeid

  Et sentralt aspekt ved ethvert arbeidsmarkedstiltak er hvorvidt tiltaket bidrar til at deltakerne får ordinært arbeid, enten via praksis, kvalifikasjoner eller direkte formidlingsbistand. Krav og vektlegging av formidling varierer fra tiltak til tiltak. Noen fylker har lagt krav til formidling inn i avtalen med arrangørene. Kvalitet knyttes av mange i Arbeids- og velferdsetaten til høy grad av formidling av deltakere ut i ordinært arbeid. Målsettingen om formidling ser imidlertid ikke ut til å være like høyt prioritert, verken hos tiltaksarrangørene eller i Arbeids- og velferdsetaten.19 Selv om formidling ikke er aktuelt for alle etatens brukere, er det likevel et overordnet mål i etaten at flest mulig skal kunne få og beholde et arbeid.

En første konklusjon av gjennomgangen av Arbeids- og velferdsetatens kvalitetsarbeid ved arbeidsrettede tiltak i dag er at kvaliteten i stor grad er ivaretatt i forkant av tiltak.20 Det er ikke like tett kvalitetsoppfølging underveis i tiltaket eller kontroll av kvalitet i etterkant av gjennomført tiltak (resultater).21

For det andre ser det ut til at NAV-ansatte har ulike forventinger til forhåndsgodkjente tiltaksbedrifter og tiltakenes rolle i den samlede virkemiddelbruken. Kvalitet er tett koblet til formålet med tiltakene forbeholdt forhåndsgodkjente virksomheter. Det er uklare oppfatninger om hva tiltakene til forhåndsgodkjente tiltaksbedrifter skal bidra til. Ulike forventninger til forhåndsgodkjente tiltaksbedrifter i Arbeids- og velferdsetaten, fører igjen til at personer i etaten tenker ulikt med hensyn til hva de forventer av kvalitet ved tjenestene.

En tredje konklusjon er at kravspesifikasjon og avtalen mellom Arbeids- og velferdsetaten og tiltaksarrangør gir gode operasjonaliseringer av kvalitet, men det er mange andre forhold som påvirker kvaliteten i praksis. Det er ulike bestillingsprosedyrer som påvirker inntak, det er for lav gjennomstrømning på tiltakene, og tiltakene har i praksis andre formål enn det som er hensikten i henhold til kravspesifikasjon. Det er mange steder uregelmessig og uklar dialog mellom bedriftene og Arbeids- og velferdsetaten, og etaten har varierende utbytte av sluttrapportene fra tiltakene.

Analysen viser at kvalitetsarbeidet og -kontrollen knyttet til bestilling, oppfølging og resultat av tjenestene i dag ikke er nok til å sikre god kvalitet på tiltaksleverandørenes tjenester.22

15.4 EQUASS og erfaringene med kvalitetssikringsarbeidet til forhåndsgodkjente tiltaksbedrifter

I henhold til mandatet skal utvalget «kartlegge og vurdere erfaringene med utviklings- og kvalitetssikringsarbeidet til de skjermede virksomhetene.» Arbeids- og velferdsetaten har stilt krav om at alle forhåndsgodkjente tiltaksleverandører må innføre et kvalitetssikringssystem med ekstern revisor.23 Etaten har ikke satt krav om hvilket kvalitetssikringssystem som skal benyttes. European Quality in Social Services (EQUASS) dekker myndighetenes krav til kvalitetssikring, og har blitt valgt av både attføringsbedrifter og vekstbedrifter.24 European Platform for Rehabilitation (EPR) står bak utviklingen av EQUASS. EQUASS er et europeisk system for kvalitetssikring av velferdstjenester. Organisasjonen begrunner opprettelsen av systemet blant annet med at det på politisk nivå i Europa har vært et økende fokus på kvalitet i velferdstjenester.

En sentral problemstilling i kvalitetssikringsarbeidet til forhåndsgodkjente tiltaksbedrifter er på hvilken måte og i hvilken grad EQUASS kan forbedre kvaliteten i tiltakene og/eller tiltaksgjennomføringen. Et godkjent kvalitetssikringssystem, for eksempel EQUASS, er ett av kravene som stilles for å bli godkjent som leverandør av tiltak forbeholdt forhåndsgodkjente tiltaksleverandører.

De forhåndsgodkjente virksomhetene er i gang med sertifisering, og skal være sertifisert innen utgangen av 2011. Det innebærer at det ennå er for tidlig å gjøre helhetlige vurderinger av hvordan kvalitetssikringssystemet har fungert. Vurderingene under er gjort på det foreliggende grunnlag, og før alle tiltaksarrangørene har innført systemet. Pr. 1. oktober 2011 var 185 bedrifter EQUASS Assurance-sertifisert, og det er lagt en tidsplan for at øvrige om lag 140 tiltaksarrangører skal ha gjennomført sertifisering innen årsskiftet.25

EQUASS beskrives som et totalovergripende system som skal omfatte alt fra spørsmål på individnivå til tverrsektorielt samarbeid på systemnivå. Sertifiseringen innebærer at tiltaksarrangørene må svare bekreftende på til sammen 100 spørsmål. Spørsmålene er fordelt på flere overordnede tema: Lederskap, rettigheter, etikk, partnerskap, deltakelse, personfokus, helhetstanke, resultatorientering og kontinuerlig forbedring. Tiltaksarrangørene må beskrive hva de skal gjøre, og dokumentere hva de har gjort. Selve sertifiseringen foregår ved at en ekstern revisor besøker virksomheten i to dager for å kontrollere at hvert av de 100 punktene er tilfredsstillende ivaretatt slik at man kan si at kravene er oppfylt. Tiltaksarrangørene sertifiseres for to år, og må deretter resertifiseres. Den første sertifiseringen omhandler hva tiltaksarrangøren skal gjøre, og gjennomføring må også dokumenteres. I resertifiseringen, hvor revisor kan fokusere på hvordan systemet har fungert i toårsperioden, må virksomheten igjen dokumentere at de gjort det de skulle gjøre, at iverksatte rutiner ble fulgt, og dokumentering skjer i henhold til krav.

Den eksterne revisoren skal i tillegg til å gjennomgå tilgjengelig informasjon, intervjue ledere og andre ansatte om ulike sider ved virksomheten. Dette stiller krav til at hver ansatt kjenner til forhold som inngår i kvalitetssikringssystemet. EQUASS stiller også krav til at brukere og kunder skal ha kanaler inn til tjenestene for å komme med tilbakemelding: NAV-ansatte blir intervjuet i forbindelse med virksomhetenes sertifisering. Også tiltaksdeltakere intervjues. Det er ikke krav om at tiltaksdeltakere skal kjenne innholdet i EQUASS. Ved å samtale med brukerne om hvordan de opplever perioden i tiltaket, kan revisor danne seg en mening om brukernes opplevelser av bistanden er den samme som ansatte i bedriften mener brukeren har fått. Dersom det er et gap vil revisor påpeke det og be virksomheten vurdere nødvendige tiltak for forbedring.

EQUASS framstår som et verktøy som skal bidra til at tiltaksarrangørene får et mer aktivt forhold til hvordan man jobber.26 EQUASS kan utfordre virksomheten til å finne best mulig løsninger for seg selv. Econ Pöyry og Proba samfunnsanalyse finner i sin rapport om anskaffelser av arbeidsmarkedstjenester at det er stor enighet både blant informanter i Arbeids- og velferdsetaten og forhåndsgodkjente tiltaksbedrifter om at godkjenningsordningen og sertifiseringen via EQUASS har vært positivt for kvaliteten i leveransene. Selv om systemene oppleves som store og omfattende av virksomhetene, ser man at sertifiseringen har bidratt til større bevissthet om egen organisasjon og de tjenestene/tiltakene de leverer.27

AFI peker på en del utfordringer forbundet med EQUASS.28 Rapporten tar opp problemstillinger knyttet til kompetanse når det gjelder aktørene på feltet, tjenestetilbudet samt spørsmålet om å avgrense og definere attføringsvirksomheten:

For det første krever sertifiseringen at revisor må ha kompetanse både når det gjelder ord og utrykk innenfor sertifiseringsfaget,og innen det spesifikke fagfelt for å kunne vurdere om grepene som gjøres i EQUASS vil føre til bedre kvalitet i tjenestene. Ingen ekstern revisor skal være tilknyttet en attføringsbedrift eller en vekstbedrift. Dette er et krav i EQUASS. AFI mener det er grunn til å rette oppmerksomheten mot hvilken kompetanse revisoren skal og bør ha innenfor dette spesifikke fagfeltet for å godkjenne løsningene til tiltaksarrangørene. Et eksempel gjelder hvilke aktører tiltaksarrangørene bør samarbeide med. Er formidling et viktig formål, bør arbeidsgivere, Arbeids- og velferdsetaten, Arbeidslivstjenesten og øvrig nettverk i næringslivet være sentrale samarbeidspartnere, og kanskje også en forutsetning for å få til formidling. Å vurdere samarbeidspartneres hensiktsmessighet for å få til bedre tjenester stiller derfor krav til revisoren om spesifikk kunnskap om feltet.

Også når det gjelder tjenestetilbudet kan det være utfordrende å avdekke uintenderte konsekvenser og uhensiktsmessige prosesser, hvis man ikke kjenner feltet.29 Når det gjelder spørsmålet: «Gjennomføres det årlig en evaluering av helheten og sammenhengen i tjenestetilbudet» er tiltakskjeding nevnt som et eksempel på et viktig virkemiddel. Tiltakskjeding er imidlertid en løsning som for enkelte brukere kan ha en negativ effekt. AFI peker på at det kan virke hensiktsmessig for en ekstern revisor at tiltaksarrangørene etterstreber tiltakskjeding innenfor den samme bedriften, men for mange brukere kan slik kjeding føre til innelåsing. Det er usikkert hvordan en ekstern revisor vurderer slike attføringsfaglige sammenhenger knyttet til tjenestetilbudet.

En tredje problemstilling er knyttet til at det er opp til virksomhetene å avgrense og definere sin attføringsvirksomhet. Når det gjelder innovasjon, dvs. at arrangøren utvikler nye tilbud, gir arrangørene ofte respons på nye tiltak som kommer fra Arbeids- og velferdsetaten eller departementet. For eksempel da «Grønt arbeid» og «Raskere tilbake» ble etablert, var det mange attføringsbedrifter og vekstbedrifter som leverte tilbud.30 Dette var idéer om tiltak som arrangørene ikke selv hadde utviklet. På den andre siden er arrangørenes forhold til Arbeids- og velferdsetaten at de skal være kreativ innen etatens rammer. AFI viser til at det er utfordringer knyttet til å ha oversikt over fag- og politikkutviklingen på feltet for å kunne vurdere hva som er innovativt. Tilsvarende eksempler finnes på andre områder innen EQUASS.

Det spesielle for attføringsbedrifter og vekstbedrifter er at de må tilfredsstille kravene fra Arbeids- og velferdsetaten. EQUASS må dermed samkjøres med kravene fra Arbeids- og velferdsetaten. Virksomhetene har en krevende oppgave med å vurdere dokumenter, prosesser og arenaer for å sikre at kriteriene oppfylles. Arbeids- og velferdsetaten har gjennom avtalen tilgang til leverandørenes sertifisering, men systemet stiller også krav til NAV-ansatte om god kunnskap om attføringsprosesser og feltet, for å avgjøre om tiltaksarrangørenes løsninger og prosesser fører til bedre kvalitet.

Rapporten om kvalitet i skjermet sektor peker på utfordringer knyttet til implementeringen av systemet.31 Under innfasingen av EQUASS legges det til grunn at den enkelte bedrift finner frem til hvordan systemet skal fases inn i bedriften og tilpasse systemet i bedriftens interne virksomhet. Tiltaksarrangørens formål med virksomheten vil være avgjørende, da kvalitet i EQUASS skal sikres i forhold til overordnet formål. En attføringsbedrift eller en vekstbedrift kan bli sertifisert selv om den ikke har resultater å vise til. Et eksempel på dette kan være formidling. Har virksomheten klare formidlingsmål, bør rutiner og prosesser hos tiltaksarrangøren støtte opp under de overordnede målsettingene.

Det er likevel for tidlig å vurdere implementeringen av EQUASS, om kriteriene fungerer på en hensiktsmessig måte og om de oppsatte målene knyttet til kriteriene i systemet nås. Det er da også for tidlig å vurdere om EQUASS kan forbedre kvaliteten i tiltakene.

15.5 Kvalitet i anskaffelsen

I dette delkapitlet drøftes kvalitet i anskaffelsen av arbeidsrettede tjenester. Econ Pöyry og Proba samfunnsanalyses rapport om anskaffelser av arbeidsmarkedstjenester viser ingen klar sammenheng mellom anskaffelsesform, og pris og kvalitet.32 Rapporten viser også at anskaffelsesform legger få begrensninger på mulighetene for individuell tilpassing og innovasjon. Det som betyr mest er selve utformingen av avtalen som ligger i bunn i tillegg til konkurransesituasjonen i den enkelte anbudsprosessen.33 Rapporten viser at mange leverandører deltar i anbudskonkurransene, og at NAV Fylke i de fleste tilfellene har relativt mange leverandører å velge mellom. Private virksomheter er viktige leverandører av AMO-kurs, men forhåndsgodkjente tiltaksbedrifter er også aktive på anbudsmarkedet. Econ Pöyry mener at anbud har bidratt til å utvide kompetansen blant forhåndsgodkjente tiltaksbedrifter.34 Det vises til kapittel 8 for mer detaljert beskrivelse av resultatene i Econ Pöyry og Proba samfunnsanalyses rapport om anskaffelser av arbeidsmarkedstjenester.

Utfordringer ved å sikre kvalitet i anskaffelser av arbeidsrettede tiltak for personer med nedsatt arbeidsevne

Markedet for arbeidsrettede tiltak for personer med nedsatt arbeidsevne levert av forhåndsgodkjente tiltaksbedrifter er et spesielt marked uten de tradisjonelle markedsmekanismene som preger et frikonkurransemarked. Dette gjør det utfordrende å opprettholde konkurranse og markedsdynamikk i tillegg til å sikre leverandørmangfold over tid. Systemet med forhåndsgodkjente leverandører av tiltak er forbeholdt skjermede virksomheter, og avgrenser leverandørene til de som oppfyller gitte formalkrav omtalt i kapittel 14. Systemet gir mulighet for konkurranse på kvalitet mellom godkjente leverandører, der pris er gitt gjennom faste satser fastlagt av myndighetene. En slik form for konkurranse kan oppstå i sentrale strøk, der det gjerne er flere leverandører. Som et resultat av geografi vil det erfaringsvis ofte være færre forhåndsgodkjente tiltaksbedrifter i mindre sentrumsnære områder, noe som kan føre til monopolisering. Tendensen til monopolisering forsterkes av at forhåndsgodkjente tiltaksbedrifter danner konserner. Dette omtales nærmere i kapittel 8.

Ved anbud som anskaffelsesform er det også utfordringer knyttet til å sikre reell konkurranse. Også her vil det kunne være en fare for monopolisering eller begrensning av konkurranse. Det kan ha sammenheng med hvordan konkurransegrunnlag og avtaler utformes, og hvordan inngåtte avtaler praktiseres. Langsiktige rammeavtaler kan resultere i at en del potensielle tilbydere som ikke oppnår avtaler svekkes økonomisk eller kompetansemessig, eller faller fra. På den andre siden kan også kortsiktige avtaler og manglende forutsigbarhet for leverandører føre til svekket interesse og frafall, og dermed færre leverandører over tid. Det er ikke opplagt at de som står igjen med avtale da nødvendigvis er de som leverer best kvalitet. Monopolisering vil på sikt kunne gi uheldige effekter på pris- og kvalitet på leveransene.

Arbeids- og velferdsetaten er i stor grad eneste kjøper av arbeidsrettede tiltak. Anskaffelsesansvaret er delegert til regionalt/fylkesnivå i etaten, slik at det i praksis er flere innkjøpere. Likevel er etaten i betydelig utstrekning eneste kjøper av tjenestene. I utgangspunktet innebærer dette stor markedsmakt for kjøper i en situasjon med mange leverandører. I en situasjon med få leverandører øker den gjensidige avhengigheten og makten utjevnes mer mellom kjøper og leverandør. Det kan tenkes at ulike markedssituasjoner vil påvirke kvaliteten forskjellig (én kjøper – mange tilbydere, én kjøper – få tilbydere, én kjøper – én tilbyder). Gitt at det er arbeidsmarkedspolitisk ønskelig å sikre nødvendig omfang og kvalitetsutvikling av ulike typer tilbud for personer med nedsatt arbeidsevne, har etaten ansvar for å ta langsiktige hensyn til utviklingen i leverandørmarkedet i utformingen og praktiseringen av anskaffelser. Samtidig behøver etaten en viss grad av fleksibilitet for å kunne tilpasse etterspørselen av tiltak til varierende behov og ressurser.

En rekke forhold, som kan reguleres uavhengig av anskaffelsesform, påvirker kvalitet og bruk av ressurser. Samme anskaffelsesform vil derfor kunne gi svært ulike resultater med bakgrunn i hvordan anskaffelsen er innrettet. Eksempel på innretning av anskaffelse er hvordan konkurransen utformes, hvordan kvaliteten på tjenesten defineres, hvilke krav som stilles i konkurransen, hvordan etatens oppfølging av anskaffelsen og av kvalitet i tjenesten er i tillegg til grad av resultatmål og oppfølging av disse. Econ Pöyry og Proba samfunnsanalyse har sett nærmere på oppfølging av kvalitet i avtalene med forhåndsgodkjente leverandører og gjennom anbud.35

Ved forhåndsgodkjente leverandører regulerer avtaledokumentene rutiner for møter og rapportering, og er således viktige kanaler for oppfølging av kvalitet. Det er noe variasjon i og mellom fylkene i hvilke møter og avholdes og frekvensen på disse. Oppfølging av deltakere er en del av tjenesteleveransen. Det varierer noe mellom fylkene i hvilken grad oppfølging av deltakeren spesifiseres i avtalen utover det som står i den enkelte kravspesifikasjon for tiltaket. Et mindre antall av fylkene spesifiserer for eksempel krav til brukerundersøkelser, medarbeidersamtaler eller evalueringer eksplisitt i avtalene. Når det gjelder dialog med Arbeids- og velferdsetaten er noen virksomheter fornøyd, mens andre etterlyser større involvering fra etaten. Avtalene setter krav om å definere resultatmål for tiltakene, for eksempel prosent formidling. Også her er det varierende operasjonalisering.

Ved anskaffelser gjennom anbud er Arbeids- og velferdsetatens oppfølging regulert i den enkelte avtale som er inngått. Også for anbudskontraktene reguleres krav til møter og rapportering i kravspesifikasjonene til leveransene. I hovedsak skjer oppfølgingen via rapportering ved oppstart, underveis og ved avslutning av deltakelse. Det er noe variasjon mellom fylkene i etatens tilpasninger til standardkravene i kravspesifikasjonene. Econ Pöyry og Proba Samfunnsanalyse får inntrykk av at det settes få resultatkrav til overgang til arbeid, bestått kurs og liknende. Det ser ut til at det er svært liten dialog mellom leverandør og NAV Fylke så lenge rapporteringen fra leverandøren til etaten oppfyller kravene gitt i avtalen.36 Resultatene fra undersøkelsen viser variasjon i oppfølging av kvalitet i avtaler med forhåndsgodkjente leverandører og oppfølging av kvalitet i avtaler på tjenester som anskaffes på anbud.37

En modell for kjøp av arbeidsrettede tiltak som sikrer god arbeidsinkludering, både av hensyn til den enkelte og for samfunnet i sin helhet, er det overordnede målet. Nøkkelen til bedre anskaffelser synes «først og fremst å ligge i ytterligere forbedringer av begge anskaffelsesformene og læring på tvers av formene, heller enn en avveiing av om den ene anskaffelsesformen gir bedre tjenesteleveranser enn den andre».38

15.6 Kvalitetstilnærming i barnevernssektoren og sammenlikning med forhåndsgodkjente tiltaksbedrifter

I rapporten om kvalitet i skjermet sektor har AFI sett nærmere på barnevernets anskaffelse av tjenester, og hvordan denne sektoren arbeider med å sikre kvalitet.39 Barnevernet er en relevant sektor å hente kunnskap fra for Arbeids- og velferdsetatens arbeid med arbeidsrettede tiltak for personer med nedsatt arbeidsevne. For det første har organiseringen av anskaffelser av tjenester fra barnevernsinstitusjoner flere likhetstrekk med anskaffelser av arbeidsrettede tiltak for personer med nedsatt arbeidsevne fra forhåndsgodkjente leverandører. For det andre har barnevernet noe lengre erfaring med å tenke kvalitet og utforme kvalitetskriterier. Blant annet ble det nedsatt en arbeidsgruppe av Barne-, ungdoms- og familiedirektoratet (Bufdir) i 2009/2010, med mandat å se på kvalitetsindikatorer i barnevernet.40

Gjennomgangen av kvalitet i barnevernet understreker betydningen av en bred tilnærming til kvalitet. I barnevernet er det en tendens til at kvalitetsindikatorene ofte knyttes til noen overordnede forhold, og gjerne til systemer og rutiner, mens aspekt knyttet til innhold, gjennomføring og resultater av tjenestene, har fått mindre oppmerksomhet i kvalitetsmålinger. Slike systemindikatorer kan dreie oppmerksomheten og tjenestene i retninger som kan skape negative uintenderte konsekvenser knyttet til kvalitet i gjennomføring og resultat.

Om barnevernsinstitusjoner og sammenlikning mot Arbeids- og velferdsetaten

Barnevernet består av både offentlige og private leverandører. De private tjenesteleverandørene var i starten i hovedsak ideelle og frivillige organisasjoner. Etter hvert har det kommet et økende antall private aktører, og flere institusjoner har underveis endret organisasjonsform, fra stiftelser til aksjeselskap.41 De private institusjonene ble ansett som mer fleksible enn de offentlige, blant annet fordi de ofte har hatt raskere beslutningsprosesser.

I 2004 ble det innført en forvaltningsreform som blir beskrevet som et «nytt kontrollregime» i barnevernet. Det vokste fram et omfattende byråkratisk system for å regulere private aktørers adgang og deltakelse. Systemet er et svar på at det er vanskelig å måle resultater/effekter av sammensatte tjenester som barnevernsinstitusjoner. Fram til 1. januar 2004 var det fylkeskommunene som hadde ansvar for driften av offentlige barnevernsinstitusjoner, og som kjøpte plasser av de private institusjonene. Selv om avtalene mellom fylkene og institusjonene så ut til å dekke fylkeskommunens behov, var ikke de statlige myndigheter fornøyde med måten fylkene driftet anskaffelsene på. Dels fordi det ble oppfattet som en dyr ordning, og dels fordi institusjonene fikk en for sterk markedsposisjon. Når det i realiteten ikke var andre å kjøpe plasser av, oppsto det et avhengighetsforhold, der institusjonene kunne kreve høye priser, spesielt i akutte kriser.

Forvaltningsreformen fra 2004 medførte en statlig overtakelse av ansvaret for de fylkeskommunale institusjonene. Det innebar også overtakelse av ansvaret for å inngå avtaler med de private institusjonene. Statlige regionskontor fikk ansvaret for anskaffelser av tjenester, og det ble opprettet et sentralt direktorat. I tillegg til misnøye med måten fylkeskommunen hadde forvaltet institusjonene på, lå det også bak reformen et ønske om en sterkere kontroll med institusjonene, både når det gjaldt kvaliteten på tilbudene og kostnader. Det var i økende grad stilt spørsmål om kvaliteten på de private institusjonene var god nok.

Med reformen fra 2004 og overføringen til statlig ansvar for anskaffelsene, ble det tatt nye grep for å sikre god kvalitet ved barnevernsinstitusjonene. Det ble innført en godkjenningsordning42 for private og kommunale institusjoner.43 Samtidig kom også en kvalitetsforskrift44som både private og offentlige institusjoner skulle vurderes etter. Barne-, ungdoms- og familieetaten (Bufetat) ønsket i tillegg mer kunnskap om resultater, de ønsket bedre styring med kvaliteten på tjenestene og de ønsket bedre styring med økonomien. Det lå også et ønske om at institusjonene faglig sett måtte bli bedre, og synliggjøre hvilken metodikk som vektlegges overfor målgruppene. Det ble stilt nye krav til dokumentasjon, og samtidig utviklet nye indikatorer for kvalitet.

Det ble dermed innført to nye prosesser med reformen; en kvalitetsvurdering av både private og offentlige institusjoner og en godkjenning av de private og offentlige institusjonene. Godkjenningen gir de private institusjonene anledning til å være med å konkurrere om å levere tjenester. Først skjer det altså en forhåndsgodkjenning av leverandørene, og så deltar de forhåndsgodkjente institusjonene i en anbudskonkurranse om hvem som skal levere tjenester. Denne to-trinnsordningen representerer dermed en annen modell for kjøp av tjenester enn modellen som brukes ved kjøp av arbeidsrettede tiltak. Det går et viktig skille mellom godkjenningsordningen til Arbeids- og velferdsetaten for de forhåndsgodkjente tiltaksleverandørene og Bufetats godkjenningsordning. Selv om attføringsbedriftene og vekstbedriftene ikke automatisk får tildelt plasser fra Arbeids- og velferdsetaten ved å ha en godkjenning, skjer tildeling av tiltaksplasser på bakgrunn av oppnådd godkjenning uten anbudskonkurranse eller annen form for systematisk vurdering av leverandørenes tilbud. For barnevernsinstitusjonene er en godkjenning avgjørende for å være med å konkurrere om å levere tjenester.

Hvilken kunnskap kan Arbeids- og velferdsetaten hente fra barnevernet?

Det er en rekke likhetstrekk mellom hvordan Bufetat anskaffer tjenester fra leverandører av barnevernstjenester og hvordan Arbeids- og velferdsetaten anskaffer arbeidsmarkedstjenester fra forhåndsgodkjente tiltaksbedrifter. I begge sektorer er det offentlige aktører som kjøper tjenester av leverandører på vegne av brukere. Leverandørene i barnevernet er i stor grad private aksjeselskap, mens forhåndsgodkjente tiltaksbedrifter er aksjeselskap med hovedsakligkommunal/fylkeskommunal aksjemajoritet.

Studier fra barnevernet har pekt på at et for stort fokus på forhold ved rutiner og systemene kan føre til at man blir så opptatt av å følge reglene at man glemmer å bruke faglig skjønn og sunn fornuft. Mange kontrollmålinger og systemkrav kan frata ansatte muligheten til å ta situasjonsbestemmende valg. Etter å ha innført godkjenningsordninger og kvalitetsforskrifter, har barnevernet hatt behov for å fokusere mer på resultater.45 Det blir også viktig for Arbeids- og velferdsetaten å fokusere på god kvalitet på gjennomføring og resultater av tiltakene sett opp mot ulike formål.

Kvalitet handler både om organisering og systemer, og å legge til rette for personlig endring og utvikling hos brukerne. Bufetat har valgt å la det være opp til institusjonene å dokumentere teori, metodikk og kompetanse og legitimere hvordan dette virker overfor spesifikke målgrupper. Også ved arbeidsrettede tiltak i dag ligger dette hos leverandørene. Det er viktig at metodikk ligger hos leverandøren både for å sikre autonomi og for at leverandørene skal få benytte kompetansen sin og ha tiltro til den faglige tilnærmingen.

Barnevernet har en godkjenningsordning for å få levere anbud, og leverandørene godkjennes for ett år av gangen. Arbeids- og velferdsetaten har en godkjenningsordning for å levere tiltaksplasser og attføringstjenester som er forbeholdt forhåndsgodkjente virksomheter uten at dette er kombinert med en form for åpen konkurranse mellom godkjente tilbyderne. På den andre siden finnes det ingen forhåndsgodkjenning for å levere anbud. I Econ Pöyry og Proba samfunnsanalyses rapport om anskaffelser av arbeidsmarkedstjenester pekes det på behov for å forenkle leverandørenes arbeid med anbud slik at mer tid kan brukes på det innholdsmessige knyttet til de arbeidsrettede tiltakene.46 En forhåndsgodkjenning for å levere anbud kan være et innspill til Arbeids- og velferdsetaten for sikring av kvalitet og mulig forenkling ved anbudsprosesser. Sammenliknet med barnevernet kan man innenfor tiltaksområdet derfor både tenke seg en mer systematisk og omfattende forhåndsgodkjenning av leverandører og en mer åpen og reell konkurranse mellom godkjente tilbydere. Som leverandør av tiltaksplasser og attføringstjenester skal man både kunne oppfylle formelle krav og vise at man kan levere tjenester som er konkurransedyktige på pris og kvalitet.

15.7 Nærmere om kvalitetsstyring og kvalitetsmålinger av resultat

I dette delkapitlet ses det nærmere på kvalitetsmålinger da det er særlig relevant for utvalgets mandat. I arbeidet med å styrke resultater kan ulike virkemidler benyttes. Under beskrives kvalitetslitteraturens tilnærming til måling av kvalitet og utvikling av ulike kvalitetsindikatorer. Deretter beskrives bruk av ulike virkemidler som skal stimulere til økt resultatoppnåelse, herunder benchmarking og finansieringsordninger. Det ses nærmere på brukerbasert kvalitet før det pekes på noen utfordringer som andre sektorer og land har møtt ved bruk av disse virkemidlene, og som kan være til nytte i arbeidet med å styrke kvalitetsstyringen av de arbeidsrettede tiltakene for personer med nedsatt arbeidsevne. Evidensbasert/kunnskapsbasert praksis som en tilnærming til kvalitet diskuteres til slutt.

Resultatet av tiltakene viser om man når målene for den enkelte bruker. Målene med tiltakene kan eksempelvis være avklaring, overgang til jobb, sosial trening eller meningsfull tilværelse i en arbeidssituasjon. Målene settes av Arbeids- og velferdsetaten og kommer fram av tiltaket den enkelte deltar på. For å oppnå best effekt av tiltaket er det hensiktsmessig at insentivene til Arbeids- og velferdsetaten og leverandørene går i samme retning.47 Resultat og resultatmåling har man vært opptatt av i lengre tid, men fokuset har blitt påvirket av styringsidealene til New Public Management som i stor grad vektlegger mål- og resultatstyring som virkemiddel. Dette overordnede perspektivet preger tilnærmingene til kvalitetskontroll på tvers av land og sektorer.48

Måling av kvalitet/kvalitetsindikatorer

Kvalitetsindikatorer er målbare variabler som gir informasjon om kvalitet innen et område som vanligvis ikke lett lar seg måle direkte. Kvalitetsindikatorer kan ha flere formål, herunder støtte til politisk styring, virksomhetsstyring, og intern kvalitetsforbedring. De kan også benyttes av brukere for å sammenlikne tjenestenes standard ved valg av tjenesteyter eller tjenestested.

Økt brukerfokus i tjenestene er en viktig bakgrunn for det generelle fokuset på måling av kvalitet og utvikling av kvalitetsindikatorer. Å betrakte kvalitet som opplevelser hos brukeren, har ført til en økt vekt på kartlegging av hvilke aspekter ved tjenesten som brukeren opplever påvirker kvaliteten. Dette har igjen gitt opphav til kravspesifikasjoner, der et antall kvalitetspåvirkende faktorer eller kvalitetskriterier beskrives. I prinsippet skal kravspesifikasjonen være generell /universell og kunne gjelde alle leveranser av en gitt tjeneste. Samtidig vil det også være spesielle forhold i ulike typer tjenester, og de enkelte kvalitetsdimensjoner kan ha større betydning enn andre i ulike typer tjenester.

Utviklingen av kvalitetsindikatorer som skal måle tjenestekvalitet kom særlig på 1990-tallet og har siden vært fulgt av omfattende studier av hvilke faktorer som påvirker kvalitetsopplevelser på positive og negative måter. Kvalitet kan inndeles i ulike dimensjoner, hvorav noen kan ha betydning for offentlige tjenester og de arbeidsrettede tiltakene: Ytelse, tilleggsytelser, pålitelighet, overensstemmelse, for eksempel med forhåndsdefinerte standarder og spesifikasjoner, varighet / levetid, servicevennlighet, estetikk, og opplevd kvalitet hos brukeren om produktkvaliteten.49

Bruk av insentiv: benchmarking og finansieringsordninger

Benchmarking

For å stimulere tjenestene til økt resultatoppnåelse har man blant annet i helsesektoren i Norge og på jobbcentrene i Danmark innført bruk av benchmarking som virkemiddel.

Benchmarking er en prosess der den ene virksomheten/organisasjonen sammenlikner og måler sine målsettinger, praksiser, og ytelser mot de beste organisasjonene innenfor feltet for øvrig. Benchmarking innebærer å identifisere de beste virksomhetene på et område ved å sammenlikne prosesser og resultater, og på den måten lære mer om hva man bør gjøre for å forbedre egen resultatoppnåelse. Benchlearning er læring ved hjelp av måling hvor man bruker benchmarking til forbedring.

I styrings- og administrasjonsøyemed benytter man ofte «best practice benchmarking» for å evaluere ulike aspekter ved sin virksomhet gjennom en sammenlikning med andre tilsvarende virksomheter. På denne bakgrunn lager man planer for videre kvalitetsutvikling. En slik benchmarking kan være en enkeltstående hendelse eller en kontinuerlig prosess som skal stimulere til forbedring. Benchmarking innebærer en sammenlikning av måltall for kvalitet som skal bidra til kvalitetsforbedring gjennom at det settes i gang målrettede prosesser i den enkelte virksomhet. For å legge grunnlag for en slik benchmarking, utvikler man gjerne noen spesifikke indikatorer for å sammenlikne virksomhetene. Dette kan være indikatorer for kostnader, produktivitet, tidsbruk eller andre kvalitetsindikatorer som er egnet for å fange opp de særskilte kvalitetsdimensjonene ved virksomheten, jf. diskusjon over om kvalitetsindikatorer.

Innenfor helsetjenesten har man utviklet ulike kvalitetsindikatorer som benyttes til benchmarking.50 I tillegg benyttes også nasjonale databaser basert på registerdata for sammenlikning av tilbud på landsnivå, eksempelvis KOSTRA i kommuner og SAMDATA for spesialisthelsetjeneste og kommune.

I Danmark ble det i 2007 innført en systematisk oppfølgning av resultater og effekter av innsatsen for de enkelte jobcentrene. Disse resultatene inngår i en benchmarking av jobcentrenes innsats via en enkel resultatoppfølgningsmodell i www.jobindsats.dk. Her kan man også sammenligne effektene av de enkelte aktørers innsats og derved måle og sammenligne andre aktører på en ensartet måte. Mer konkret innebærer dette opplysninger om:

• andel ledige i forløp hos tiltaksarrangøren, og omfang av aktivering i forløpet

• antall ledige som ikke får jobbsamtaler og/eller aktiveringstilbud til tiden hos tiltaksarrangør

• hvilke typer aktivering de ledige er i hos tiltaksarrangøren

• antall og prosent av de lediges forløp som har utløst bonus til tiltaksarrangøren

Selv om man har begynt å bygge opp databasen er det fortsatt ikke mulig pr. i dag å foreta en direkte sammenlikning av resultatene til tiltaksarrangørene og jobcentrene i www.jobindsats.dk.51

I Norge ble det i 2010 nedsatt en arbeidsgruppe for å utarbeide og etablere gode kvalitetsmål for tjenester som utføres av forhåndsgodkjente tiltaksbedrifter. Arbeidsgruppen har bestått av medlemmer fra bransjeorganisasjonene Attføringsbedriftene og ASVL, Arbeids- og velferdsdirektoratet og NAV Oslo.

Arbeidsgruppens mandat har vært å utarbeide forslag til kvalitetsmål og indikatorer både for tiltak som har formidling som mål og for tiltak hvor formidling ikke er det primære målet. Rapport forelå sommeren 2011.

I arbeidsgruppens rapport foreslås det konkrete kvalitetsindikatorer for de arbeidsrettede tiltakene Avklaring, Arbeidspraksis i skjermet virksomhet, Kvalifisering i arbeidsmarkedsbedrift, Arbeid med bistand, Tilrettelagt arbeid i arbeidsmarkedsbedrift og Varig tilrettelagt arbeid i skjermet virksomhet.

Bakgrunnen for de foreslåtte indikatorene er:

• Erfaringer fra www.indikator.no52

• En undersøkelse gjennomført i attføringsbedrifter i mars/april 2010

• Forskrift for arbeidsrettede tiltak, kravspesifikasjoner, avtaler og gjeldende praksis for de arbeidsrettede tiltakene

Det er foreslått noen felles indikatorer for alle de aktuelle tiltakene samt noen indikatorer for de enkelte tiltaksvariantene. De foreslåtte kvalitetsindikatorene kan brukes sammen i et målekort for hvert av enkelttiltakene det her dreier seg om.

I rapporten foreslås det at det jevnlig gjennomføres tre undersøkelser for de aktuelle tiltakene:

• En kundetilfredshetsundersøkelse (rettet mot Arbeids- og velferdsetaten)

• En brukertilfredshetsundersøkelse (rettet mot tiltaksdeltakerne)

• En selvtilfredshetsundersøkelse (rettet mot ansatte hos tiltaksarrangørene)

Disse tre parallelle undersøkelsene kan være et interessant utgangspunkt for samarbeidsmøter og dialog mellom NAV lokalt og bedriftene. Ved at tilnærmet de samme spørsmålene stilles til de tre aktørgruppene som er mest involvert i tiltaksgjennomføringen gis bedriftene og Arbeids- og velferdsetaten et tilrettelagt materiale for å vurdere kvaliteten av tiltakene, utover benchmarking/learning-aspektet som ligger i dette. I tillegg til disse tre spørreundersøkelsene kan det rapporteres på kompetanseutvikling, forbedring og avviksnivå for alle de aktuelle tiltakene.

De tiltaksspesifikke indikatorene er utarbeidet på bakgrunn av forskrift om arbeidsrettede tiltak, kravspesifikasjoner og gjeldende praksis. Det er her lagt vekt på intensjonen med og essensen i den enkelte tiltaksvarianten. Arbeids- og velferdsdirektoratet vil vurdere hvordan arbeidsgruppens rapport skal følges opp.

Finansieringsordninger

For å stimulere til økt resultatoppnåelse er det også innført ulike finansieringsordinger innenfor ulike sektorer i ulike land. Slike ordninger kan øke fokuset på å oppnå målene for tiltakene. På den andre siden kan de skape uheldige sideeffekter, jf. kapittel 16 om finansiering. I Danmark har man ved arbeidsrettede tiltak benyttet resultatavhengig avlønning og bonusordninger i kombinasjon med skjerpet tilsyn og benchmarking i mål- og resultatstyring. Bonusordningen skal bidra til at de private aktørene arbeider mer aktivt for å få vedkommende over på ordinært arbeid, utdanning, lærlingpraksis eller på lønnstilskudd.

I Danmark lanseres også spørsmålet om man bør innføre resultatavhengig avlønning i de skjermede verkstedene som insitament for å nå målsettingen om overgang til ordinært arbeidsliv.53 De skjermede verkstedene er skeptiske til dette, og viser til at mange av brukerne har så alvorlige funksjonshemminger at det kan være vanskelig å finne en god match med de krav som stilles innenfor ordinære virksomheter. Videre mener verkstedene at slike insitamentordninger kan bidra til at man i for stor grad får en for kortsiktig virkning i tilbudet. Mange av disse brukerne har såpass alvorlige problemer at de vil bli stresset av å presses ut i ordinært arbeidsliv gjennom en slik ordning. Videre vil lønnstilskudd ha for kortvarig effekt, man bygger ikke inn et tilstrekkelig sikkerhetsnett eller stabilitet i tilbudet som er viktig for de svakeste gruppene som kommer dårligst ut på arbeidsmarkedet. Foreløpig har dermed bonusordningene vært forbeholdt arbeidsmarkedstiltakene som tilbys av jobcentrene.

Brukerbasert kvalitet

I litteraturen om kvalitetsmåling defineres ofte kvalitet som produktegenskaper i forhold til brukernes behov, krav og forventninger, og det fremheves at kvalitet er noe i produktet som til slutt bare måles av den enkelte bruker.54 En kvalitetsegenskap er dermed noe som bidrar til brukertilfredsstillelse. Kjennskap til brukeren og tilbakemeldinger fra brukeren blir slik helt sentralt for kvalitetsstyring, og fremmer behov for data om brukeren og analyse av dennes behov og ønsker. Retningen har derfor opparbeidet en rekke verktøy for klager, tilbakemelding og garantier slik at man kan korrigere sine handlinger i relasjonen med brukerne.

Samtidig kan det være usikkerhet knyttet til å vurdere brukernes ønsker og behov. Selv når produsenten er klar over brukerens ønsker, kan det være økonomiske eller teknologiske begrensninger som gjør at disse ønskene ikke kan oppfylles fullt ut. Det vil derfor alltid være en avveining mellom det ønskelige og det mulige. Denne avveiningsprosessen skjer ofte gjennom en utviklingsfase hvor behovsspesifikasjonen omsettes til en funksjonsspesifikasjon. Funksjonsspesifikasjonen definerer den planlagte kvaliteten, dvs. det kvalitetsnivå som produsenten ønsker å legge seg på i forhold til den aktuelle brukergruppens ønsker og krav.

Brukermedvirkning har i det senere tiåret i økende grad inngått i offentlige styring og blitt nedfelt i lovverket. Man ser en økende bruk av brukermedvirkning i alle offentlige tjenester. Det er også utarbeidet litteratur som tar for seg innholdet i begrepet brukermedvirkning, og som blant annet forsøker å beskrive både praktiske og prinsipielle retningslinjer for god brukermedvirkning innenfor offentlig forvaltning.55 Erfaringene med implementering av brukermedvirkning som en del av styringsprosessene er imidlertid så langt beskjedne, ikke minst når det gjelder konkrete effekter på kvalitet og tjenesteutvikling. Tilbakemeldinger fra både forvaltningen og brukermiljøene kan tyde på at brukermedvirkning på systemnivå så langt er implementert på noe overfladisk vis, og uten tydelig forankring i organisasjonen.

Det foreligger i dag flere diskusjoner om bruk av brukerundersøkelser i kvalitetsøyemed. Disse omhandler både spørsmål om undersøkelsene måler det man har til hensikt å måle, og om dette er undersøkelser som er hensiktsmessig å bruke for å måle kvalitet på tjenestene. Blant annet finnes det et omfattende litteraturtilfang om brukerundersøkelser i offentlig sektor som omfatter flere ulike debatter. En debatt er om tilfredshetsundersøkelser kan benyttes som indikator for å si noe om offentlige tjenesters omfang og kvalitet. Skeptikere mener at det finnes flere studier som reiser spørsmål om borgerne har den nødvendige kunnskapen om hvem som har ansvaret for leveranse av ulike offentlige tjenester, og det er påvist inkonsistens mellom objektive mål på tjenestens kvalitet og omfang, og borgernes tilfredshet.

Flere studier, både innen offentlig og privat tjenesteyting viser at survey/spørreskjemaundersøkelser har en tendens til å score for høyt på tilfredshet når man sammenlikner med scoringen med informasjon som fremkommer i kvalitative intervjuer eller casestudier.56 Tilfredshetsmålene er ikke egnet til å fange opp misnøye. Surveyforskningen er også kritisert for å undervurdere den sosiale konteksten for tilfredshetsmålingene. Videre er det ofte et problem med å få de svakeste brukerne til å besvare denne type undersøkelser, flere kan være uvante med eller ha problemer med skriftelige tilbakemeldingsformer. Dette innebærer at man må utforme design som er egnet til å fange opp disse gruppene.

Det er også usikkert om tilfredshetsundersøkelser er egnet som måleinstrument for resultat av tjenestene. Et aspekt i forbindelse med arbeidsrettede tiltak er for eksempel at de har et kontrollaspekt. Flere av tiltakene som gis av spesielt attføringsbedriftene er rettet mot avklaring, også knyttet til uføretrygd.57 Mange brukere ønsker at tiltaksdeltakelsen skal ende med at de får innvilget sin søknad om uføretrygd. I slike situasjoner er det vanskelig å benytte brukertilfredshet som mål.

De arbeidsrettede tiltakene er ikke bare rettet mot å imøtekomme brukernes behov, men representerer også en samfunnsmessig kontrollfunksjon. Hvordan man skal tenke brukerundersøkelser som redskap i kvalitetsutvikling, kvalitetsmåling og kvalitetskontroll av arbeidsmarkedstiltakene blir dermed en kompleks vurdering som må innlemme flere ulike aspekter. Ved arbeidsrettede tiltak reises spørsmål om i hvilken grad brukerne kan bestemme eller påvirke kvalitet på tjenesten. Videre omhandler det spørsmålet om ulike former for å inkludere brukernes perspektiver direkte i tjenesteutformingen.

Noen utfordringer i kvalitetsstyringsarbeidet i andre sektorer og land

I litteraturen foreligger ulike oppfatninger om perspektivene som legges til grunn for kvalitetsstyrings- og kvalitetskontrollarbeidet. Videre er det diskusjon om virkemidlenes hensiktsmessighet og måloppnåelse.

Spenningen mellom styringsformene i New Public Management og faglig tjenesteutøvelse

Resultatfokus og resultatmåling er ikke noe nytt, men både innenfor helsetjenesten, barnevernet og de arbeidsrettede tiltakene i Danmark har innføringen av styringsidealene fra New Public Management ført til spenninger mellom administrative styringsformer og profesjonelle fagutøvere samt øvrige tjenesteutøvere som møter brukerne i daglig praksis. En gjennomgang av den danske styringspolitikken de senere årene kan oppsummeres med at kvalitetskontrollen har vært sterkt statlig drevet.58 Virkemidlene er vurdert delvis effektive. Det påpekes likevel at styringsformene som i pleie- og omsorgstjenestene i kommunene har ført til omkostninger gjennom motstand og kritikk fra tjenesteyterne om at faglig arbeid og individuell tilpasning er blitt vanskeliggjort og overskygget av standardisert statlig kontroll. I tillegg er det fremkommet kritikk av den tiltakende byråkratiseringen som har fulgt denne type kvalitetskontroll. Det er nå iverksatt en handlingsplan for avbyråkratisering av kvalitetskontrollsystemene fra regjeringens side, men mange mener det er behov for mer av dette. Disse erfaringene fra andre sektorer og andre land kan tyde på at det vil være viktig å vurdere i hvilken grad og på hvilken måte man kan utforme metoder for kvalitetsstyring av arbeidsmarkedstiltakene for personer med nedsatt arbeidsevne. Disse må ivareta behov for kvalitetskontroll og samtidig inkludere tjenesteyternes erfaringer på en god måte for å sikre faglig kvalitet i tjenesteutøvelsen.

Evidensbasert/kunnskapsbasert praksis

Det er de siste årene påpekt et behov for å styrke kunnskapsgrunnlaget både for politikkutforming og praksisutvikling innen offentlig forvaltning og tjenesteutøvelse innen flere sektorer. Å utvikle evidensbasert/kunnskapsbasert praksis innen ulike områder for tjenesteutøvelse er et av svarene på dette behovet. Å utøve evidens/kunnskapsbasert praksis er å ta faglige avgjørelser basert på erfaring og systematisk innhentet forskningsbasert kunnskap.

En syntese mellom forskning og praksis er nødvendig. Ved utviklingen av evidensbasert praksis bør det metodisk sett benyttes flere og ulike tilnærminger. Randomiserte forsøk, anvendelse av registerdata og kvalitative tilnærminger vil kunne nyansere hverandre. Også kunnskap fra ulike forskningsprosjekter om samme tema bør sammenholdes og ses i lys av praksis.

I tillegg til bred metodisk tilnærming er det sentralt at det innen arbeids- og velferdsområdet i større grad jobbes med å frembringe forskningsbasert kunnskap som kan danne grunnlag for tjenesteutvikling og tjenesteutøvelse. Innenfor velferdstjenestene forutsetter evidensbasert praksis lærende organisasjoner, som evner å justere og endre praksis på grunnlag av ny kunnskap. I Arbeids- og velferdsetatens tilfelle innebærer dette å gjøre nødvendig kunnskap tilgjengelig, legge til rette for aktiv læring, bruke kunnskapen i utvikling av tjenester og jobbe for at praksisfeltet skal ta kunnskapen i bruk. Utvikling av ny kunnskap fordrer deretter evaluerbar utprøving av nye arbeidsmetoder og forsøk.

Arbeidsdepartementet inngikk sommeren 2011 en avtale med Frischsenteret om evaluering av tiltak for å hjelpe personer med nedsatt arbeidsevne til å komme i arbeid. Evalueringen er en flereårig satsning der det målet er å få «bistand til å framskaffe evalueringer med høy kvalitet og relevans av tiltak og virkemidler for å hjelpe personer med nedsatt arbeidsevne å komme i arbeid eller å holde på et arbeidsforhold.»59 Formålet er å få et forskningsbasert grunnlag for å forbedre innhold i, organisering av og prioritering mellom tiltak. I denne satsningen skal det også legges vekt på å avdekke hvai tiltakene som virker for ulike målgrupper. Hovedtemaet skal være individuelle effekter, men også virkninger for statsbudsjettet og samfunnsmessige effekter er relevante. Avtalen gjelder analyser som i hovedsak bruker administrative registre som datakilder. Ved siden av registeranalyser legges det opp til å gjennomføre randomiserte forsøk og benytte kvalitative metoder. Prosjektet kan bidra til en mer evidensbasert praksis på tiltaksområdet.

I utviklingen av FoU-strategi legger Arbeids- og velferdsdirektoratet også opp til en generell dreining av aktivitetene i retning av å etablere et mer evidenssikkert kunnskapsgrunnlag for tiltak og tjenester i og rundt Arbeids- og velferdsetaten.

15.8 Måling av kvalitet ved ulike faser i kvalitetsarbeidet

I henhold til mandatet bes utvalget «bl.a. komme med forslag til hvordan kvaliteten på arbeidet best skal kunne måles.» Under beskrives to mulige struktureringer av kvalitetsarbeidet. De to tilnærmingene danner basis for hvor vurderinger av hvor i kvalitetskjeden målingsfokuset bør rettes.

Struktur, prosess- og resultatkvalitet

En tilnærming til kvalitetskjeden i arbeidsrettede tiltak for personer med nedsatt arbeidsevne kan identifiseres som struktur-, prosess- og resultatkvalitet. Dette er en standardisert måte å omtale og identifisere kvalitet på, og er blant annet brukt i utdanningssektoren60 og i styringssystemet KOSTRA. Inndelingen har vært referert til tidligere i kapitlet under hovedresultater fra litteraturgjennomgang om kvalitet.

Egenskapene ved struktur-, prosess- og resultatkvalitet utgjør tiltakenes samlede kvalitet. Resultatet av tiltaket avhenger av strukturkvalitet og prosesskvalitet.

• Strukturkvalitet (sikring av kvalitet i forkant av tiltaket) beskriver leverandørenes ytre forutsetninger i bred forstand. Dette er for eksempel dokumentene som definerer, styrer og danner grunnlaget for organiseringen av leverandørene som lov, regelverk og planverk, personalets formelle kompetanse, personaltetthet, brukersammensetning, fysiske rammer og lokaler samt andre rammevilkår og økonomi. Ved arbeidsrettede tiltak for personer med nedsatt arbeidsevne, som er forbeholdt forhåndsgodkjente leverandører, sikres kvalitet også gjennom krav til virksomhetene i forskrift om arbeidsrettede tiltak, i godkjenningen av leverandørene som foretas i Arbeids- og velferdsdirektoratet, ved avtalen mellom etaten og den enkelte leverandøren i tillegg til kvalitetssikringssystem hos forhåndsgodkjente tiltaksbedrifter, som EQUASS.61

• Prosesskvalitet (oppfølging av kvalitet underveis i gjennomføringen av tiltaket) handler om virksomhetens indre aktiviteter, selve arbeidet med oppfølging av tjenesten. Det vil være kvaliteten på relasjoner og prosesser i virksomheten, som eksempelvis hvordan personalet forholder seg til sitt arbeid, personalets samspill med brukerne og deres samspill seg i mellom samt virksomhetens samspill med arbeids- og næringsliv. Prosesskvalitet består også av tiltakenes innhold, metodiske tilnærming, personalets anvendelse av sin egen kompetanse og muligheter til utvikling av denne i arbeidet samt læringsmiljøet. Ved arbeidsrettede tiltak vil prosesskvalitet også omfatte hvilken oppfølging som gis til den enkelte bruker i de ulike stadier i brukerens prosess. Oppfølging av kvalitet kan være underveiskontroll av gjennomføringen av tiltaket, eksempelvis oppfølging av at tiltaksdeltakeren er på hensiktsmessig tiltak, og at innholdet i tiltaket er tilpasset den enkeltes behov.

• Resultatkvalitet (kvalitet og kontroll av kvalitet i etterkant av gjennomført tiltak) defineres gjerne ved den behovsdekningen som er oppnådd ved hjelp av tjenesten/produktet, og om forventning/målsetting er nådd. For å stimulere til økt resultatoppnåelse kan benchmarking brukes som virkemiddel. Brukerundersøkelser gir informasjon om resultat: Hvordan har tiltaksdeltakeren opplevd tiltakets nytteverdi sett opp mot forventning? Kvalitetskontroll er også etatens kontroll av oppnådde resultater i etterkant av tiltaket, jf. krav til sluttrapport: Hvilken effekt har tiltaket hatt sett opp mot mål for tiltaket? Målene ved de ulike tiltakene kan strekke seg fra overgang til jobb, opplæring, arbeidstrening eller meningsfull arbeidsaktivitet.

Utover kvalitetskjeden beskrevet ovenfor, følger Arbeids- og velferdsetaten opp avtalen mellom etaten og den enkelte leverandøren. I gjennomgangen over er det i hovedsak fokusert på Arbeids- og velferdsetatens arbeid i kvalitetskjeden. Tiltaksarrangørene har også egne prosesser for kvalitetsarbeidet, blant annet følger arrangørene opp at tiltaket er tilpasset den enkelte, og mange gjennomfører egne brukerundersøkelser underveis og/eller i etterkant av gjennomført tiltak.

Fire tilnærminger til kvalitet i arbeidsrettede tiltak

AFI presenterer i rapporten om kvalitet i skjermet sektor fire tilnærminger til arbeid med kvalitet som kan tjene som utgangspunkt for det videre arbeidet med utvikling av kvalitet og kvalitetskontroll for personer med nedsatt arbeidsevne.62

• Mål – resultattenkning: Tilnærmingen er en enkel modell der resultatene av tjenesteproduksjonen vurderes opp mot oppsatte mål. Tilnærmingen forutsetter at det settes konkrete mål for tjenestene. Med bakgrunn i målsettingen utledes ett eller flere parametere som kan måle eller beskrive resultatoppnåelsen til tjenesten. Modellen forutsetter at virksomhetene rapporterer på oppnådde resultater knyttet til tjenestene de har utført. Vurderingen av kvalitet er i denne modellen knyttet til vurdering av oppnådde resultater.

• System/revisjon/tilsynstilnærming: Innføring av systemer som skal sikre at prosedyrer, standarder og rutiner er innført og overholdes. EQUASS representerer en systemtilnæring til kvalitetssikring. Gjennom sertifiseringen skal virksomhetene dokumentere at de har systemer, rutiner og prosesser som tilfredsstiler krav og kriterier som anses som sentrale for tjenesteproduksjon. Kvalitet, operasjonalisert og kontrollert gjennom organisatoriske forhold ved leverandøren, er en vanlig operasjonalisering av kvalitet. Flere studier har påpekt at man ved å fokusere på ytre rammer og forhold, kan overse hva som faktisk foregår i tjenestene. Mens systemtilnærmingen ofte stiller like krav til alle leverandører (eksempelvis om organisering og dokumentasjon), er det innholdet og metodikken som legges til grunn som gjør tilbudene forskjellige.

• Faglig tilnærming: Dette er selve innholdet i tiltakene. Den faglige eller metodiske tilnærmingen som har til hensikt å utvikle og motivere brukerne. Ved arbeidsrettede tiltak har det gjennom de siste to tiår blitt gjennomført prosess- og effektevalueringer samt følgeforskningsprosjekter av tiltaksvirksomhet, hvor både organisatoriske forhold, metodikk og resultater er belyst. Dette er kunnskap som faller inn under en faglig tilnæring til kvalitet.

• Brukertilnærming: Brukerundersøkelser er ofte tilfredsundersøkelser, dvs. de skal måle hvor fornøyde brukere er med en tjeneste. Tilfredshet er ikke uproblematisk når det gjelder arbeidsrettede tiltak. Det er en tendens til at hovedvekten av informantene er godt/ meget godt med tjenesten. Det er bl.a. usikkert om denne tilfredsheten kan tilskrives at man er tildelt en tiltaksplass, eller om man er fornøyd med selve tjenesten. En viktig side ved brukerundersøkelser er imidlertid at de også kan si noe om innhold og resultat av tjenestene. Dette kan foregå ved at NAV-veileder spør deltakerne om de faktisk har fått det tilbudet arrangøren har forpliktet seg til gjennom avtalen. Brukertilnærming ser altså ikke bare på hvor tilfreds brukerne er.

Det kan være nyttig med en kombinasjon bestående av alle de ulike tilnærmingene over på kvalitetsvurderingsarbeidet i Arbeids- og velferdsetaten. Ved å ta utgangspunkt i disse fire tilnærmingene til kvalitet, kan man tenke seg en oppfølging av de arbeidsrettede tiltakene utført på fire ulike måter: For det første i form av en resultattilnærming, for det andre i form av en systemtilnærming. For det tredje kan oppfølgingen skje gjennom en faglig og metodisk tilnærming hvor man jevnlig gjennomfører tiltaksevalueringer og ulike forskningsprosjekt knyttet til tiltaksvirksomhet, og for det fjerde kan man ta i bruk ulike former for brukerundersøkelser. Disse fire tilnærmingene i oppfølgingen av tiltak, kan således fungere som et supplement til kravspesifikasjon, avtalen og sluttrapportene.

Veien mot forbedret måling av kvalitet – hvor bør målingsfokuset rettes?

I Arbeids- og velferdsetaten bygger kvalitetsregimet ved arbeidsrettede tiltak for personer med nedsatt arbeidsevne i dag i hovedsak på sikring av kvalitet i forkant av tiltaket via krav til virksomhetene i forskrift om arbeidsrettede tiltak, godkjenningsordningen og avtalen mellom Arbeids- og velferdsetaten og tiltaksarrangør.

Når leverandørene først er forhåndsgodkjent, antas det at tiltakene de leverer holder en tilfredsstillende kvalitet. Det er imidlertid ikke åpenbart at kravene i forskriften til virksomhetene faktisk bidrar til tilstrekkelig kvalitet på tjenestene og tiltakene. Et regime basert på forhåndsgodkjenning kan lett bli en sovepute for kvalitetssikringsarbeidet. Man tar det for gitt at virksomheter som oppfyller kravene i godkjenningsordningen også leverer kvalitativt gode tjenester. Gode kontrollrutiner forutsetter også oppfølging av gjennomføringen av tiltakene og gjennomgang av oppnådde resultater etter at tjenesten er levert.

Å støtte seg for mye til kvalitetssikring i forkant via godkjenning og for lite fokus på kvalitet i senere ledd kan gi for stort fokus på systemet, og for lite fokus på innhold i og gjennomføring av tiltakene. Et økt fokus på kvalitet i gjennomføring av tiltakene og resultater vil bidra til forbedret måling av kvalitet sammenliknet med dagens system.

15.9 Oppsummering

Gjennomgangen av Arbeids- og velferdsetatens kvalitetsarbeid ved arbeidsrettede tiltak i dag viser at kvaliteten i stor grad er ivaretatt i forkant av tiltak. Det er ikke like tett kvalitetsoppfølging underveis i tiltaket eller kontroll av kvalitet i etterkant av gjennomført tiltak (resultater). Gjennomgangen viser også at NAV-ansatte har ulike forventinger til forhåndsgodkjente tiltaksbedrifter og tiltakenes rolle i den samlede virkemiddelbruken. Ulike forventninger til forhåndsgodkjente tiltaksbedrifter i Arbeids- og velferdsetaten, fører igjen til at personer i etaten tenker ulikt med hensyn til hva de forventer av kvalitet ved tjenestene. Til slutt retter gjennomgangen fokus på at kravspesifikasjon og avtalen mellom Arbeids- og velferdsetaten og tiltaksarrangør gir gode operasjonaliseringer av kvalitet, men det er mange andre forhold som påvirker kvaliteten i praksis. Det er ulike bestillingsprosedyrer som påvirker inntak, det kan være for lav gjennomstrømning på tiltakene, eller tiltakene kan over tid ha utviklet et innhold og et formål som ikke lenger er i tråd med de krav Arbeids- og velferdsetaten stiller til tjenesten. Oppsummert viser analysen av etatens kvalitetsarbeid ved arbeidsrettede tiltak i dag at kvalitetsarbeidet og -kontrollen knyttet til bestilling, oppfølging og resultat av tjenestene ikke er nok til å sikre god kvalitet på tiltaksleverandørenes tjenester.

AFIs vurdering av EQUASS peker på fordeler og ulemper med systemet.63 EQUASS framstår som et verktøy som bevisstgjør tiltaksarrangørene i forhold til arbeidet sitt, og at arrangørene får et mer aktivt forhold til hvordan man jobber. Imidlertid er det utfordringer knyttet til blant annet den kompetansen som er nødvendig for å bedømme tjenestetilbud, faglige valg mv. Det vil også by på problemer å avdekke uintenderte og uhensiktsmessige prosesser, som innelåsning og uheldig tiltakskjeding. I og med at EQUASS verken er ferdig implementert eller har fått virke i tilstrekkelig tid etter implementering, er det for tidlig å vurdere om EQUASS kan forbedre kvaliteten i tiltakene.

Econ Pöyry og Proba samfunnsanalyses rapport om anskaffelser av arbeidsmarkedstjenester viser ingen klar sammenheng mellom anskaffelsesform, og pris og kvalitet.64 Rapporten viser også at anskaffelsesform legger få begrensninger på mulighetene for individuell tilpassing og innovasjon. Størst betydning har avtalen som ligger i bunn i tillegg til konkurransesituasjonen i den enkelte anbudsprosessen. En rekke forhold, som kan reguleres uavhengig av anskaffelsesform, påvirker kvalitet og bruk av ressurser. Samme anskaffelsesform vil derfor kunne gi svært ulike resultater med bakgrunn i hvordan anskaffelsen er innrettet. Econ Pöyry og Proba samfunnsanalyse peker på at både anskaffelser fra forhåndsgodkjente leverandører og anskaffelser via anbud har forbedringspotensiale.

Barnevernet har en godkjenningsordning for å få levere anbud, og leverandørene godkjennes for ett år av gangen. Arbeids- og velferdsetaten har en godkjenningsordning for å levere tiltak som er forbeholdt forhåndsgodkjente tiltaksbedrifter. Det finnes ingen forhåndsgodkjenning for å levere anbud. En forhåndsgodkjenning for å levere anbud kan være et innspill til Arbeids- og velferdsetaten for sikring av kvalitet og mulig forenkling ved anbudsprosesser samtidig som det kan være behov for å bringe inn mer konkurranse mellom godkjente tiltaksleverandører. En kombinasjon, som i barnevernet, av først en runde med forhåndsgodkjenning av leverandører og deretter anbudskonkurranse mellom forhåndsgodkjente tilbydere, kan være en mulig modell for kjøp av arbeidsrettede tjenester til personer med nedsatt arbeidsevne.

Ulike virkemidler har som hensikt å stimulere til økt resultatoppnåelse, som benchmarking og ulike finansieringsordninger. Brukerbasert kvalitet og kjennskap til brukeren og tilbakemelding fra bruker er også sentralt for kvalitetsstyring. Det er imidlertid viktig å være oppmerksom på begrensninger ved tilfredshetsundersøkelser. Evidensbasert/Kunnskapsbasert praksis er en tilnærming til kvalitet og kvalitetskontroll som tar utgangspunkt i at det er behov for å styrke kunnskapsgrunnlaget for praksisutvikling.

Det finnes alternative måter å strukturere kvalitetsarbeidet på, herunder «struktur-, prosess- og resultatkvalitet» og «fire tilnærminger til kvalitet», slik AFI skisserer dem i sin rapport.65 Som pekt på under gjennomgangen av etatens kvalitetsarbeid ved arbeidsrettede tiltak, bygger kvalitetsregimet ved arbeidsrettede tiltak for personer med nedsatt arbeidsevne i hovedsak på sikring av kvalitet i forkant av tiltaket via krav til virksomhetene i forskrift om arbeidsrettede tiltak, godkjenningsordningen og avtalen mellom Arbeids- og velferdsetaten og tiltaksarrangør. Å støtte seg for mye til kvalitetssikring i forkant via godkjenning og for lite fokus på kvalitet i senere ledd kan gi for stort fokus på systemet, og for lite fokus på innhold i og gjennomføring av tiltakene. Dette er også erfaringen fra barnevernet.

Dette kapitlet understreker behov for en helhetlig tilnærming til kvalitet. Bredden kommer til uttrykk ved at kvalitetsarbeidet inkluderer hele tjenesteytingsprosessen og omhandler kvalitet i flere faser. En annen hovedkonklusjon er behov for økt fokus på kvalitet i gjennomføring av tiltakene og resultater, for forbedret måling av kvalitet sammenliknet med dagens system.

15.10 Utvalgets vurderinger

Utvalget mener det er viktig å sikre kvaliteten i tiltakene. Kvalitetssikring inngår i krav til skjermede virksomheter i forskrift om arbeidsrettede tiltak, i godkjenningsordningen av leverandørene foretatt i Arbeids- og velferdsdirektoratet, ved avtalen mellom etaten og den enkelte leverandør i tillegg til kvalitetssikringssystem hos de forhåndsgodkjente tiltaksbedriftene, som EQUASS. Forhåndsgodkjente tiltaksbedrifter har nylig innført EQUASS. De fleste virksomheter er nysertifisert, eller kan bli det i 2011. Siden dette er relativt nytt vil det først når tiltaksarrangørene skal resertifiseres, to år etter sertifiseringen, være mulig å vurdere om systemet har ført til kvalitetsforbedringer i virksomhetene i perioden. Betydningen EQUASS har hatt kan derfor først vurderes etter utgangen av 2013.

Generell kvalitetsutvikling og kvalitetskontroll for komplekse tjenester er betydelig mer krevende enn for vareproduksjon, først og fremst fordi generell kvalitetsutvikling og -kontroll forutsetter kvalitetskrav som leveransen kan måles mot. Tjenester som blir produsert i samspill med brukeren gjør det vanskelig å standardisere prosessen hvor tjenesten produseres. Dermed er det også vanskelig å lage fungerende standarder for prosessinnhold som kan tjene som grunnlag for kvalitetskontroll av selve utøvelsen av tjenesten. Dette forklarer at mye av kvalitetsarbeidet for tjenesteyting har handlet om å sikre strukturkvalitet, dvs. sikring av kvalitet før tjenesten produseres og leveres. Dette vil imidlertid være langt fra tilstrekkelig for å sikre god kvalitet på tjenestene. Eksempler fra barnevernet belyser at slike systemindikatorer kan dreie oppmerksomheten og tjenestene i retninger som i verste fall reduserer kvaliteten. Prosess- og resultatkvalitet er krevende å kontrollere og måle enkelt og på entydige måter. Utvalget mener likevel det er behov for å styrke Arbeids- og velferdsetatens kvalitetskontroll av både tiltakenes innhold, måten tiltakene gjennomføres på samt sluttresultat. Målet med all bruk av arbeidsrettet bistand er å øke mulighetene for selvforsørgelse gjennom inntektsgivende arbeid og å fremme den enkeltes utvikling både sosialt og faglig. Dette er mål som en framtidig kvalitetskontroll må bygge på.

Det er vanskelig å tenke seg profesjonalisering innen Arbeids- og velferdsetaten og tiltaksarbeidet uten forskningsmessig basis for praksis. Utvalget er av den oppfatning av at evidensbasert/kunnskapsbasert praksis må legges større vekt framover for å kunne gi økt kunnskap og deretter bedre resultater knyttet til arbeidsrettede tiltak. Utvalget anbefaler at det bevilges midler til forskning på dette området tilsvarende en andel av tiltaksbudsjettet.

Utvalget trekker fram at benchmarking og benchlearning kan være nyttig for å lære mer om hva arrangørene bør gjøre for kvalitet i prosess og resultat, jf. arbeidsgruppen som har arbeidet for å etablere gode kvalitetsmål for tjenester som utføres av forhåndsgodkjente tiltaksbedrifter.66 Benchmarking fordrer gode kvalitetsindikatorer.

I sin rapport om kvalitet i skjermet sektor oppfordrer AFI Arbeids- og velferdsetaten til å foreta en intern gjennomgang av hva etaten selv anser er de viktigste forholdene å ta tak i når det gjelder kvalitetsvurderinger, og dette må gjøres for alle nivå i etaten.67 Utvalget mener at etaten selv trenger å styrke sin kompetanse med hensyn til hva den definerer som kvalitet i arbeidsrettede tiltak og når og hvordan kvaliteten skal styres for at Arbeids- og velferdsetaten skal kunne bli en tydeligere bestiller, oppfølger og kontrollør. I tillegg er det viktig for Arbeids- og velferdsetaten å utvikle en kvalitetstenkning i etaten som springer ut av eget behov. Utvalget mener det er behov for at Arbeids- og velferdsetaten setter i gang et større arbeid for å bevisstgjøre etaten i kvalitetsarbeidet. Det vil her kunne være fruktbart å knytte til seg aktører i andre miljøer med kunnskap om kvalitet.

Utvalget har registrert at viktige grep har vært gjort de senere år for å forbedre kvaliteten angående resultater, faglighet og brukertilfredshet innen dette feltet. Grep som har blitt tatt i tett samarbeid mellom Arbeids- og velferdsdirektoratet, Vekstbedriftene og bransjeforeningen Attføringsbedriftene i NHO. Et slikt nært samarbeid er viktig for å sikre god kvalitet i arbeidsrettede tiltak og at det kombineres med uavhengige evalueringer fra forskningsinstitusjoner.

Medlemmene Paulsen, Gogstad , Brørby, Oen og Norman vil bemerke at det bør igangsettes et utviklingsprosjekt for å identifisere og utvikle kvalitetsindikatorer for attføringsarbeid, og at det bør igangsettes nettverksarbeid der det jobbes systematisk med benchmarking. Medlemmene anbefaler at erfaringer fra denne type arbeid hentes fra kommunal sektor. Deltakelse i slike erfaringsnettverk kan være en del av den enkelte bedrift sitt kontinuerlige forbedringsarbeid, samtidig bidrar det til innovasjon og nytenking på tvers av bedrifter og fylker. Videre vil arbeidet i nettverkene gi Arbeids- og velferdsetaten verdifull styringsinformasjon.

Medlemmene Gogstad, Norman, Brørby, Oen og Paulsen vil bemerke at kvalitetssikring innen velferdssektoren innebærer en annen tilnærming til kvalitet enn kvalitetssikring innen tradisjonell vareproduksjonsvirksomhet. Mens kvalitetssikring innenfor tradisjonell vareproduksjonsvirksomhet handler om å sikre at vareproduksjon skjer i henhold til en forhåndsdefinert standard (eller prosess) (for eksempel ISO 9000) handler kvalitetssikring innenfor velferdssektoren om å definere og gjennomføre en prosess gitt en foreliggende utfordring. Det vil si ha kompetanse, rutiner og støttesystemer på plass for å innfri krav som stilles fra ulike interesseparter (i dette tilfellet, NAV, bruker og støttesystem rundt bruker), og velge de riktige elementer utfra problemstillingen (for eksempel EQUASS Assurance). Kvalitetssikring i velferdssektoren handler altså om å sikre at forutsetninger er tilstede for å etablere en riktig prosess heller enn å følge en forhåndsdefinert prosedyre.

Disse medlemmene mener teksten i kap. 15 Kvalitet i arbeidsrettete tiltak inneholder en rekke feil eller misforståelser rundt kvalitetsarbeid i velferdssektoren og implenteringen av EQUASS Assurance som bør korrigeres. Medlemmene vil derfor påpeke følgende:

Det påstås at man som bedrift kan bli sertifisert i EQUASS Assurance uten å ha «resultater å vise». Dette er feil. I en revisjon sjekker revisor at bedriften har rutiner og støttesystemer på plass, og at bedriften kan dokumentere at disse følges.

For å kunne søke sertifisering må bedriftene vise at de driver i henhold til ni overordnede kvalitetsprinsipper. Disse prinsippene fokuserer på: Lederskap, rettigheter, etikk, partnerskap, deltakelse, individfokus, helhetstanke, resultatorientering og kontinuerlig forbedring. For hvert prinsipp er det satt opp konkrete krav som må innfris. Det er videre satt opp til sammen 100 indikatorer som blir sjekket ut av revisor for å kontrollere at man jobber iht kravene. Revisor sjekker i revisjonen dette gjennom dokumentasjon og intervjuer på alle ledd i organisasjonen, med brukere og interesseparter.

Det hevdes at tjenestenes mangel på standardisering gjør det vanskelig å formulere krav som er konkrete nok til at de kan måles entydig. Det er ikke standardisering som gir kvalitet og resultat når behovet er et individrettet tilbud, men at den prosess som etableres er god og gir ønsket resultat. I kvalitetssikringssystem som EQUASS Assurance er det imidlertid prosessene som leder fram til sluttproduktet som måles. Standardiseringsfokus på produktet er mer typisk for kvalitetssikring av varer (ISO – 9000). Når det er vanskelig å stille konkrete krav til entydig resultatmåling, må kvalitetsstyringen skje på annen måte, for eksempel ved at NAV ved samarbeid sikrer at kompetanse og elementer i prosessen er riktig.

Det stilles i rapporten spørmålstegn ved hvilken kompetanse revisor bør ha innenfor attføringsfaget for å godkjenne løsningene til tiltaksarrangørene. Her ligger også en misforståelse. Revisor enten det er i EQUASS eller ISO skal godkjenne systemene i kvalitetssikring og ikke de faglige resultatene.

Utvalget baserer flere av konklusjonene sine på en bestillingsrapport fra AFI (rapport 3/2011). Samtidig unnlates det å vise til andre forskningsrapporter departementet selv har bestilt som viser at EQUASS Assurance har ledet til økt innovasjonsaktivitet, høyere kvalitet på leveransene til NAV og høyere bevissthet om kvalitet hos tiltaksarrangører (ECON/Proba – rapporten «Anskaffelser av arbeidsmarkedstjenester» fra 2010, Nordlandsforskningsrapporten «Vanskelig å snakke om – Arbeidsmiljø og rettssikkerhet for utviklingshemmede i skjermede virksomheter» fra 2009).

Nordlandsforskningsrapporten «Vanskelig å snakke om – Arbeidsmiljø og rettssikkerhet for utviklingshemmede i skjermede virksomheter» fra 2009, utarbeidet på oppdrag fra Arbeids- og inkluderingsdepartementet som undersøkte bl.a. bedrifter som var i ferd med å sertifisere seg i EQUASS Assurance konkluderte med:

«Når det gjelder HMS – arbeidet, er det en økende bevissthet hos lederne i Vekstbedriftene i forhold til å utarbeide rutiner og systematisere denne innsatsen. Mye av æren for dette kan knyttes til at det nå jobbes med å implementere EQUASS, et kvalitetssikringssystem tilpasset velferdssektoren.»

ECON/Proba – rapporten «Anskaffelser av arbeidsmarkedstjenester» fra 2010, utarbeidet på oppdrag fra Arbeidsdepartementet sier bl.a.:

Det er stor enighet både blant informantene i NAV og virksomhetene at godkjenningsordningen og sertifiseringen via EQUASS har vært positiv for kvaliteten i leveransene.

For noen bedrifter har sertifiseringen gitt betydelige utfordringer og krevd omfattende arbeid. Det skyldes ikke minst at mange har vært nødt til å dokumentere rutiner og praksis som tidligere ikke har vært nedfelt skriftlig. Det er også eksempler på bedrifter (som regel små) som manglet formelle ansettelseskontrakter for deltakerne, HMS – rutiner og liknende.

Spesielt to faktorer har bidratt til økt innovasjonsaktivitet i skjermet sektor; deltakelse i anbudskonkurranser og EQUASS.

I løpet av 2012 vil om lag 100 bedrifter ha vært gjennom resertifisering minst en gang. Det bør være et meget godt grunnlag til at Arbeidsdepartementet iverksetter en grundig evaluering av EQUASS Assurance. Det er ingen grunn til å skulle vente til etter utgangen av 2013 som foreslås av utvalget.

Avslutningsvis ønsker utvalgsmedlemmene å påpeke viktige faktorer for forbedret kvalitetsoppfølging. Det er i de senere år etablert både ny godkjenningsordning for tiltaksarrangører og innført ny årlig avtale mellom NAV og tiltaksarrangør. I tillegg til innføring av kvalitetssystem hos alle tiltaksarrangører er systemene for å sikre kvalitet på plass.

De største forbedringspotensialer oppleves å ligge i å forbedre resultatkvalitet ved at de samme resultatmål stilles til tiltaksarrangører som til lokale NAV kontorer, slik at disse jobber med de samme målsetninger og at målsetninger som er satt faktisk følges opp. I dette påpeker AFI i sin rapport «Kvalitet og kvalitetskontroll i arbeidet for personer med nedsatt arbeidsevne (2011) at NAV innledningsvis bør gjøre et eget husarbeid for å definere og operasjonalisere hva kvalitet er for NAV før den kan måles, og at dette blir et konsensusarbeid på tvers av nivå.

I tillegg sikre prosesskvalitet gjennom et tett samarbeid mellom NAV og tiltaksarrangør for å sikre at individrettete tilbud utvikles i riktig retning for bruker og innenfor NAVs ønsker og rammer.