5. Måle effekt – verdien av nye løsninger

Gevinst- og effektmåling er krevende. Ikke desto mindre er det viktig for å vite om pengene man bruker på et tiltak gir de resultatene og effektene man ønsker seg. Målingene vil kunne avgjøre om løsningene kommunen har valgt er den beste, eller om en annen leverandør vil kunne levere bedre resultater. Mål- og resultatstyringen i det offentlige fordrer at man vet hvordan tiltak har virket. Dette åpner opp muligheter for sosiale entreprenører, gitt at både kommunen og den sosiale entreprenøren arbeider systematisk med slike målinger.

Årsakssammenhengen mellom tiltak og effekt er sjelden entydig. Å måle effekten av tiltak krever derfor tid og kompetanse. Noen metoder finnes for å gjøre dette på en systematisk måte, og fagfeltet er under utvikling. Her omtales noen metoder som er i bruk i dag.

Social Return on Investment (SROI)

Social Return on Investment (SROI) er en metode der man forsøker å beregne samfunnseffekten av tiltak i økonomiske termer, og gir mulighet for

• å dokumentere verdi på ulike nivåer – dvs. for innbyggerne, for kommunen og for samfunnet
• å beregne både velferdseffekter og økonomiske effekter når man skal vurdere et tiltak
• å vurdere nytteverdi av tiltak – både gjennomførte tiltak, pågående og planlagte

Den danske boken «Kan det betale sig?», forfattet av Lindgaard, Thorgaard og Wiene gir en innføring i metoden.

Measuring Up

Measuring Up! fra Inspiring Metrics tilbyr en sjekkliste som mange mindre aktører i Storbritannia benytter. Kan også være relevant i norsk sammenheng.

SoImpact

SoCentral har utviklet en metode og et verktøy – SoImpact – for å måle og synliggjøre resultater, virkninger og effekter av prosjekter og satsinger. Formålet med SoImpact er å gjøre brukerterskelen så lav at alle, fra små sosiale entreprenører til større offentlige virksomheter og satsinger, skal kunne måle effekten av det de gjør, hver for seg og samlet. Det gjøres ved at resultater og virkninger av tiltak måles direkte, mens effekten av tiltak i større grad måles gjennom innhenting av allerede tilgjengelig statistikk og forskningsresultater.

Metoden har syv steg:

1. beskrive nåsituasjon
2. utarbeide overordnede målsettinger
3. gjennomføre målgruppeanalyse
4. utarbeide måleindikatorer på resultat-, virkning-, og effekt-nivå
5. forberede målinger og gjennomføre nullpunktsmålinger (måling før man gjennomfører tiltaket)
6. gjennomføre regelmessige målinger
7. gjennomføre regelmessige evalueringer og tilpasninger

Måleresultatene vises gjennom enkle, illustrative figurer, alt samlet på én side. Det gjør det enklere å kommunisere resultatene overfor andre.

Metoden benyttes for eksempel i programmet Boost Refugee, et samarbeid mellom Oslo kommune, Lundin Foundation og SoCentral. Det skal styrke sosiale entreprenører som jobber med å få nyankomne flyktninger ut i arbeid. Målsettingene med programmet ble gjort tydelig i søknadsinvitasjonen og underveis i prosessen. Det ble utarbeidet felles måleindikatorer som både programmet som helhet og de enkelte entreprenørene måles på. Et eksempel er: Antall nyankomne flyktninger som har kommet i et arbeidsforhold, eller som har fått tilført kvalifikasjoner og nettverk som gjør dem attraktive for arbeidsgivere. I tillegg opererer hver entreprenør med egne måleindikatorer for sin virksomhet. Oslo kommune vil gjennomføre egne målinger for å sammenligne resultatene og effekten av Boost Refugee med andre integreringstiltak i kommunen. Målinger følges opp månedlig for å kunne tilpasse programmet underveis.

Ferd Sosiale Entreprenørers målemodell

Ferd Sosiale Entreprenørers (FSE) målemodell synliggjør den doble bunnlinjen med både sosiale resultater og økonomisk bærekraft som mål. Sosiale resultater måles kvantitativt og kvalitativt. Kvantitativt måles antall individer som påvirkes av aktiviteten, og det skilles mellom livsendrende/høy påvirkning og livsforbedrende/lav påvirkning som aktiviteten har på hver deltaker. Kvaliteten måles med tilpassede suksesskriterier for hver enkelt sosiale entreprenør supplert med effekteksempler og gode historier: Alle sosiale entreprenører i Ferds portefølje formidler minst en årlig «god historie» om personer som har blitt positivt påvirket av deres innsats. Økonomisk bærekraft måles i inntekt og driftsresultat (se figur under).

I tillegg beregnes verdien for samfunnet av den sosiale effekten fra hvert enkelt selskap, så godt det lar seg gjøre. Dette ble gjort sist av VISTA Analyse i 2014. Rapporten kan lastes ned fra nettsiden til Ferd Sosiale Entreprenører.

Metoden benyttes for eksempel av den sosiale entreprenøren «lyk-z & døtre». De tilbyr et ledelsesprogram for unge mennesker som verken går på skole eller jobber (gjerne omtalt som «drop-outs»). En gang i året måles effekten av programmet, dvs. hvor stor andel av tidligere kursdeltakere som er i skole, utdanning, jobb eller andre aktive løsninger. Kvaliteten måles gjennom en brukerundersøkelse om kandidatenes selvfølelse og utvikling før og etter gjennomført kurs.

Figur 2: Kvantitativ og kvalitativ del av FSEs målemodell vist ved tre eksempler fra FSEs portefølje.

Effektmålinger – andre eksempler:

JodaCare

JodaCare er en sosial entreprenør som leverer en elektronisk kommunikasjonsløsning for helsepersonell og pårørende til personer med demens. Løsningen er blant annet tatt i bruk i kommunene Songdalen, Østre Toten, Asker og Trondheim. JodaCare har gjennomført effektmålinger blant pårørende og personellet som var med. Målingen viser at de pårørende opplever økt sosial støtte og mindre stress og bekymring rundt pasienten. Helsepersonellet har bedre dialog med de pårørende, og de bruker mindre tid på telefonen for å organisere arbeidet. De har også færre bomturer til brukeren som følge av manglende informasjon.

Forskerfabrikken

Forskerfabrikken gjennomførte spørreundersøkelsen «10 år etter», der de spurte 113 elever som hadde deltatt på kurs i 2004 og 2005. Formålet var å måle en mer langsiktig effekt. Et funn var at 8 av 10 av de spurte hadde fordypet seg i realfag på videregående skole. På landsbasis er tallet 4 av 10. Det er en signifikant korrelasjon mellom hvor mange kurs en person deltok på og interessen for naturvitenskap ti år etter (når de er 18–20 år). At interessen for naturvitenskap har økt gjennom kursene, er en sannsynlig forklaring. Men det er vanskelig å bedømme ut fra undersøkelsen hvorvidt kursene primært fanger opp elever som er interessert i eksempelvis matematikk fra før.