5 Ansvarlig og pålitelig kunstig intelligens

Regjeringen vil at Norge skal gå foran i utvikling og bruk av kunstig intelligens med respekt for den enkeltes rettigheter og friheter. Kunstig intelligens i Norge skal bygge på etiske prinsipper, respekt for personvernet og god digital sikkerhet.

«Ghosthouse», h.o. (INT) – Foto: Ars Electronica/Martin Hieslmair

Norge er kjennetegnet av at vi har høy tillit til hverandre og til statlige og private virksomheter. Det er et mål for regjeringen å opprettholde og forsterke denne tilliten samtidig som kunstig intelligens tas i bruk på nye og innovative måter.

Regjeringen mener at:

• kunstig intelligens som utvikles og brukes i Norge skal bygge på etiske prinsipper, og respektere menneskerettighetene og demokratiet
• forsking, utvikling og bruk av kunstig intelligens i Norge skal bidra til ansvarlig og pålitelig kunstig intelligens
• utvikling og bruk av kunstig intelligens i Norge skal ivareta den enkeltes integritet og personvern
• digital sikkerhet skal bygges inn i utvikling, drift og forvaltning av KI-løsninger
• tilsynsmyndigheter skal føre kontroll med at systemer basert på kunstig intelligens på sitt tilsynsområde opererer innenfor prinsippene for ansvarlig og pålitelig bruk av KI

5.1 Problemstillinger knyttet til kunstig intelligens

Utvikling og bruk av kunstig intelligens kan skape utfordringer og reise flere vanskelige spørsmål. Særlig gjelder dette kunstig intelligens som bygger på personopplysninger.

Stordata og dataminimering

For å utvikle og bruke kunstig intelligens trenger man tilgang på en viss mengde data. Samtidig har vi et grunnleggende personvernsprinsipp om dataminimering som innebærer at man skal begrense mengden innsamlede personopplysninger til det som er nødvendig for å realisere formålet med innsamlingen. Behovet for store datamengder kan dermed være i strid med prinsippet om dataminimering. Selv om en virksomhet som skal gjennomføre et prosjekt basert på KI kan ønske å ha mest mulig data, må utgangspunktet være at virksomheten skal velge ut et relevant utvalg, og en datamengde som er tilstrekkelig stor.

Det kan også vurderes om det finnes andre, og mer personvernvennlige, metoder for å få tilgang til de personopplysningene man trenger, for eksempel anonymiserte data, syntetiske datasett eller ulike krypteringsmetoder. Datatilsynet har gitt ut en egen veileder om kunstig intelligens og personvern som blant annet tar opp dette.36

Datakvalitet

Det er ikke bare mengden data som er viktig for kunstig intelligens. Dataene må også ha god kvalitet og struktur. Dersom det er feil i dataene, kan dette påvirke analysene. I tillegg må det være metadata som beskriver hva de ulike datafeltene inneholder. En god start er at den enkelte virksomhet har «orden i eget hus»37 – det vil si en oversikt over hvilke data den håndterer, hva dataene betyr, hva de brukes til, hvilke prosesser de inngår i, og om det finnes rettslig grunnlag for å dele dataene.

En kvalitetsutfordring som er spesielt aktuelt for kunstig intelligens, er det vi kaller utvalgsskjevhet («bias»).Vi får slik skjevhet dersom vi har datasett som kun inneholder opplysninger om en del av det relevante datagrunnlaget. Dersom en algoritme som skal identifisere bilder av hunder kun blir trent opp med bilder av hunder som leker med ball, så kan algoritmen resonnere seg frem til at det ikke kan være en hund dersom det ikke også er en ball med i bildet. På samme måte er det uheldig om en algoritme for ansiktsgjenkjenning er trent opp med bilder av ansikter som i hovedsak kommer fra én etnisk gruppe.

Vi kan også få skjevheter av andre årsaker. For eksempel kan treningsdatasett for veiledet læring ha skjevheter som følge av menneskelige feilvurderinger eller historiske skjevheter i datagrunnlaget (for eksempel at man tradisjonelt har ansatt menn i en viss type stillinger, eller at det finnes flere bilder av kvinner enn menn ved kjøkkenbenken). Kunstig intelligens kan også bli påvirket av hvem som definerer problemstillingene.

Mangel på transparens

En utfordring med kunstig intelligens er mangelen på transparens i enkelte løsninger basert på dyplæring. Enkelte dyplæringsalgoritmer kan sammenlignes med en «sort boks», der man ikke har innsyn i modellen som kan forklare hvorfor en gitt inndataverdi gir et gitt resultat. De fleste løsninger basert på KI er imidlertid ikke en slik «sort boks», og det er dermed mulig å forstå og dokumentere hvordan beslutninger er tatt. På områder der slik forklarbarhet er viktig, kan det derfor være et alternativ å velge en annen tilnærming enn dyplæring.

Samtidig gjøres det mye forskning på området «forklarbar KI» («Explainable AI») som nettopp tar sikte på å gjøre «sort boks»-algoritmer forståelige. Dette er ikke det samme som å publisere koden bak algoritmen, eller å gi innsyn i fullstendige treningsdatasett, da en slik tilnærming vil kunne bryte med både opphavsrett og personvern. Forklarbar KI kan i stedet analysere hvilke data som har hatt betydning for resultatet, og hvor stor betydning de ulike elementene har hatt, for slik å forklare logikken bak resultatet.

Autonomi

Til sist er det en utfordring at kunstig intelligens kjennetegnes av autonomi og kan treffe beslutninger og igangsette handling uten at det er mennesker involvert. Graden av autonomi vil variere, men vil uansett reise spørsmål om ansvar for konsekvensene av slike beslutninger og hvordan man skal avgrense en slik autonomi. De første diskusjonene om etikk for kunstig intelligens sprang ut av disse problemstillingene.38

5.2 Etiske prinsipper for kunstig intelligens

I Global Risk Report 2017 betegner World Economic Forum kunstig intelligens som en av de fremvoksende teknologiene med størst nytteverdi, men også med størst skadepotensial. Det er derfor nødvendig å løpende diskutere hva som er en ansvarlig og ønsket utvikling, og hva vi kan gjøre for å forhindre en uønsket utvikling.

EU-kommisjonen har nedsatt en ekspertgruppe som har utarbeidet etiske retningslinjer for pålitelig bruk av kunstig intelligens.39 Retningslinjene er basert på EUs charter om grunnleggende rettigheter og internasjonal menneskerettighetslovgivning. Formålet med retningslinjene er å fremme ansvarlig og bærekraftig utvikling og bruk av kunstig intelligens i Europa.

For at utvikling og bruk av KI skal kunne defineres som pålitelig og tillitvekkende, mener EU-kommisjonens ekspertgruppe at den må være lovlig, etisk og sikker. Med utgangspunkt i dette har ekspertgruppa foreslått syv prinsipper for etisk og ansvarlig utvikling av kunstig intelligens. Regjeringen vil legge disse prinsippene til grunn for ansvarlig utvikling og bruk av kunstig intelligens i Norge.

Prinsippene retter seg i hovedsak mot kunstig intelligens som bygger på data fra, eller har innvirkning på, mennesker – men er også relevante for industriell bruk av KI basert på data som ikke er personopplysninger.

Det kan være krevende å oppfylle alle de syv prinsippene samtidig. Det kan oppstå spenninger mellom dem som gjør det nødvendig å foreta avveiinger. Avveiingene må gjøres på en rasjonell og metodisk måte. Hvis det ikke er mulig å identifisere en etisk akseptabel avveiing mellom de ulike kravene, bør utviklingen, utbredelsen og anvendelsen av den aktuelle løsningen ikke fortsette i den samme formen.

Alle beslutninger om avveiinger som er gjort skal være begrunnet og dokumentert. Hvis det forekommer urimelige negative virkninger av en løsning basert på KI, bør det finnes mekanismer som sikrer at slike virkninger kan rapporteres. Det bør rettes særlig oppmerksomhet mot sårbare personer eller grupper, som for eksempel barn.

1) KI-baserte løsninger skal respektere menneskets selvbestemmelse og kontroll

Utvikling og bruk av kunstig intelligens skal bidra til et demokratisk og rettferdig samfunn ved å styrke og fremme enkeltmenneskets grunnleggende friheter og rettigheter. Den enkelte skal ha rett til ikke å være underlagt en automatisert behandling hvis beslutningen systemet fatter berører dem i vesentlig grad. Mennesker skal være inne i beslutningsprosessene for å kvalitetssikre og gi tilbakemelding i alle ledd i prosessen («human-in-the-loop»).

2) KI-baserte systemer skal være sikre og teknisk robuste

Kunstig intelligens skal være bygget på systemer med teknisk robuste løsninger som forebygger risiko og som bidrar til at systemene fungerer slik de er tiltenkt. Risikoen for uintenderte og uventede skader skal minimeres. Teknisk robusthet er også viktig for systemenes nøyaktighet, pålitelighet og etterprøvbarhet.

3) KI skal ta hensyn til personvernet

Kunstig intelligens som bygger på personopplysninger, eller som retter seg mot personer, skal følge personvernforordningen.

4) KI-baserte systemer må være gjennomsiktige

Beslutninger tatt av systemer basert på kunstig intelligens, skal være sporbare, forklarbare og gjennomsiktige. Det betyr at man som enkeltperson eller juridisk person skal ha mulighet til å få innsikt i hvorfor en beslutning som gjelder dem ble som den ble. Sporbarhet muliggjør både revisjon og forklaring. Gjennomsiktighet oppnås blant annet ved å gi informasjon om behandlingen til den registrerte. Gjennomsiktighet handler også om at datasystemer ikke skal utgis for å være mennesker – mennesker skal ha rett til å få vite om de samhandler med et KI-system.

5) KI-systemer skal legge til rette for inkludering, mangfold og likebehandling

Ved utvikling og bruk av kunstig intelligens, er det særlig viktig å være oppmerksom på at KI bidrar til inkludering og likestilling, og at diskriminering unngås. Datasett som brukes til å trene opp KI-systemer kan inneholde historiske skjevheter, være ufullstendige eller uriktige. Identifiserbare og diskriminerende skjevhet bør fjernes i innsamlingsfasen hvis det er mulig. Utvalgsskjevhet («bias») kan motvirkes ved å innføre kontrollprosesser som analysere og korrigerer systemets beslutninger i lys av formålet.

6) KI skal være nyttig for samfunn og miljø

Kunstig intelligens skal utvikles med hensyn til samfunnet og miljøet, og skal ikke ha negativ innvirkning på institusjoner, demokratiet og samfunnet som helhet.

7) Ansvarlighet

Kravet om ansvarlighet utfyller de andre kravene og innebærer at det skal innføres mekanismer som sikrer ansvarlighet for løsninger basert på KI og deres resultater, både før og etter implementering av løsningene. Alle KI-systemer skal ivareta muligheten for revisjon.

Regjeringen ønsker offentlig debatt om etisk bruk av kunstig intelligens og hvilke applikasjoner av kunstig intelligens vi ønsker å ta i bruk i Norge. Norge har flere organer som har som mandat å drive samfunnsdebatt omkring teknologi og etikk, slik som Datatilsynet, Teknologirådet og De nasjonale forskningsetiske komiteene.

Innebygd personvern og etikk

Algoritmer kan kontrolleres ved å åpne dem for innsyn eller revisjon, men det mest hensiktsmessige for utviklere så vel som brukere er å bygge inn personvern og etiske hensyn fra start. En slik tenkning er allerede etablert når det gjelder personvern. Innebygd personvern er et sentralt krav i personvernforordningen og betyr at det tas hensyn til personvern i alle utviklingsfaser av et system eller en løsning. Dette skal sørge for at informasjonssystemene oppfyller kravene i personvernforordningen og ivaretar individets rettigheter.

På samme måte bør etiske vurderinger bygges inn i utviklingen av algoritmene. Det vil blant annet være viktig å vurdere om algoritmen kan føre til diskriminering og om den er robust mot manipulasjon. Etiske vurderinger vil også kunne omfatte hensyn til konsekvenser for miljø og hvorvidt løsningen bidrar til oppfyllelse av FNs bærekraftsmål.

Arbeid med innebygd personvern og etikk forutsetter at de som jobber med løsninger basert på kunstig intelligens har, eller tilegner seg, nødvendig kompetanse. Høyere utdanningsinstitusjoner bør vurdere hvordan personvern og etikk kan bli en integrert del av utdanningen i for eksempel informatikk og datavitenskap.

Kunstig intelligens og forskningsetikk

Lov om organisering av forskningsetisk arbeid pålegger forskere og forskningsinstitusjoner en aktsomhetsplikt for å sikre at all forskning skjer i henhold til anerkjente forskningsetiske normer. Forskningsinstitusjonen har ansvaret for at kandidater og ansatte læres opp i anerkjente forskningsetiske normer og at alle som utfører eller deltar i forskningen er kjent med normene. Den nasjonale forskningsetiske komité for naturvitenskap og teknologi (NENT) har nylig avgitt en egen forskningsetisk betenkning om kunstig intelligens, der de lanserer ni prinsipper for KI-forskning innenfor tre områder:40

1. Ansvar for utviklingen og bruken av autonome systemer:
   Forskning på KI skal sikre menneskeverd, lokalisere ansvar, være inspiserbar og bidra til informert samfunnsdebatt.
2. Samfunnsovergripende konsekvenser og forskningens samfunnsansvar:
   Forskning på KI må erkjenne usikkerhet og sikre bred involvering.
3. Stordata:
   Forskning på KI må ivareta personvern og hensyn til enkeltpersoner, sikre etterprøvbarhet og kvalitet og bidra til rettferdig tilgang til data.

Utfordringer for forbrukere

Det er mange fordeler ved bruk av KI for forbrukere, for eksempel ved at det blir utviklet stadig nye tjenester som forenkler hverdagen. Samtidig innebærer KI utfordringer på forbrukerområdet, blant annet knyttet til personvern, transparens og forbrukerrettigheter. Forbrukerne er særlig utsatt der KI benyttes til å utvikle personaliserte tjenester og målrettet markedsføring som baserer seg på innsamling og behandling av forbrukernes personopplysninger. Generelt er det en økende bekymring internasjonalt for at næringsdrivende ikke tar forbrukernes personvern tilstrekkelig på alvor.

En undersøkelse fra Consumers International41 viser at forbrukerne setter pris på den teknologien KI bidrar til – den gir uavhengighet, underholdning og motivasjon på nye og interessante måter. Men undersøkelsen viser også at forbrukerne er usikre på hvordan opplysningene deres blir brukt og hvem som står bak som databehandler. De ønsker mer klarhet og kontroll.

Når tjenester og markedsføring i større grad individualiseres, står forbrukerne i fare for å bli utsatt for forskjellsbehandling og vilkårlige ikke-transparente avgjørelser, for eksempel prisdiskriminering. Gjennom personalisert markedsføring og annen handelspraksis utviklet gjennom KI kan forbrukerne dessuten bli manipulert og villedet til å foreta valg som ikke er i deres interesse.

KI berører mange aspekter ved forbrukernes sosiale liv, og vil omfatte forskjellige samfunnssektorer. Bruken av KI reiser rettslige problemstillinger etter forskjellige sektorlovgivninger, særlig konkurranse-, personvern- og forbrukervernlovgivningen. Derfor er det viktig at relevante tilsynsmyndigheter samarbeider på dette området. De bør utveksle kompetanse og informasjon og delta i internasjonale fora, som for eksempel det europeiske samarbeidsforumet for forbruker-, konkurranse- og personvernmyndigheter – Digital Clearing House. Regjeringen annonserte i forbrukermeldingen42 at den vil opprette et tilsvarende samarbeidsforum på nasjonalt nivå – Digital Clearing House Norge.

Regulering av kunstig intelligens på forbrukerområdet

Norge har tradisjonelt hatt en sterk forbrukerbeskyttelse i lovgivningen.Det jobbes både i Norge og i EU med å sikre at forbrukerne har sterke og reelle rettigheter som er tilpasset den digitale hverdagen. Som ledd i dette arbeidet har EU vedtatt en rekke rettsakter som skal styrke forbrukernes rettigheter på det digitale området, for eksempel forslagspakken «A New Deal for Consumers». Disse rettsaktene adresserer ikke KI spesifikt, men EU-kommisjonen understreket i forslaget at KI vil være et av de viktigste områdene i tiden fremover.43 Norske myndigheter har fulgt EUs arbeid med modernisering av forbrukerrettighetene tett, og vil også gjøre dette fremover.

Internasjonalt samarbeid for etisk og pålitelig KI

Norge er engasjert i flere internasjonale fora som jobber med strategier og retningslinjer for etisk og pålitelig kunstig intelligens, blant annet i FN, EU, OECD og Nordisk ministerråd.

FN

Norge deltar i prosesser, aktiviteter og diskusjoner på tvers av FN-systemet, knyttet til anvendelse av KI. Tematiske områder der KI vies oppmerksomhet spenner fra bekjempelse av sult, motvirkning av klimaendringer og arbeid med å fremme helse for alle til diskusjoner om nedrustning og internasjonal sikkerhet.44

EU

Norge, ved Kommunal- og moderniseringsdepartementet, har deltatt i EUs aktiviteter rundt KI fra starten, og var blant annet med på utarbeidelsen av EUs «Coordinated Plan on Artificial Intelligence» fra desember 2018.45 EU arbeider for menneskesentrert og tillitsskapende kunstig intelligens. Norge deltar i dette arbeidet og sitter blant annet i styringsgruppen som utvikler en felles koordinert tilnærming til kunstig intelligens sammen med EU-kommisjonen og medlemslandene.

Fra 2020 forventes det at EU-kommisjonen vil legge frem et lovforslag for regulering av KI. Det er forventet at et nytt regulatorisk rammeverk for KI vil bygge på de etiske prinsippene for utvikling og bruk av KI som EUs høynivå ekspertgruppe presenterte i april 2019, og som regjeringen har basert sine etiske prinsipper for KI på. Norge vil involvere seg aktivt i arbeidet med et eventuelt regulatorisk rammeverk for KI.

Arbeid i OECD

OECD arbeider med KI og har publisert en rekke ulike rapporter på området. Norge, ved Kommunal- og moderniseringsdepartementet, har deltatt i OECDs arbeid med en anbefaling om kunstig intelligens.46 Denne ble endelig godkjent 22. mai 2019.

Anbefalingen identifiserer viktige verdier for pålitelig KI, slik som «inkluderende vekst, bærekraftig utvikling og trivsel», «menneskevennlige verdier og rettferdighet», «gjennomsiktighet og forklarbarhet», «sikkerhet og robusthet» og «ansvarlighet». I tillegg gir OECD anbefalinger knyttet til investeringer i FoU innenfor KI, det å dyrke frem et økosystem for KI og å utvikle en politikk for KI nasjonalt. Det pekes også på betydningen av å bygge kompetanse og å forberede seg på endringer i arbeidsmarkedet. OECD peker også på internasjonalt samarbeid som viktig for å sikre etisk og pålitelig KI.

Europarådet

Europarådet er opptatt av hvilke konsekvenser KI kan få for menneskerettighetene. Den europeiske menneskerettighetsdomstol (EMD) har fram til 2020 ikke behandlet noen saker hvor KI utgjør den sentrale problemstillingen, men domstolen har berørt tematikken i enkelte sammenhenger. Europarådet har høsten 2019 etablert en innsatsgruppe som særlig skal vurdere de muligheter og trusler KI medfører for menneskerettighetene. Norge, ved Justis- og beredskapsdepartementet, deltar i dette arbeidet.

Nordisk ministerråd og nordisk-baltisk samarbeid

Det nordiske samarbeidet om digitalisering skal fremme Norden og Baltikum som en sammenhengende og integrert digital region. Gjennom forpliktende samarbeid og prosjekter skal de nordiske landene finne løsninger på problemer som innbyggere og næringsliv møter, fremme innovative teknologier og tjenester og gjøre det lettere å skape nye tjenester for individer og bedrifter i hele regionen. Det er signert nordisk-baltiske avtaler om tettere samarbeid om 5G, KI og deling av data.

5.3 Sikkerhet

For at et digitalt samfunn som Norge skal fungere, må vi minimere risiko for å bli rammet av uønskede digitale hendelser. Derfor er digital sikkerhet et prioritert område for regjeringen.

I januar 2019 la regjeringen frem en nasjonal strategi for digital sikkerhet47 og en nasjonal strategi for digital sikkerhetskompetanse48. I strategien pekes det ut mål for fem prioriterte områder:

• Norske virksomheter digitaliserer på en sikker og tillitvekkende måte, og har bedre evne til egenbeskyttelse mot uønskede digitale hendelser.
• Kritiske samfunnsfunksjoner er understøttet av en robust og pålitelig digital infrastruktur.
• Styrket digital sikkerhetskompetanse i tråd med samfunnets behov.
• Samfunnet har en bedre evne til å avdekke og håndtere digitale angrep.
• Politiet har styrket sin evne til å bekjempe data- og IKT-relatert kriminalitet.
  

Justis- og beredskapsdepartementet (JD) og Forsvarsdepartementet (FD) har det overordnede ansvaret for å følge opp «Nasjonal strategi for digital sikkerhet». Det enkelte departement er ansvarlig for at strategiens prioriteringer og tiltak blir fulgt opp innenfor sin sektor.

Digital sikkerhet og kunstig intelligens har to sider: Sikkerhet i løsninger basert på kunstig intelligens, og løsninger basert på kunstig intelligens for økt digital sikkerhet. Kompetansebehovet for disse områdene vil i stor grad være overlappende. Det er i tillegg behov for tung spesialisering innenfor sikkerhetsarkitektur når man skal arbeide for å sikre KI-systemer, og for spesialisering innenfor algoritmer/stordata når man skal bruke KI for å sikre IT-løsninger og samfunn.

Sikkerhet i IT-systemer basert på KI

Når et KI-system skal realiseres innebærer det bruk og gjenbruk av tradisjonelle teknologier, som sensorer, kommunikasjonsnettverk, datasentre, stordata og programvare. KI-systemet vil arve sårbarheter fra disse teknologiene, og også innføre nye sårbarheter som en del av den nye løsningen basert på KI. I så måte skiller ikke KI-systemer seg fra tradisjonell IT og tradisjonelt arbeid med digital sikkerhet.

På samme måte som ved andre IT-systemer, vil det være nødvendig å ha en strukturert og helhetlig tilnærming til digital sikkerhet før et KI-system settes i drift. Nasjonal sikkerhetsmyndighet (NSM) sine grunnprinsipper for IKT-sikkerhet er et godt utgangspunkt for alle norske virksomheter og hva de bør tenke på i sitt sikkerhetsarbeid – uavhengig av størrelse, modenhet og kompetanse.

For mange virksomheter vil KI som tjeneste bli levert fra eksterne aktører som har nødvendig kompetanse og datakraft til dette. Dette kan skape utfordringer med hensyn til transparens, integritet og etterrettelighet, samt sporbarhet. Dette må man ta hensyn til ved anskaffelse. Både Digitaliseringsdirektoratet og NSM har veiledning om sikkerhet ved tjenesteutsetting og anskaffelse av skytjenester.

Et KI-basert IT-system må være til å stole på, samtidig som det er robust, sikkert, trygt og nøyaktig. Avhengig av funksjonen til systemet, kan konsekvensen som oppstår når et KI-system feiler eller manipuleres i noen tilfeller kan være vesentlig mer omfattende enn for et tradisjonelt IT-system. Dette må man ta hensyn til når man gjennomfører risikovurdering for slike løsninger.

Bruk av KI for økt digital sikkerhet

Løsninger basert på kunstig intelligens blir stadig mer utbredt, og vil være en av forutsetningene for at den videre digitaliseringen av Norge lykkes. Dette gjelder også for virksomheter som arbeider med sikkerhet, og særlig digital sikkerhet.

De fleste sikkerhetsvirksomheter anser bruk av KI-systemer som nødvendig for å identifisere trusler og trusselaktører, og for å kunne motstå og håndtere digitale angrep. KI-baserte løsninger for digital sikkerhet bidrar blant annet til raskere deteksjon og håndtering av hendelser, samt mer nøyaktig og detaljert analysearbeid.

Maskinlæring og datadrevne teknikker kan også bidra til å forebygge sårbarheter ved programvareutvikling. Simula forsker blant annet på teknikker som skal hjelpe programvareutviklere å forutsi sårbarhet i kildekode mens den utvikles, for slik å forebygge sikkerhetshull som senere ville kunne utnyttes av trusselaktører.

Utgitt av:
Kommunal- og moderniseringsdepartementet

Bestilling av publikasjoner:
Departementenes sikkerhets- og serviceorganisasjon
www.publikasjoner.dep.no/
Telefon: 22 24 00 00
Publikasjonskode: H-2458 B

Alle bilder i rapporten er hentet fra utstillinger ved kunstsenteret Ars Electronica
www.ars.electronica.art/ og www.flickr.com/arselectronica/