Hvordan vi utvikler og tar i bruk kunstig intelligens i Nav

Kunstig intelligens vil ha en stor betydning for Nav sine tjenester i årene som kommer. Dette vil medføre gode muligheter til å forbedre Nav sine tjenester, men gir også utfordringer knyttet til ansvarlig offentlig forvaltning. Nav må derfor ha en trygg og ansvarlig tilnærming til hvordan vi utvikler og tar i bruk kunstig intelligens. Under følger en overordnet beskrivelse av hvordan dette ser ut hos oss i Nav.

Idéfasen

Før vi starter med utvikling av KI-modeller så følger vi en veileder for å vurdere om KI er det beste løsningsvalget for problemet vi skal løse, hvis svaret på dette er ja går vi videre i første fasen. Hensikten med den første fasen er å dokumentere hvorfor KI er det riktige løsningsvalget, at KI-prosjektet er i tråd med prinsipper for ansvarlig KI i Nav, samt at vi har juridisk behandlingsgrunnlag for å bruke data til å utvikle KI-modellen. I denne fasen behandles ingen personopplysninger.

For å starte utvikling av KI-modellen så kreves det en godkjenning. Godkjenninga gis på bakgrunn av en vurdering av dokumentasjonen nevnt over der formålet med prosjektet, behandlingsgrunnlaget, eventuelle ulemper prosjektet vil medføre, hvilke opplysninger som behandles og informasjonssikkerheten i prosjektet, er omtalt.

Utvikling av en KI-modell

Det definerte KI-prosjektet er nå godkjent og vurdert til å være faglig, juridisk og teknisk gjennomførbart. Med det begynner arbeidet vårt med å lage en god KI-modell, og den faktiske behandlingen av personopplysninger starter nå.

I det innledende steget utforsker vi dataene vi tidligere har definert som nødvendige. Dette er stort sett personopplysninger som ikke er direkte identifiserbare, i betydningen at verken navn, personnummer eller annen direkte identifiserende informasjon er tilgjengelig for utvikleren. Dataene behandles på en sikker teknisk plattform, og vi har rutiner for retting, sletting og lagring av alle data. Når dataene er utforsket og vi forstår mer av dataene, kan trening av KI-modellen starte.

Vi sammenligner resultater fra ulike versjoner av KI-modellen. Dette gjør vi for å velge den KI-modellen som passer best til treningsdataene. I dette steget er det en del risikoer å ta hensyn til.

Vi håndterer risikoene bl.a. ved å følge våre prinsipper for ansvarlig kunstig intelligens. Prinsippene er ledsaget av praktiske metoder, for eksempel hvordan man avdekker diskriminering i et KI-prosjekt, eller hvordan man forklarer KI-modeller.

En risiko er at et KI-system kan sette diskriminering i system. Dette kan for eksempel skyldes at Nav historisk sett har skjevfordelt tilgang til grupper. Et KI-system som er trent på disse dataene vil ha en risiko for å videreføre den samme formen for diskriminering.

En annen risiko er at KI-systemene vi utvikler skal kunne forstås og forklares til forskjellige brukergrupper. For eksempel så må utviklerne ha teknisk detaljkunnskap om hvordan KI-systemet fungerer, og Nav-ansatte som bruker KI-systemet må i det minste kjenne til hvordan resultatet fra KI-systemet skal tolkes.

Treningen av KI-systemet avdekker også hvilke personopplysninger som er nødvendige for å ha en god modell. KI-systemene vi bygger bruker kun personopplysninger som er nødvendige for å oppnå formålet.

Ved å ha fulgt Navs retningslinjer for hvordan et KI-prosjekt bør utvikles så har vi underveis i utviklingen oppfylt viktige krav til personvern.  Den samlede beslutningen om et KI-system kan tas i bruk er basert på kvaliteten på KI-systemet, hvilken verdi den vil skape for sluttbrukeren og hvor godt KI-systemet ivaretar personvernet til brukerne. KI-systemet må godkjennes på nytt før det tas i bruk, på samme måte som i overgangen fra idéfasen til utviklingsfasen.

KI i bruk

Etter at KI-prosjektet er ferdig utviklet og godkjent for bruk vil teamet som utviklet KI-systemet følge opp hvordan systemet fungerer i praksis. Det er først på dette tidspunktet at KI-systemet vil kunne påvirke deg direkte som bruker av Nav eller interne prosesser i Nav.

En viktig oppgave å utføre når KI-systemet er tatt i brukt er kontinuerlig overvåkning av oppførselen til KI-systemet. På samme måte som under utvikling vil man overvåke at KI-systemet faktisk utfører den oppgaven som man ønsket å løse i idéfasen. I tillegg vil vi for eksempel overvåke om KI-systemet fortsetter å behandle saker uten å diskriminere.

Alle kravene som vi måtte oppfylle mens vi utviklet KI-systemet skal holdes ved like mens KI-systemet er i bruk. Eksempler på dette er forbedring av opplæringsmateriell, vedlikehold av juridiske krav og dokumenter, samt fortsatt oppfyllelse av internrutiner. Vi er også pliktig til å gi innspill til åpenhetsrapporten som Nav publiserer rundt bruk av personopplysninger i KI-systemer.

På samme måte som med andre systemer i Nav vil et KI-system måtte vedlikeholdes over tid. Når KI-systemet oppdateres, vil vi måtte gå gjennom de samme vurderingene som i utviklingsfasen og dokumentere og lagre endringer. Dette gjør vi for å ivareta rettsikkerheten til brukerne av Navs tjenester, fordi det alltid skal være mulig å gjenskape en behandling som allerede er utført, og dette gjelder naturligvis også for et KI-system.

Dine rettigheter rundt KI

Lurer du på hvilke rettigheter du har i møte med Nav og KI? Du kan lese mer om dine rettigheter rundt KI i personvernerklæringen på Nav.no.