Bakgrunn

Nav Kontaktsenter (forkortet NKS) er ofte det første møte mellom brukere og Nav. NKS har rundt 4.5 millioner brukermøter hvert år og har et ansvar for å veilede brukere til riktig informasjon.

Jobben til en veileder i NKS er ikke enkel, ofte sitter de i telefonmøter med en bruker som kanskje synes det er litt overveldende å skulle navigere i hvilke rettigheter – og plikter – de måtte ha i møte med Nav. Veileder må da samtidig kommunisere empatisk med bruker, sette seg inn i saken det gjelder - enten det er noe helt nytt eller spørsmål rundt en pågående sak- og finne frem til informasjon som kan hjelpe brukeren.

For å kunne svare korrekt og oppdatert har veiledere tilgang til en Kunnskapsbase som vedlikeholdes og oppdateres av fageksperter i NKS. Ved hjelp av denne Kunnskapsbasen kan alle veiledere i NKS være trygge på at de svarer riktig og har oppdatert informasjon hvis noe skulle ha endret seg for en ytelse. Kunnskapsbasen består i dag av rundt 1100 artikler og dekker alt fra Arbeidsavklaringspenger til Uføretrygd, og mer til.

I en hektisk arbeidshverdag trenger ikke veiledere motstand fra sine digitale hjelpemidler, og før vi startet å utvikle en digital assistent ble det kartlagt at veiledere bruker mye tid på å finne frem til riktig innhold i Kunnskapsbasen når de ikke er lommekjent i området de skal veilede på. Det ble derfor vurdert at en bedre måte å samhandle med Kunnskapsbasen ville kunne være nyttig for veiledere i NKS.

Omtrent samtidig med innsiktsarbeidet begynte store utenlandske aktører å lansere tjenester som tillot brukere å snakke med Kunstig Intelligens (forkortet KI) (tenk ChatGPT). Disse tjenestene viste at det ligger et stort potensial i å kunne snakke med og stille oppfølgingsspørsmål til en KI-modell. Det ble derfor bestemt at det ville være nyttig for Nav å utforske å lage en digital assistent som kunne søke i Kunnskapsbasen og samtidig muliggjøre en samtale mellom veileder og en KI-modell.

Ved å lene seg på “Vurder behovet for KI” ble det klart at et KI-eksperiment var riktig vei å gå siden “samtale”-delen er vanskelig å utføre i tradisjonelle regelbaserte systemer. Ved å posisjonere systemet som et hjelpeverktøy gjør det også terskelen for å feile lavere, veiledere er forventet å gå god for svaret fra KI-modellen hvis de ønsker å bruke svaret i brukermøte. Og et siste punkt verdt å nevne, ved å lene oss på Kunnskapsbasen til NKS kunne vi også være trygge på at informasjonen er oppdatert og reflekterer det veiledere skal svare ut uten å måtte belage oss på innholdet KI-modellen allerede var trent på (neste seksjon forklarer hvordan dette ble gjort teknisk).

Starte på starten

Det ble tidlig identifisert at en Kunnskapsbasebasert Språkmodell (oversatt fra Retrieval Augmentet Generation – RAG) ville være den beste måten å kombinere en KI-modell og søk i Kunnskapsbasen. Vi startet derfor våren 2024 med å teste hvordan en vektordatabase kunne settes opp rundt Kunnskapsbasen slik at vi kunne søke etter innhold på en mer naturlig måte enn bare stikkord. På grunn av godt forarbeid med å klargjøre og rense data fra Kunnskapsbasen ble vektordatabasen hurtig satt opp og testet og vi fikk våre første tegn til at KI-prosjektet kunne gjennomføres.

Utover sommeren begynte vi så smått med å sette opp en arkitektur som tillot en språkmodell å søke i vektordatabasen og deretter svare på spørsmål basert på innholdet i dokumentene fra vektordatabasen, illustrert i Figur 1. Denne testingen viste at KI-modellen kunne holde en samtale og klarte å forholde seg til innholdet i dokumentene. Vi startet deretter å teste med veiledere i NKS (på kommando-linjen!) for å se om svarene kunne tilfredsstille deres behov.

Gjennom testing med veiledere fikk vi inntrykk av at systemet kunne tilfredsstille deres behov for å finne informasjon.Fra å være et lite KI-eksperiment med to Data Scientister og en produktleder ble teamet utvidet til å inneholde både en dedikert utvikler, en domeneekspert fra NKS samt en designer. Teamet ønsket en brukersentrert design- og utviklingsprosess, der løsningen skulle tilpasses veiledernes arbeidshverdag - ikke omvendt. Vi ønsket å unngå at dette ble "enda et nytt digitalt verktøy" veilederne måtte forholde seg til, en utfordring som har oppstått ved tidligere KI-eksperimenter i NKS. Derfor la vi stor vekt på hyppig kommunikasjon, kontinuerlig tilbakemelding og jevnlig testing med veiledere og andre involverte fra NKS. Dette startet vi med helt fra de første skissene ble tegnet opp

Arbeidet med å designe en løsning for å kunne svare til forventninger fra NKS begynte høsten 2024 og fortsatte gjennom vinteren. Teamet ønsket å sette søkelys på at veiledere skulle ha tillit til svarene, ved hjelp av gode muligheter for å verifisere det KI-modellen kom tilbake med.Omtrent på dette tidspunktet fikk systemet navnet Bob slik at teamet, veiledere og andre interessenter kunne referere til samme løsning.

Designarbeidet har ført til at brukergrensesnittet i Bob ligner en del på andre tilsvarende løsninger, men samtidig er det vesentlige forskjeller som gjør at Bob til et unikt produkt, se Figur 2.

Teamet jobbet tett med NKS og hadde (og har fortsatt et år etterpå!) ukentlige brukertester med veiledere i NKS. Denne innsikten var og er uvurderlig for at teamet kan tilpasse og løse problemer for veilederne og ikke bare jobbe med noe kule KI-greier. Ved flere anledninger har antakelser som teamet har hatt om hvordan veiledere ønsker å få presentert informasjon vært feil og vi har kunne tilpasse for å bedre samsvare med hvordan veilederne ønsker å jobbe.

Mot slutten av 2024 begynte vi med pilottesting. Dette gikk ut på å gi et utvalg veiledere tilgang til Bob kontinuerlig slik at disse veilederne kunne prøve Bob i sin arbeidshverdag. Dette ga oss nye muligheter for bedre innsikt i arbeidsflyt i samspill med Bob. Har kan vi også påpeke at vi valgte ut veiledere som ikke bare var interessert, men også veiledere som var skeptiske tilet slikt KI-verktøy, slik at vi bedre kunne ivareta alle hensyn.

Pilotperioden startet med 30 veiledere og ble etter hvert utvidet til 90 og ble avsluttet med 120 veiledere før vi begynte å se på utrulling til alle veiledere i NKS.

Fra KI-eksperiment til arbeidsverktøy

I løpet av pilotfasen fikk vi mye tilbakemeldinger som vi systematisk jobbet oss gjennom. Blant annet ble det gjentatte ganger ønsket at Bob burde kunne søke på Nav.no, noe teamet jobbet med og implementerte. Gjennom denne tiden var det en ting satt vi igjen med, Bob begynte å bli et godt verktøy for veilederne. Det ble klart for oss at Bob skal og bør lanseres til alle veiledere i hele NKS.

Teamet startet forberedelser for lansering tidlig våren 2025 og innen sommerferie, for de fleste av oss, hadde alle veiledere i NKS fått tilgang. Fordi teknologien bak Bob er såpass ny,hadde vi i denne perioden et stort fokus på opplæring. Det var viktig for oss at veilederne skal forstå fordelene og de svakere punktene til Bob og teknologien rundt. Veilederne fikk derfor både opplæring i Bob og innføring i KI mer generelt.

Teamet har etter sommeren fulgt opp adopsjon i NKS og det lanseres små oppdateringer for Bob hele tiden. Etter utrulling er det viktig for teamet at NKS tar eierskap til verktøyet. Dette medfører blant annet opplæring av nyansatte og å inkludere Bob i arbeidsmetode.

Lurer du på hvordan Bob fungerer i detalj?

Siden Bob har vært et KI-eksperiment har det vært viktig for teamet å dokumentere læring underveis. Vi har blant annet dokumentert: