Produktutvikling er risikohåndtering

Vi kan ikke være sikre på om det vi lager fungerer som forventet, ei heller om vi har valgt riktig utfordring å løse. Vi, alle sammen, gjør valg på forskjellige nivåer hele tiden, og absolutt alle disse valgene bærer med seg en risiko. Risikoen kan vi håndtere ved å måle for å ta informerte valg og til å lære av valgene. Som er en ganske abstrakt formulering. Derfor tar vi et dykk ned i den ekte verden.

Trenerteam håndterer usikkerhet som produktteam

Trenere i barnefotballen har et mål om at flest mulig skal være med lengst mulig. Det gjør de ved å skape glede gjennom gode treninger, kamper og cuper. De planlegger om de skal ha pasningsøvelser eller stafetter på trening. Hvordan de skal lære barna om pasningsskygger på en måte barna forstår og som gir mestring. Utfordringen er at det tar tid å se om opplegget gjør at barna faktisk blir med lenger. I tillegg er det mange ting trenerne ikke kan påvirke, som at parkour plutselig blir veldig populært pga en eller annen tiktoker. Trenerrollen er givende, men vanskelig. Vi er så heldige at vi får lære av to trenere med forskjellige tilnærminger.

Sofie klarer ikke å planlegge seg ut av all risiko

Sofie gikk entusiastisk til verks for å holde flest barn interessert i fotball lengst mulig. Hun samlet trenerteamet og fikk etablert slagordet "mestring gjennom pasninger". Deretter lagde de en detaljert plan for treningene de neste tre månedene. Sofie og resten av trenerteamet kunne ikke være med på treningene i perioden pga jobbreiser, men heldigvis hadde de en plan de kunne gi til noen ungdommer i klubben som tok av seg treningene i perioden. Dessverre viste det seg at opplegget, med høydepunktene "10 minutter om pasningsskygger" og "Retningsbestemte mottak", ikke var riktig medisin for å holde barna motiverte for fotball. De kom tilbake til en mye mindre fotballgruppe.

Kasper måler og justerer

Samtidig hadde Kasper nylig fått tillit som fotballtrener. Også han tenkte at nøkkelen til mestring var at barna lærte seg pasninger tidlig. Basert på informasjonen trenerteamet satt med, lagde de et opplegg for de neste ukene de tenkte kom til å bli skikkelig bra. Etter et par uker så de at færre barn dukket opp på trening. Det var fortsatt ingen som hadde meldt seg formelt ut, men de hadde en mistanke om at lavt oppmøte på trening ville føre til også formelt frafall. Kasper samlet trenerteamet og la frem de kalde fakta som viste færre på trening. I diskusjonen som fulgte kom Jesper, den kreative i teamet, med observasjonen om at "...hvis vi tror at lavt oppmøte på trening fører til frafall senere... Hva tror vi barna gjør før de slutter å møte opp på trening?". Stillhet fulgte før Jonathan brøt ut "Det er alltid veldig mye bråk når barna har det gøy, og jeg tror barna fortsetter å møte opp på trening om de har det gøy!". De hadde funnet et tidlig signal på om de valgte riktig opplegg for å få med flere barn i fotballen lenger. Antagelsen deres om at stafett er gøy ble bekreftet av støynivået ved neste trening. Tilsvarende viste det seg at antagelsen om at formasjonstrening er gøy, ikke stemmer. På den måten kunne trenerteamet teste hypotesene sine og justere opplegget underveis slik at de kunne inkludere flest barn så lenge som mulig.

Trenertrioen tegnet opp sammenhengen mellom aktivitetene de kontrollerte direkte, det de trodde de kunne påvirke av atferd på fotballtreningene og det overordnede målet om at flere er med lenger. Antagelser overalt!

Produktteam bruker målinger til å redusere risiko

På samme måte som Kasper bruker målinger til å velge og evaluere, gjør vi det samme når vi lager produkter til folk. Vi ønsker jo at folk bruker produktene våre på en bestemt måte. Vi kan for eksempel jobbe for at arbeidsgivere oftere rapporterer riktig inntekt slik at en større andel saker behandles automatisk. Derfra stiller vi oss spørsmålet om hva vi kan gjøre for å stimulere til mer av atferden vi ønsker, som i dette tilfellet er at flere rapporterer riktig først gang. I utforskingen av løsning vil vi ha flere alternativer vi forventer skal fungere på ulike måter. Når vi har bygget løsningen vi velger, kan det være at den løser problemene eksakt som forventet. Eller enda bedre. Eller ikke i det hele tatt. Det er med andre ord usikkerhet rundt hvor mye verdi løsningen gir, og den usikkerheten kan håndteres med målinger. For eksempel kan vi bruke målinger til å vurdere om funksjonalitet for forhåndsutfylling av inntekt fører til høyere kvalitet på innrapportering. Visuelt ser det slik ut:

Dette ligner veldig på hvordan vi håndterer risiko når vi skriver kode. Vi stykker opp arbeidet i små, meningsfulle deler, slik at vi reduserer risikoen for at noe går skeis når vi deployer. Tilsvarende bør vi også behandle brukerbehovene: Del opp det vi prøver å få til hos brukerne i mindre deler slik at vi kan teste hypoteser og redusere risikoen for at vi bygger feil ting. Trunk-based produktutvikling!

Hele veien gjør vi prioriteringer basert på målinger, innsikt og den gode gamle magefølelsen. Valgene våre er fylt med antagelser og derfor må vi evaluere gjennom målinger. Dette er sant for de store, strategiske valgene vi gjør og det er akkurat like sant for de mindre, taktiske valgene vi gjør alle sammen hver eneste dag.

Hvordan komme i gang?

Det tar tid å finne målingene som gir oss en god indikasjon på at vi lykkes med å løse problemer for folk. Vi tror det er riktig å starte med noen enkle metrikker og så tilpasse disse når man lærer mer og får tilgang på mer data. Hva forventer teamet at brukerne gjør annerledes? Hvilke beslutninger kan bli bedre om dette måles?

NADA-plattformen har verktøy som gjør det enklere å komme i gang med analyser for å forbedre produktene. Tilrettelegging, analyse og visualisering kan fint gjøres kun med SQL.

NADA tilbyr uformelle og tilpassede kurs til produktteam i bruk av:

• Datastream og Federated Query for å gjøre data klare for analyse
• Metabase for å lage visualiseringer slik at team kan finne og dele innsikt

Påmelding til kurs gjøres gjennom dette bookingsystemet: https://delta.nav.no/.

Og ta kontakt med oss om det er noe som helst annet dere vil prate om. Målinger, Kardemomme By eller fotball -- vi er klare med kaffekoppen!

Vil du utforske temaet mer på egenhånd?

• Outcomes Over Output
• How to Measure Everything