Slik designer vi for ansvarlig KI

For å klare dette må vi bygge løsningene på FAT-prinsippene som er kjernen i etisk og ansvarlig kunstig intelligens (KI): Fairness (rettferdighet), Accountability (ansvarlighet) og Transparency (åpenhet).

Fairness: Å beskytte brukeren mot urettferdighet

Rettferdighet i KI handler om at algoritmene ikke skal diskriminere eller forsterke eksisterende fordommer. Målet er å sikre likebehandling uavhengig av kjønn, etnisitet, alder eller sosial bakgrunn. Utfordringen er at maskiner mangler menneskelig intuisjon og empati, noe som gjør at de fort overser individuelle nyanser. Dette kan føre til at beslutninger som teknisk sett er korrekte ut fra koden, i praksis blir "moralsk og sosialt urettferdige".

Her kommer vår viktigste oppgave inn: Ettersom empati er avgjørende for å forstå brukernes behov og kompetanse, er det vårt ansvar å tette gapet mellom teknologi og menneske. Vi må designe digitale løsninger som tar hensyn til dette, og som fanger opp og forhindrer at systemene våre reproduserer skjevheter (bias) som diskriminerer brukerne våre. På denne måten kan vi aktivt sikre at beslutningene systemene tar, er både moralske og genuint rettferdige.

I dette arbeidet har vi også lovverket i ryggen. Den europeiske AI Act går strengt til verks og forbyr praksiser og systemer som anses uforenlige med grunnleggende menneskerettigheter, som for eksempel ansiktsgjenkjenning i sanntid for overvåkning i offentlige rom. Vår jobb er å sørge for at rettferdigheten ivaretas i alle løsninger vi bygger.

Transparency: Teknologisk åpenhet og retten til informasjon

Transparens, eller åpenhet, handler om langt mer enn å bare skrive med liten skrift at "denne tjenesten bruker KI". Det må være klart hvem som har ansvaret for beslutningene som fattes, og det må finnes mekanismer for å rette opp feil og ta ansvar for skader systemet kan forårsake. Brukere og berørte parter skal forstå hvorfor en avgjørelse er tatt. Dette krever at systemene er sporbare og at modellene kan forklares.

Åpenhet er et todelt konsept i lovverket:

• Gjennom GDPR sikres individets rettigheter ved at vi som bygger tjenestene må gi brukeren tydelig informasjon om hvordan deres personopplysninger blir behandlet
• Gjennom AI Act stilles det strenge krav til teknologisk transparens, spesielt for høyrisikosystemer

Dette betyr at leverandører må gi brukere tilstrekkelig informasjon til å forstå systemet, og kunne levere detaljert teknisk dokumentasjon for å demonstrere at løsningen er trygg.

Kompleksiteten rundt KI kan gjøre det svært vanskelig for en vanlig bruker å forsvare seg hvis de opplever seg urettferdig behandlet. Det er store kunnskapsgap mellom de som utvikler KI og brukerne som påvirkes av den, og overdrevne mengder komplisert informasjon kan ofte skape mer forvirring enn trygghet.

Det er vårt ansvar å oversette disse komplekse kravene til tjenester med empati for brukeren. De må forstå at KI er brukt, hvordan det påvirker dem, og hvilke rettigheter de har til å utfordre og få rettet feil.

Accountability: Hvem har ansvaret når maskinen feiler?

Ansvarlighet betyr at det må være klart hvem som har ansvaret for beslutningene som fattes, og det må finnes mekanismer for å rette opp feil og ta ansvar for skader systemet kan forårsake. Vi aldri kan skylde på en uforståelig «black box». For å bygge ansvarlige løsninger må vi forstå det komplekse ansvaret som fordeles mellom de som bygger og de som bruker KI-systemene. For å navigere i dette må vi forstå samspillet og ulikhetene i lovverket:

• GDPR beskytter individets rett til privatliv og regulerer bruken av personopplysninger. Virksomheten som tar KI-systemet i bruk vil som hovedregel være «Behandlingsansvarlig», fordi det er de som bestemmer formålet med bruken.
• AI Act regulerer samfunnsrisikoen (helse, sikkerhet og grunnleggende rettigheter) og stiller krav basert på fire ulike risikonivåer. Her har teknologileverandøren (utvikleren) det overordnede ansvaret for at teknologien er trygt designet og testet, mens virksomheten som tar det i bruk (driftsansvarlig) har ansvaret for at systemet overvåkes og brukes trygt i praksis, med menneskelig tilsyn.

Selv om rollene i AI Act er mer kontekstavhengige enn de faste grensene i GDPR, er kjerneprinsippet krystallklart: Vi kan aldri lansere løsninger vi ikke forstår risikoen ved. For høyrisikosystemer sikres dette ansvaret før bruk gjennom to ulike vurderinger:

• Samsvarsvurdering: Utføres av teknologileverandøren for å bevise at selve KI-systemet i seg selv er bygget trygt og lovlig.
• FRIA (Fundamental Rights Impact Assessment): Utføres av virksomheten som tar systemet i bruk, for å vurdere om måten de skal bruke systemet på vil krenke brukernes grunnleggende rettigheter.

For oss som designer tjenestene betyr dette at vi må sikre at løsningen ikke bare oppfyller de tekniske kravene i AI Act, men at vi også overholder GDPR for å beskytte menneskene som skal bruke det.

Utfordringen med bias og feil bruk

Det er en vanlig misforståelse at skjevheter (bias) utelukkende handler om historiske fordommer skjult i dataene. Bias kan introduseres i alle faser: i datainnsamlingen, under treningen av algoritmene, og når løsningen møter brukerne.

COMPAS-systemet, brukt i det amerikanske rettsvesenet, illustrerer to ulike typer bias. For det første ble systemet rammet av historisk bias, der algoritmen systematisk predikerte høyere risiko for gjentagende kriminalitet hos svarte personer enn hos hvite. For det andre er det et kroneksempel på bias i bruk. Verktøyet ble designet som administrativ beslutningsstøtte, men dommere begynte å bruke det for å utmåle selve fengselsstraffen. Systemet ble altså brukt til å ta beslutninger det overhodet ikke var bygget eller testet for. Dette understreker hvor kritisk det er med tydelige rammer for å sikre at systemer brukes rettferdig.

Fra gjetting til systematisk rettferdighet

Gjennom mitt arbeid i Standard Norge sin komité for KI, hvor vi i samarbeid med CEN (European Committee for Standardization) utarbeider standarder som harmoniserer med EU sin AI Act, ser jeg hvor sammensatt dette er. I arbeidsgruppen for bias jobber vi spesifikt med å definere ulike typer "unwanted bias" og metodikk for hvordan dette skal håndteres i praksis.

For designere og utviklere er det helt avgjørende å kjenne til disse standardene. Man kan ikke lenger bare gjette seg til hva som er rettferdig; man må systematisk identifisere, måle og minimere uønsket bias i tråd med felles europeiske retningslinjer for å unngå at løsningene diskriminerer sårbare grupper.

Mennesket i sentrum (Human-in-the-loop)

Både GDPR og AI Act understreker at maskiner ikke skal ta avgjørelser i et vakuum. GDPR krever menneskelig inngripen og manuell gjennomgang der automatiske beslutninger tas, mens AI Act krever menneskelig tilsyn under drift og rett til forklaring i etterkant.

Men lover er ikke nok i seg selv; vi må bygge tjenestene med empati for brukeren. KI-industrien beskyldes ofte for å ta avgjørelser bak lukkede dører. Siden det er store kunnskapsgap mellom de som bygger systemene og de som påvirkes av dem, er det viktig at vi ikke overvelder brukerne med uforståelig informasjon.

Vi må skape arenaer for deltagelse hvor de det gjelder har full tilgang til diskusjonen og kan si sin mening. Det er vi designere som må sikre at teknologien tilpasses menneskets behov og kompetanse – for i KI-alderen er vi brukerens aller viktigste advokat.