UTOPIA skal gjøre kunstig intelligens tryggere å stole på

Det er kjernen i UTOPIA-prosjektet ved Nasjonalt senter for e-helseforskning som 27. mai hadde sitt oppstartsmøte i Tromsø. For første gang var alle prosjektpartnerne samlet for å starte arbeidet med et felles mål: å utvikle kunnskap, metoder og verktøy som gjør KI-systemer sikrere, mer robuste og bedre i stand til å beskytte personvernet.

UTOPIA står for Understanding Threats and Optimizing mitigation and enabling Privacy-by-design in AI. Prosjektet skal undersøke når og hvorfor KI-systemer blir sårbare, hvordan risiko oppstår gjennom hele livsløpet til en KI-modell, og hvilke tiltak som faktisk kan redusere risiko uten at det går på bekostning av nytteverdien.

Fra begeistring til ansvar

KI kan bidra til bedre tjenester og mer presise beslutningsstøttesystemer. Samtidig kan teknologien introdusere nye typer risiko. Modeller kan manipuleres til å gi feilaktige eller urettferdige resultater. De kan også utilsiktet avsløre sensitiv informasjon, for eksempel detaljer fra dataene de er trent på.

I helsesektoren er dette særlig alvorlig. Pasientjournaler, kliniske tekster og helsedata er blant de mest sensitive datatypene som finnes. Derfor er helse også en viktig arena for UTOPIA. Prosjektet skal teste og validere arbeidet i realistiske helsesituasjoner, der både personvern, sikkerhet og tillit er avgjørende.

– Dette handler ikke bare om å utvikle bedre KI. Det handler om å utvikle KI som fortjener tillit, sier prosjektleder Kassaye Yitbarek Yigzaw ved Nasjonalt senter for e-helseforskning.

Trusler, syntetiske data og norske språkmodeller

Oppstartsdagen ble kombinert med seminaret “Privacy and Security in AI: From Threats to Solutions”, der deltakerne gikk rett inn i noen av de mest aktuelle problemstillingene for trygg KI.

Yigzaw er begeistret for at prosjektet nå offisielt er startet, og gleder seg til fortsettelsen.

Programmet åpnet med en introduksjon til UTOPIA-prosjektet ved prosjektleder Kassaye Yitbarek Yigzaw.

Deretter presenterte dr. Thomas Vakili, lærer ved Stockholm Universitet, trusselbildet for personvern i naturlig språkprosessering, mens professor Cristina Soguero-Ruiz ved Rey Juan Carlos-universitetet i Madrid tok for seg teknikker og evalueringsmål for generering av syntetiske tabulære data og tidsseriedata. Senere presenterte professor Hercules Dalianis og avdelingsleder Phuong Dinh Ngo ved Nasjonalt senter for e-helseforskning, arbeid med personvernbevarende norske kliniske språkmodeller, fra avidentifisering til differensielt privat syntetisk tekstgenerering. Dagen ble avsluttet med Mohsen Toorani, førsteamanuensis i cybersikkerhet ved Universitetet i Sørøst-Norge, som snakket om trusselmodellering for tillitsverdig KI.

Til sammen viste programmet bredden i UTOPIA, fra konkrete tekniske angrep og sårbarheter, til praktiske løsninger som syntetiske data, avidentifisering, differensielt personvern og modelltrening uten deling av rådata.

Skal lage felles språk for risiko

En sentral ambisjon i UTOPIA er å utvikle en felles måte å beskrive sikkerhets- og personvernrisiko på. I dag kan ulike forskningsmiljøer, sektorer og teknologileverandører bruke forskjellige begreper og målemetoder. Det gjør det vanskelig å sammenligne resultater og vurdere hvor robust et KI-system faktisk er.

UTOPIA skal derfor utvikle standardiserte tester for å måle hvor godt KI-systemer tåler ulike typer risiko. Prosjektet skal se på hele KI-livsløpet: fra innsamling av data, via modelltrening, til bruk i praksis.

Arbeidet er tett koblet til europeiske krav og forventninger. Både EUs KI-forordning og personvernforordningen GDPR understreker at sikkerhet og personvern må bygges inn fra starten av, ikke legges til i etterkant.

Personvern uten å miste presisjon

En av de store utfordringene er balansen mellom sikkerhet, personvern og ytelse. Dersom data beskyttes for sterkt, kan KI-modellen bli mindre nyttig. Dersom beskyttelsen er for svak, kan risikoen for personvernbrudd, diskriminering eller feilaktige beslutninger bli for høy.

UTOPIA skal derfor undersøke hvordan ulike tiltak kan brukes og kombineres. Det kan handle om å fjerne eller erstatte identifiserende opplysninger, lage syntetiske data som kan brukes tryggere, begrense hvor mye sensitiv informasjon en modell kan lære, eller trene modeller uten å dele rådata.

Prosjektet skal også vurdere hvordan slike tiltak påvirker nøyaktighet, rettferdighet og behov for datakraft. Målet er ikke bare å gjøre KI tryggere i teorien, men å finne løsninger som kan brukes i praksis.

Resultater for flere sektorer

Selv om UTOPIA skal valideres i helsesektoren, er ambisjonen bredere. Mange av utfordringene knyttet til KI, personvern og sikkerhet gjelder også andre deler av offentlig sektor og samfunnslivet.

Ved å dele verktøy, resultater og praktiske råd skal prosjektet bidra til at organisasjoner kan bygge KI-systemer som er mer robuste, bedre ivaretar personvernet og har større legitimitet i befolkningen.

Oppstartsmøtet i Tromsø markerte dermed mer enn starten på et forskningsprosjekt. Det markerte starten på et samarbeid om et av de viktigste spørsmålene i digitaliseringen av helsetjenesten: Hvordan kan vi bruke kunstig intelligens på en måte som både er innovativ, sikker og tillitvekkende?

👉 UTOPIA-prosjektet skal bidra til svaret.