UTOPIA

Understanding Threats and Optimizing mitigation, and enabling Privacy-by-design in AI

Kunstig intelligens (KI) brukes i stadig større grad til å støtte medisinske beslutninger, forbedre tjenester og identifisere mønstre i store datasett. Samtidig introduserer det nye risikoer som kan undergrave offentlighetens tillit. Noen KI-systemer kan manipuleres til å ta feilaktige eller urettferdige beslutninger, mens andre utilsiktet kan avsløre sensitiv informasjon, som for eksempel detaljer fra dataene som ble brukt til trening. Disse risikoene kan oppstå på ulike stadier av KI-livssyklusen, inkludert datainnsamling, modelltrening og praktisk bruk. Europeiske reguleringer som KI-forordningen (AI Act) og GDPR understreker behovet for å bygge sikkerhet og personvern inn i KI-systemer helt fra starten av.

Mål

UTOPIA har som mål å styrke kunnskapen, verktøyene og metodene som trengs for å utvikle og bruke sikre og personvernsvennlige KI-systemer. Prosjektet fokuserer på å forstå når og hvorfor KI blir sårbar, og hvordan slike risikoer kan evalueres og reduseres i praksis.

UTOPIA studerer realistiske risikoscenarier og tester hvordan KI-systemer oppfører seg under ulike forhold. Prosjektet utvikler felles tilnærminger for analyse av sikkerhets- og personvernstrusler, sammen med standardiserte metoder for å vurdere hvor robuste KI-systemene er.

UTOPIA utvikler også praktiske måter å redusere risiko på uten at det går ut over ytelsen. Dette inkluderer å fjerne eller erstatte identifiserende informasjon i data, generere syntetiske data, begrense hvor mye sensitiv informasjon modeller kan lære, og å trene modeller uten å dele rådata.

UTOPIA validerer sitt arbeid innen helsesektoren, hvor personvern og tillit er avgjørende, og sikter mot resultater som også kan overføres til andre sektorer. Ved å dele verktøy, resultater og praktisk veiledning, støtter UTOPIA organisasjoner i å bygge KI-systemer som er sikre, beskytter personvernet og gjør seg fortjent til offentlighetens tillit.

Prosjektperiode

2026 – 2030