UTOPIA - Understanding Threats and Optimizing mitigation, and enabling Privacy-by-design in AI

Prosjektbeskrivelse

Kunstig intelligens (KI) kan forbedre helsetjenester og offentlige tjenester – men bare hvis vi kan stole på den. UTOPIA-prosjektet bidrar til å gjøre KI-systemer tryggere og bedre til å beskytte personopplysninger.  

Kunstig intelligens (KI) brukes i økende grad for å støtte medisinske beslutninger og forbedre tjenester. Samtidig gir det nye risikoer som kan svekke offentlig tillit. Noen KI-systemer kan manipuleres til å gi feil eller urimelige beslutninger, mens andre kan utilsiktet avsløre sensitiv informasjon, for eksempel detaljer fra dataene de er trent på. Slike risikoer kan oppstå i ulike faser av KI livsløpet, fra datainnsamling og modelltrening til praktisk bruk. Europeiske regelverk som EUs AI Act og GDPR understreker at sikkerhet og personvern må bygges inn fra starten av.  

UTOPIA skal styrke kunnskap, verktøy og metoder for å utvikle og bruke sikre KI-systemer som ivaretar personvern. Prosjektet fokuserer på å forstå når og hvorfor KI blir sårbar, og hvordan slike risikoer kan vurderes og reduseres i praksis.  

Mål

UTOPIA undersøker realistiske risikosituasjoner og tester hvordan KI oppfører seg under ulike forhold. Prosjektet utvikler felles måter å analysere sikkerhets- og personvernrisiko på, sammen med standardiserte metoder for å måle hvor robuste KI-systemer er. Dette gjør det mulig å sammenligne resultater på tvers av modeller, datatyper og treningsmetoder på en tydelig og transparent måte.  

UTOPIA utvikler praktiske tiltak for å redusere risiko uten å svekke ytelsen. Dette inkluderer blant annet å fjerne eller erstatte identifiserende opplysninger i data, lage syntetiske data som kan brukes tryggere, begrense hvor mye sensitiv informasjon en modell kan lære, og trene modeller uten å dele rådata. Prosjektet undersøker også hvordan slike tiltak kan kombineres på en balansert måte som ivaretar personvern, rettferdighet og behov for datakraft.  

UTOPIA tester og validerer arbeidet i helsesituasjoner, der personvern og tillit er spesielt viktig. Samtidig skal resultatene kunne brukes også i andre sektorer. Ved å dele verktøy, resultater og praktiske råd støtter UTOPIA organisasjoner i å bygge KI-systemer som er tryggere, ivaretar personvern og fortjener offentlig tillit.