Lovverket for kunstig intelligens må sikre menneskerettighetene, åpenhet og være i tråd med demokratiske prosesser. KI-teknologi utvikles i et svært høyt tempo, og derfor må lovverket utformes med fremtiden for øye, med fokus på å etablere et helt nytt håndhevingsparadigme.

Spesielt viktig er at det vi i Norge må ha et totalforbud mot ansiktsgjenkjenning og annen biometrisk overvåkning.

Attac har levert høringsinnspill til innføringen av AI Act, altså EUs forordning om kunstig intelligens:

Høringsinnspill: Utkast til ny lov om kunstig intelligens – gjennomføring av EUs forordning om kunstig intelligens i norsk rett

Vi ser positivt på at Norge gjennomfører EUs KI-forordning som en del av norsk lovverk. Forordningen etablerer et viktig rammeverk for regulering av kunstig intelligens og kan bidra til å styrke grunnleggende rettigheter, sikre ansvarlighet hos leverandører av KI-systemer, etablere en struktur for overvåkning og kontroll av høy-risiko-systemer.

Samtidig vil vi understreke at norske myndigheters oppgave ikke bare er å implementere forordningen som norsk lov, men også å tette smutthull og sikre at den tilpasses våre demokratiske standarder. Dette gjøres gjennom loven som nå ligger på høring, og ved å gi klare føringer for hvordan det norske demokratiet skal rustes til å møte utfordringene og mulighetene som følger av denne potente teknologien, slik at både våre rettigheter og demokratiske verdier ivaretas. KI-teknologi utvikles i et svært høyt tempo, og derfor må lovverket utformes med fremtiden for øye, med fokus på å etablere et helt nytt håndhevingsparadigme.

1. KI-lovens tilnærming og menneskerettigheter

Den risikobaserte tilnærmingen som KI-forordningen bygger på, legger hovedvekten på produktsikkerhet og markedsplass. Dette er et viktig fremskritt; det å stille produktansvar for KI-systemer er et nødvendig skritt i riktig retning.

Samtidig bør tilnærmingen styrkes med hensyn til beskyttelse av menneskerettigheter. Spesielt bør lovverket sikre adekvat beskyttelse for sårbare grupper, som migranter, barn og ungdom, som kan bli uforholdsmessig påvirket av KI-systemers beslutninger.

EDRi, Access Now og Amnesty har fremhevet behovet for at alle høy-risiko KI-systemer underlegges en menneskerettighetsvurdering (Human Rights Impact Assessment – HRIA) før de tas i bruk, og at denne vurderingen er offentlig tilgjengelig for å sikre transparens og ansvarlighet. Dette er i tråd med prinsippene i høringsnotatet punkt 2 «Gjeldende rett» og med de etablerte kravene om ansvarlig næringsliv i Norges åpenhetslov og OECDs retningslinjer.

Siden KI-loven holder leverandører ansvarlig for standardene som de selv setter, bør loven slå fast at KI-systemer ikke skal anvendes på måter som medfører diskriminering eller systematisk ulik behandling på grunn av ett eller flere diskrimineringsgrunnlag, som for eksempel kjønn, funksjonsevne, etnisitet eller seksuell orientering.

Videre bør Norge, i tråd med anbefalinger fra blant annet Forbrukerrådet, Likestillings- og diskrimineringsombudet, og Amensty, benytte seg av KI-forordningens artikkel 5 nr. 5 – som gir nasjonalt handlingsrom for strengere regulering av teknologi for biometrisk fjernidentifisering –, og forby biometrisk fjernidentifisering generelt, også for kommersiell bruk. Ansiktsgjenkjenning og fjernbiometrisk identifisering, uansett tekniske tiltak, innebærer store menneskerettighetsrisikoer. Et slik forbud står også i tråd med nyere norsk lov som peker på forbud mot masseovervåkning.

På denne måten kan risikobasert regulering kombineres med en sterk menneskerettighetsbasert tilnærming, slik at teknologien utvikles og anvendes på en ansvarlig og demokratisk forsvarlig måte.

Konkrete innspill:

• Offentlig tilgjengelig Human Rights Impact Assessment – HRIA bør kreves for alle høy-risiko KI-systemer, i tråd med norsk praksis innenfor ansvarlig næringsliv.
• Totalforbud mot masseovervåkningsteknologier. Bruk av biometrisk fjernidentifisering (ansiktsgjenkjenning m.m.) i offentlig rom, både i sanntid og ettertid, samt biometrisk kategorisering etter sensitive trekk (f.eks. klassifisering etter etnisitet, kjønn, seksualitet eller andre sensitive kjennetegn) bør forbys.
• Klassifisering av KI-systemer som «høy-risiko» skal ikke overlates til leverandørene; dette må alltid vurderes/godkjennes av et uavhengig tilsyn eller akkrediteringsorgan.
• Likestillings- og diskrimineringsombudet (LDO) skal inkluderes blant myndigheter definert som nasjonale myndigheter under Art. 77. Vi støtter EFNs anbefaling om at definisjonen av nasjonale myndigheter fastsettes gjennom forskrift. Dette vil skape tydelighet rundt ansvarsforholdene, samtidig som det gir mulighet for å utvide listen over myndigheter i fremtiden uten å måtte endre selve loven.

2. Tilsyns- og håndhevingsmodell

Regulering av KI-systemer og håndheving av regelverket krever en ny institusjonell struktur som ivaretar både tekniske vurderinger og samfunnsrettede hensyn. Strukturen bør inkludere kompetanseheving, samarbeid med relevante sivilsamfunnsaktører og en tydelig kobling til utvikling av politikk og praksis. Regulering av KI-systemer strekker seg langt utover digitale og tekniske vurderinger; den må også sikre at grunnleggende prinsipper i samfunnet og demokratiets verdier opprettholdes.

Dette må være en fremtidsrettet regulering. Tilsynsmodellen bør bygges med fleksibilitet for å kunne reagere på rask teknologisk utvikling, inkludert nye typer KI-systemer, nye bruksområder og oppdaterte risikovurderinger. Dette innebærer kontinuerlig oppdatering av standarder, retningslinjer og kontrollmekanismer.

Videre må strukturen samle bred faglig kompetanse, inkludert teknologisk, juridisk og menneskerettslig ekspertise. Tilsynsorganet må kunne vurdere hvordan KI påvirker sårbare grupper og grunnleggende demokratiske prosesser. Modellen bør derfor legge til rette for tverrsektorielt samarbeid, slik at tilsynsorganet kan arbeide tett med andre relevante nasjonale myndigheter og samfunnsaktører. Sivilsamfunnsorganisasjoner bør aktivt involveres både i tilsyn og rådgivning for å sikre transparens og ansvarlighet.

Med en slik tilsynsmodell kan Norge etablere en robust og fremtidsrettet regulering som kombinerer teknisk kompetanse, menneskerettighetsfokus og demokratiske prinsipper, og som sikrer effektiv håndheving av KI-forordningen på nasjonalt nivå.

KI-forordningen peker ut Nasjonal kommunikasjonsmyndighet (NKOM) som koordinerende markedstilsynsmyndighet. Det er imidlertid tydelig at dette ansvaret går langt utover NKOMs nåværende kompetanse og erfaring. Rollen forutsetter derfor en betydelig opprustning med nye økonomiske ressurser, styrket fagkompetanse og en tydeligere uavhengighet både fra markedsaktører og fra regjeringen.

Det er også beklagelig at høringsnotatet ikke inkluderer konkrete forslag til klageinstanser og prosedyrer. Enkeltpersoners rett til innsyn i når de blir påvirket av KI-systemer, samt tilgang til en effektiv nasjonal klageordning, er grunnleggende elementer i en reguleringsmodell som bygger på transparens og ansvarlighet. Forordningen må derfor suppleres med klare bestemmelser om hvordan denne retten skal håndheves i praksis.

Med tanke på omfanget av oppgaven og behovet for kontinuerlig utvikling av politikk, samt økende engasjement fra samfunnsaktører, mener vi det bør opprettes et nasjonalt rådgivende forum tilsvarende EUs rådgivende forum beskrevet i punkt 13.3 i høringsnotatet. Et slikt forum bør inkludere representanter fra akademia, næringsliv og sivilsamfunn, og bidra til å sikre en solid faglig og demokratisk forankring av KI-politikken. Forumet kan også gis i oppdrag å utvikle forslag til nasjonale klageinstanser og prosedyrer, og dermed være en sentral aktør i den videre politikkutviklingen.

Konkrete innspill:

• NKOM må tilføres tilstrekkelige økonomiske ressurser, styrket kompetanse og økt uavhengighet fra både markedsaktører og regjeringen. Vi foreslår at det opprettes en egen avdeling under NKOM (etter modell fra Tyskland, som planlegger en tilsvarende enhet i sin telemyndighet). Denne avdelingen må bemannes med teknologisk, juridisk og menneskerettslig ekspertise, og gis hovedansvar for håndhevingen av KI-forordningen. Tverrsektorielt samarbeid bør nedfelles som prinsipp for å sikre bred demokratisk og faglig forankring.
• Det bør etableres et nasjonalt rådgivende forum med representanter fra akademia, næringsliv og sivilsamfunn, tilsvarende EUs rådgivende forum. Rådet skal bidra til utvikling av KI-politikk og utvikling håndheving av KI-forordning.
• Sivilsamfunnsorganisasjoner må gis reell innflytelse i utviklingen og implementeringen av KI-reguleringen, inkludert meningsfull deltakelse i standardiseringsprosesser, styringsstrukturer, håndhevelsesmekanismer og prosesser for oppdatering av systemlister over høy-risiko- og andre risikokategorier.
• Det er nødvendig å innføre en individuell rett til å ikke å bli underlagt KI-systemer som utgjør uakseptabel risiko. Det bør også etableres en rett til å få klare og forståelige forklaringer på beslutninger tatt med hjelp av KI-systemer, samt en rett til et effektivt rettsmiddel for personer som får sine rettigheter krenket som følge av anvendelsen av et KI-system.

Med dette innspillet oppfordrer vi norske myndigheter til å implementere KI-forordningen på en måte som setter menneskerettigheter, rettssikkerhet og åpenhet i sentrum. Norge har en unik mulighet til å gå foran og styrke rettighetsbeskyttelsen utover minstekravene i EU-regelverket, og til å bygge en modell for KI-regulering som kombinerer teknologisk utvikling med demokratiske verdier og grunnleggende rettigheter.