EU AI Act og mental sundhed: hvad betyder 'high-risk' for almindelige mennesker?
EU AI Act klassificerer visse AI-systemer i sundhed som "high-risk," hvilket udløser krav om gennemsigtighed, dokumentation og menneskeligt tilsyn. For dig som bruger betyder det ret til at vide, at AI er involveret – og i visse tilfælde ret til en forklaring af beslutningen.
Et sted i Bruxelles har nogen skrevet et dokument. Det fylder hundredvis af sider. Det handler blandt andet om AI-systemer i sundhed og mental sundhed – og nogle af dem klassificeres som "high-risk." Det lyder teknisk. Det lyder fjernt. Men det kan berøre apps og værktøjer, du allerede bruger.
Hvad "high-risk" egentlig betyder
EU AI Act er Europas forsøg på at regulere kunstig intelligens. Artikel 6 fastlægger klassifikationsreglerne, og den konkrete liste over high-risk-områder findes i Annex III. Sundhed er blandt dem – især AI-systemer, der indgår i medicinsk udstyr eller bruges til beslutninger med væsentlig påvirkning på menneskers helbred.
"High-risk" betyder ikke forbudt. Det betyder ekstra krav:
- Gennemsigtighed. For visse AI-systemtyper kræver Artikel 50 transparens – du skal vide, at du interagerer med en AI.
- Dokumentation. High-risk-systemer skal kunne redegøre for, hvad de gør, og hvordan de når deres konklusioner.
- Menneskeligt tilsyn. Artikel 14 kræver, at high-risk-systemer har menneskeligt tilsyn – ikke som en formalitet, men som en reel kontrolinstans.
- Risikostyring. Udvikleren skal aktivt identificere og reducere risikoen for skade.
Det er ikke bureaukrati for bureaukratiets skyld. Det er en anerkendelse af, at når AI rører ved, hvordan mennesker forstår sig selv, er indsatsen højere.
Hvorfor mental sundhed er særlig
Tænk over forskellen: En AI, der anbefaler dig en film, kan tage fejl. Du spilder to timer. En AI, der fortæller dig, at din familiedynamik er dysfunktionel, kan påvirke, hvordan du ser dine nærmeste. Den kan ændre, hvordan du taler med dine børn. Eller om du gør det overhovedet.
Potentialet for skade er reelt. Ikke fordi AI er ondsindet – men fordi mennesker tager AI-genererede beskrivelser alvorligt. Især når de handler om noget, man i forvejen er usikker på.
En forkert filmanbefaling koster to timer af din søndag. En forkert beskrivelse af din families dynamik kan koste tillid.
Det er derfor, EU har valgt at stille ekstra krav til AI-systemer, der kan have væsentlig påvirkning på menneskers helbred og sikkerhed.
Hvad det betyder for dig som bruger
EU AI Act giver dig rettigheder – afhængigt af, hvilken type AI-system du interagerer med:
- Du har i visse situationer ret til at vide, at AI er involveret – Artikel 50 dækker bl.a. direkte interaktion med AI-systemer og emotionsgenkendelse.
- Du kan have ret til en forklaring. Artikel 86 giver ret til forklaring, når en high-risk AI-beslutning påvirker dit helbred, din sikkerhed eller dine grundlæggende rettigheder.
- High-risk-systemer skal have menneskeligt tilsyn. Systemet skal være designet, så et menneske kan gribe ind, hvis noget er forkert (Artikel 14).
Rettighederne er ikke universelle for enhver AI-app – de afhænger af, hvordan systemet klassificeres. Men princippet er klart: jo større påvirkning, jo strengere krav.
Hvad "menneskeligt tilsyn" ser ud i praksis
Det er let at sige "menneskeligt tilsyn." Men hvad betyder det i praksis?
Det betyder, at AI'en ikke arbejder alene. At de prompts, der genererer output, er grundigt gennemarbejdet. At de mønstre, systemet beskriver, er baseret på kendte psykologiske begreber. Og at der er mennesker, der løbende gennemgår, hvad systemet producerer.
SAMRUM er ikke terapi og falder ikke i high-risk-kategorien. Men vi har alligevel valgt at bygge systemet med samme principper – fordi det handler om familier. Konkret betyder det, at AI'en arbejder inden for låste rammer. Den beskriver kun akser baseret på kendte psykologiske begreber. Den opfinder ikke nye kategorier. Den bruger et sprog, der er gennemarbejdet og fastlagt på forhånd. AI-modellen får kun aggregerede scorer i prompten – aldrig de rå besvarelser. Og vi overvåger løbende kvaliteten af det, systemet producerer. (Læs mere om vores metodik.)
Menneskeligt tilsyn er ikke én person, der kigger over skulderen. Det er et system, der er bygget, så AI'en ikke kan løbe løbsk.
EU AI Act er ikke perfekt. Ingen regulering er. Men den stiller et spørgsmål, der er værd at tage med sig: Stoler jeg på, at det her system er bygget med omhu? Og hvis jeg ikke ved det – har jeg ret til at spørge?
Svaret er ja. Og for high-risk-systemer er det nu lov.