EU AI Act och psykisk hälsa: vad betyder 'high-risk' för vanliga människor?
EU AI Act klassar vissa AI-system inom vård och hälsa som "high-risk", vilket utlöser krav på transparens, dokumentation och mänsklig tillsyn. För dig som användare betyder det bland annat rätt att veta att AI är inblandad, och i vissa fall rätt till en förklaring av beslutet.
Någonstans i Bryssel har någon skrivit ett dokument. Det är hundratals sidor långt. Det handlar bland annat om AI-system inom vård och psykisk hälsa, och några av dem klassas som "high-risk". Det låter tekniskt. Det låter avlägset. Men det kan beröra appar och verktyg som du redan använder.
Vad "high-risk" egentligen betyder
EU AI Act är EU:s försök att reglera artificiell intelligens. Artikel 6 slår fast klassificeringsreglerna, och den konkreta listan över high-risk-områden finns i Annex III. Hälsa är ett av dem, särskilt AI-system som ingår i medicinteknik eller används till beslut med väsentlig påverkan på människors hälsa.
"High-risk" betyder inte förbjudet. Det betyder högre krav:
- Transparens. För vissa typer av AI-system kräver artikel 50 att du ska få veta att du interagerar med AI.
- Dokumentation. High-risk-system ska kunna redogöra för vad de gör och hur de kommer fram till sina slutsatser.
- Mänsklig tillsyn. Artikel 14 kräver att high-risk-system har mänsklig tillsyn, inte som formalitet, utan som en verklig kontrollfunktion.
- Riskhantering. Utvecklaren ska aktivt identifiera och minska risken för skada.
Det är inte byråkrati för byråkratins skull. Det är ett erkännande av att när AI påverkar hur människor förstår sig själva är insatsen högre.
Varför psykisk hälsa är särskilt känsligt
Tänk på skillnaden: En AI som rekommenderar en film kan ha fel. Du förlorar två timmar. En AI som säger att din familjedynamik är dysfunktionell kan påverka hur du ser på dina närmaste. Den kan förändra hur du pratar med dina barn. Eller om du alls gör det.
Potentialen för skada är reell. Inte för att AI är illvillig, utan för att människor tar AI-genererade beskrivningar på allvar. Särskilt när de handlar om något man redan känner sig osäker på.
En felaktig filmrekommendation kostar två timmar av din söndag. En felaktig beskrivning av din familjs dynamik kan kosta tillit.
Därför har EU valt att ställa högre krav på AI-system som kan ha väsentlig påverkan på människors hälsa och säkerhet.
Nyfiken på dig själv?
9 frågor. 2 minuter. Ingen inloggning.
Vad det betyder för dig som användare
EU AI Act ger dig rättigheter, beroende på vilken typ av AI-system du interagerar med:
- Du har i vissa situationer rätt att veta att AI är inblandad. Artikel 50 omfattar bland annat direkt interaktion med AI-system och känsloigenkänning.
- Du kan ha rätt till en förklaring. Artikel 86 ger rätt till förklaring när ett high-risk-beslut påverkar din hälsa, din säkerhet eller dina grundläggande rättigheter.
- High-risk-system ska ha mänsklig tillsyn. Systemet ska vara utformat så att en människa kan ingripa om något blir fel, enligt artikel 14.
Rättigheterna gäller inte automatiskt för varje AI-app. De beror på hur systemet klassificeras. Men principen är tydlig: ju större påverkan, desto strängare krav.
Hur mänsklig tillsyn ser ut i praktiken
Det är lätt att säga "mänsklig tillsyn". Men vad betyder det i praktiken?
Det betyder att AI:n inte arbetar ensam. Promptarna som genererar innehåll är noga genomarbetade. De mönster som systemet beskriver bygger på kända psykologiska begrepp. Och det finns människor som löpande granskar vad systemet producerar.
SAMRUM är inte terapi och är byggt för reflektion och kommunikation — inte för beslut om vård eller behandling. Var ett verktyg ska placeras i förhållande till EU:s AI-förordning beror på hur det används i praktiken och måste bedömas löpande enligt gällande regler. Vi har ändå valt att bygga systemet med skärpta principer – eftersom det handlar om familjer. Konkret betyder det att AI:n arbetar inom låsta ramar. Den beskriver bara axlar baserade på kända psykologiska begrepp. Den hittar inte på nya kategorier. Den använder ett språk som är genomarbetat och fastlagt i förväg. AI-modellen får bara aggregerade poäng i prompten, aldrig de rå svaren. Och vi följer löpande upp kvaliteten på det systemet producerar. (Läs mer om vår metodik.)
Mänsklig tillsyn är inte en person som tittar över axeln. Det är ett system som är byggt så att AI:n inte kan springa iväg.
EU AI Act är inte perfekt. Ingen reglering är det. Men den ställer en fråga som är värd att ta med sig: Litar jag på att det här systemet är byggt med omsorg? Och om jag inte vet det, har jag rätt att fråga?
Svaret är ja. Och för high-risk-system är det nu lag.