EU AI Act und psychische Gesundheit: Was bedeutet „Hochrisiko“ für Menschen im Alltag?
Der EU AI Act (auch: KI-Verordnung) stuft bestimmte KI-Systeme im Gesundheitsbereich als „Hochrisiko“ ein. Für solche Systeme gelten Pflichten zu Transparenz, Dokumentation und menschlicher Aufsicht. Für dich als Nutzer:in heißt das: In vielen Fällen hast du das Recht zu wissen, dass eine KI beteiligt ist — und in bestimmten Fällen das Recht auf eine Erklärung.
Irgendwo in Brüssel hat jemand ein Dokument geschrieben. Es umfasst hunderte Seiten. Unter anderem geht es um KI-Systeme im Gesundheitsbereich und in der psychischen Gesundheit — und einige davon sind als „Hochrisiko“ eingestuft. Klingt technisch. Klingt weit weg. Es kann aber Apps und Werkzeuge betreffen, die du schon nutzt.
Was „Hochrisiko“ tatsächlich heißt
Der AI Act ist Europas Versuch, künstliche Intelligenz zu regulieren. Artikel 6 legt die Einstufungsregeln fest, die konkrete Liste der Hochrisiko-Bereiche steht in Anhang III. Gesundheit gehört dazu — vor allem KI-Systeme, die Teil von Medizinprodukten sind oder bei Entscheidungen mitwirken, die spürbare Auswirkungen auf die Gesundheit haben.
„Hochrisiko“ heißt nicht „verboten“. Es heißt: zusätzliche Pflichten.
- Transparenz. Für bestimmte KI-Systeme verlangt Artikel 50 Transparenz — du musst wissen, dass du mit einer KI sprichst.
- Dokumentation. Hochrisiko-Systeme müssen nachvollziehbar machen, was sie tun und wie sie zu ihren Schlüssen kommen.
- Menschliche Aufsicht. Artikel 14 verlangt menschliche Aufsicht bei Hochrisiko-Systemen — nicht als Formalität, sondern als echte Kontrolle.
- Risikomanagement. Anbieter müssen Risiken aktiv erkennen und reduzieren.
Das ist keine Bürokratie um ihrer selbst willen. Es ist eine Anerkennung: Wenn KI berührt, wie Menschen sich selbst verstehen, steht mehr auf dem Spiel.
Warum psychische Gesundheit besonders ist
Stell dir den Unterschied vor: Eine KI, die einen Film empfiehlt, kann danebenliegen. Du verlierst zwei Stunden. Eine KI, die dir sagt, in deiner Familie gebe es ein festgefahrenes Muster, kann verändern, wie du deine Nächsten siehst. Sie kann verändern, wie du mit deinen Kindern sprichst. Oder ob du es überhaupt tust.
Das Schadenspotenzial ist real. Nicht weil KI böse wäre — sondern weil Menschen KI-generierte Beschreibungen ernst nehmen. Vor allem bei Themen, in denen sie ohnehin unsicher sind.
Eine falsche Filmempfehlung kostet zwei Sonntagsstunden. Eine falsche Beschreibung eurer Familiendynamik kann Vertrauen kosten.
Deshalb hat die EU für KI-Systeme, die spürbar auf Gesundheit und Sicherheit einwirken können, zusätzliche Pflichten festgelegt.
Neugierig auf dich selbst?
9 Fragen. 2 Minuten. Kein Login.
Was es für dich als Nutzer:in heißt
Der AI Act gibt dir Rechte — abhängig davon, mit welcher Art KI-System du es zu tun hast.
- In bestimmten Situationen hast du das Recht zu wissen, dass KI beteiligt ist. Artikel 50 deckt unter anderem direkte Interaktion mit KI-Systemen und Emotionserkennung ab.
- Du kannst Anspruch auf eine Erklärung haben. Artikel 86 sieht ein Recht auf Erklärung vor, wenn eine Hochrisiko-Entscheidung deine Gesundheit, deine Sicherheit oder deine Grundrechte berührt.
- Hochrisiko-Systeme brauchen menschliche Aufsicht. Das System muss so gebaut sein, dass ein Mensch eingreifen kann, wenn etwas schiefläuft (Artikel 14).
Diese Rechte gelten nicht für jede KI-App gleich — sie hängen von der Einstufung ab. Das Prinzip ist aber klar: Je größer die Auswirkung, desto strenger die Anforderungen.
Wie „menschliche Aufsicht“ in der Praxis aussieht
Es ist leicht gesagt: „menschliche Aufsicht“. Aber was heißt das praktisch?
Es heißt, die KI arbeitet nicht allein. Die Prompts, die ein Ergebnis erzeugen, sind sorgfältig durchdacht. Die Muster, die das System beschreibt, beruhen auf etablierten psychologischen Begriffen. Und Menschen prüfen laufend, was das System produziert.
SAMRUM ist keine Therapie und ist als Werkzeug für Gespräch und Selbstreflexion gedacht. Wo ein Werkzeug rechtlich einzuordnen ist, hängt vom konkreten Einsatz ab und ist nach geltendem Recht laufend zu prüfen. Wir haben uns trotzdem für strenge Prinzipien entschieden — weil es um Familien geht. Konkret heißt das: Die KI arbeitet in fest definierten Rahmen. Sie beschreibt nur Achsen, die auf etablierten psychologischen Begriffen beruhen. Sie erfindet keine neuen Kategorien. Sie nutzt eine Sprache, die sorgfältig vorbereitet und festgelegt ist. Das KI-Modell bekommt im Prompt nur aggregierte Werte — niemals die rohen Antworten. Und wir prüfen die Qualität laufend. (Mehr dazu in unserer Methodik.)
Menschliche Aufsicht ist nicht eine Person, die jemandem über die Schulter schaut. Es ist ein System, das so gebaut ist, dass die KI nicht außer Kontrolle geraten kann.
Der AI Act ist nicht perfekt. Keine Regulierung ist es. Aber er stellt eine Frage, die es wert ist, mitgenommen zu werden: Vertraue ich darauf, dass dieses System sorgfältig gebaut wurde? Und wenn ich es nicht weiß — habe ich das Recht zu fragen?
Die Antwort ist: ja. Und für Hochrisiko-Systeme ist es jetzt Gesetz.