WissenBegriffvon Michael Selck
Hochrisiko-KI-System
Ein Hochrisiko-KI-System ist nach Artikel 6 und Anhang III der EU-KI-Verordnung eine KI-Anwendung, die erheblichen Einfluss auf Gesundheit, Sicherheit oder Grundrechte von Menschen haben kann, etwa bei der Auswahl von Bewerbern oder der Bewertung von Beschäftigten. Für solche Systeme gelten strenge Pflichten, darunter Risikomanagement, Dokumentation und wirksame menschliche Aufsicht, auch für Betreiber, also die Betriebe, die sie einsetzen.
Was bedeutet Hochrisiko-KI-System?
„Hochrisiko“ ist die zweithöchste Stufe im Risiko-Raster der KI-Verordnung. Darüber stehen nur die verbotenen Praktiken, darunter folgen Einsätze mit Transparenzpflichten und KI mit minimalem Risiko. Maßgeblich ist dabei nicht, wie leistungsfähig eine KI ist, sondern wofür sie eingesetzt wird. Dasselbe Sprachmodell kann im Info-Postfach ein harmloser Helfer sein und im Bewerbermanagement ein Hochrisiko-KI-System – je nachdem, ob es Mails sortiert oder Menschen bewertet.
Die Verordnung kennt zwei Wege in die Hochrisiko-Stufe. Der erste betrifft KI als Sicherheitsbauteil von Produkten, die ohnehin streng geregelt sind und von Dritten geprüft werden müssen, etwa Maschinen, Aufzüge oder Medizinprodukte (Anhang I). Der zweite betrifft bestimmte Einsatzbereiche, die Anhang III aufzählt: biometrische Identifizierung, kritische Infrastruktur, Bildung, Beschäftigung und Personalführung, Zugang zu wesentlichen privaten und öffentlichen Leistungen wie Kreditwürdigkeit oder Lebens- und Krankenversicherung, Strafverfolgung, Migration sowie Justiz und Wahlen. Für den Mittelstand ist vor allem der Bereich Beschäftigung relevant: KI, die Bewerbungen filtert und bewertet, Beförderungen oder Kündigungen mitentscheidet, Aufgaben nach persönlichen Merkmalen verteilt oder Leistung und Verhalten von Beschäftigten überwacht.
Artikel 6 Absatz 3 enthält eine Ausnahme. Ein System aus Anhang III ist kein Hochrisiko-Fall, wenn es nur eine eng begrenzte, verfahrenstechnische Aufgabe erfüllt, das Ergebnis einer bereits abgeschlossenen menschlichen Tätigkeit verbessert, Muster erkennt, ohne die menschliche Bewertung zu ersetzen, oder eine bloß vorbereitende Aufgabe übernimmt. Diese Ausnahme gilt nie, wenn das System Profile von Personen erstellt. Wer sich auf sie beruft, muss die Einschätzung dokumentieren. Daraus folgt eine nützliche Faustregel: Je klarer die KI nur vorbereitet und je eindeutiger ein Mensch selbst bewertet, desto eher bleibt der Einsatz außerhalb der Hochrisiko-Stufe.
Abzugrenzen ist der Begriff von seinen Nachbarn. Die Kennzeichnungspflicht für KI betrifft Chat, Telefon und täuschend echte Inhalte – sie gilt unabhängig davon, ob ein System hochriskant ist. Die KI-Kompetenz ist eine Schulungspflicht für jeden Betrieb, der KI einsetzt. Die Datenschutz-Folgenabschätzung stammt aus der DSGVO und wird bei Hochrisiko-Systemen mit Personendaten meist zusätzlich fällig, ersetzt aber keine Pflicht der KI-Verordnung. Und „Hochrisiko“ heißt nicht „verboten“: Solche Systeme sind erlaubt, nur eben an strenge Bedingungen geknüpft.
Hochrisiko-KI-System kurz erklärt: die wichtigsten Punkte
- Die Einstufung hängt am Zweck, nicht an der Technik: Ein allgemeines KI-Werkzeug wird zum Hochrisiko-Fall, sobald es über Bewerber, Beschäftigte, Kredite oder Sicherheit mitentscheidet.
- Anbieter tragen die schweren Pflichten: Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung, Konformitätsbewertung, CE-Kennzeichnung und Registrierung in der EU-Datenbank.
- Betreiber – also der Betrieb, der das System einsetzt – müssen es nach Gebrauchsanweisung nutzen, geschulte Menschen mit der Aufsicht betrauen, den Betrieb überwachen und die Protokolle mindestens sechs Monate aufbewahren.
- Vor dem Einsatz am Arbeitsplatz sind Beschäftigte und ihre Vertretung zu informieren; Personen, über die mit Hilfe des Systems entschieden wird, haben Anspruch auf Information und unter Umständen auf eine Erklärung.
- Nach dem Verordnungstext gelten die Pflichten für Anhang III ab dem 2. August 2026 und für regulierte Produkte ab dem 2. August 2027; ein Vorschlag der EU-Kommission von Ende 2025 könnte diese Fristen verschieben.
Hochrisiko-KI-System in der Praxis
- Industriebetrieb mit vielen Bewerbungen: Ein Werkzeug soll eingehende Bewerbungen nach Eignung bewerten und eine Rangliste erstellen. Damit liegt der Einsatz klar in Anhang III. Der Betrieb entscheidet sich für einen anderen Zuschnitt: Die KI bestätigt den Eingang, prüft die Unterlagen auf Vollständigkeit und bereitet Rückfragen vor; gelesen, bewertet und ausgewählt wird in der Personalabteilung. So bleibt die KI vorbereitend, und ein Mensch trifft jede Auswahl.
- Handwerksbetrieb mit Einsatzplanung: Eine KI-gestützte Einsatzplanung schlägt vor, welcher Monteur welchen Auftrag übernimmt – nach Qualifikation, Weg und Verfügbarkeit. Das ist eine Planungsaufgabe mit Freigabe durch den Disponenten und in der Regel kein Hochrisiko-Fall. Kritisch würde es, wenn dieselbe KI Tempo und Fehlerquoten einzelner Monteure auswertet und daraus Bewertungen ableitet, denn Leistungsüberwachung von Beschäftigten steht in Anhang III.
- Maschinenbauer mit KI im Produkt: Ein Hersteller baut eine KI-Funktion in die Schutzeinrichtung seiner Maschine ein, die erkennt, ob sich eine Hand im Gefahrenbereich befindet. Hier geht es nicht um Personalfragen, sondern um ein Sicherheitsbauteil eines regulierten Produkts (Anhang I). Der Hersteller ist Anbieter und muss die volle Konformitätsbewertung durchlaufen; die Pflichten greifen nach dem Verordnungstext ab August 2027.
Woran Sie erkennen, ob ein KI-Einsatz im Betrieb hochriskant ist
- Die KI wirkt an Entscheidungen über Menschen mit: Einstellung, Beförderung, Kündigung, Aufgabenverteilung nach persönlichen Merkmalen oder Leistungsbewertung.
- Die KI entscheidet über den Zugang zu wesentlichen Leistungen, etwa über Kreditwürdigkeit, Versicherungstarife oder Ausbildungsplätze.
- Die KI ist Sicherheitsbauteil eines Produkts, das ohnehin einer Prüfung durch Dritte unterliegt, oder steuert Teile kritischer Infrastruktur wie Strom-, Wasser- oder Wärmeversorgung.
- Das System erstellt Profile von Personen – dann greift die Ausnahme für vorbereitende Aufgaben nicht mehr, egal wie eng der Zweck sonst ist.
- Ein Mensch übernimmt das Ergebnis meist ungeprüft, oder es lässt sich nicht nachvollziehen, wie die KI zu einem Vorschlag kommt. Spätestens dann gehört der Einsatz auf den Prüfstand.
Typische Fehler
- Nur das Werkzeug prüfen statt den Zweck: Der Anbieter versichert, sein Produkt sei „kein Hochrisiko-System“ – im Betrieb wird es dann aber für die Bewerbervorauswahl eingesetzt. Wer ein allgemeines Werkzeug für einen Hochrisiko-Zweck einrichtet, kann selbst in die Anbieterrolle rutschen.
- Menschliche Aufsicht nur auf dem Papier: Eine Personalreferentin soll die Vorschläge prüfen, hat aber weder Zeit noch Schulung und klickt die Rangliste durch. Die Verordnung verlangt Aufsicht durch Menschen mit Kompetenz, Befugnis und Zeit, die Ergebnisse auch übergehen dürfen.
- Die Belegschaft zu spät einbinden: Systeme, die Leistung oder Verhalten von Beschäftigten erfassen, berühren neben der KI-Verordnung auch die Mitbestimmung. Eine Betriebsvereinbarung zu KI gehört vor den Start, nicht danach.
- Die Fristen-Diskussion als Freibrief nehmen: Ob einzelne Termine verschoben werden, ändert nichts an der Frage, ob ein Einsatz hochriskant ist. Wer jetzt Werkzeuge auswählt, sollte die Einstufung gleich mitprüfen.
Unser Bezug
Wir sind selbst Betreiber im Sinne der KI-Verordnung: In unserem Betrieb arbeiten seit 14 Monaten 43 KI-Stellen in Verwaltung, Buchhaltung, Vertrieb und Kommunikation. Nach unserer Einschätzung ist keiner dieser Einsätze ein Hochrisiko-Fall, und das ist eine bewusste Entscheidung. Unsere roten Linien sind keine KI-Bewertung von Beschäftigten und keine verbotenen Praktiken. Die KI bereitet vor, der Mensch gibt frei – jede Entscheidung über Menschen und jede Außenwirkung geht über eine Freigabe durch Menschen. Offen sagen wir auch, was noch fehlt: Unsere schriftliche Betreiberdokumentation schließen wir gerade, zusammen mit einer anwaltlichen Kurzprüfung.
In der Beratung gehen wir mit Ihnen durch, welche KI-Systeme in Ihrem Betrieb schon laufen oder geplant sind, welcher Risikostufe sie zuzuordnen sind und wie sich ein Einsatz so zuschneiden lässt, dass die KI vorbereitet und Menschen entscheiden. Eine rechtliche Prüfung ersetzt das nicht, aber Sie gehen mit einer sortierten Liste ins Gespräch mit Ihrer Rechtsberatung. Für die Beratung ist bis zu 80 % Förderung möglich, je nach Betrieb und Standort. Die Umsetzung beauftragen Sie getrennt, wenn Sie wollen: im AI Workspace mit Freigaben an jeder Außenwirkung oder als individuelle Lösung.
Erstgespräch
Wissen Sie, welcher Ihrer KI-Einsätze als Hochrisiko gilt?
Im Erstgespräch sehen wir uns gemeinsam an, wo KI in Ihrem Betrieb an Entscheidungen über Menschen mitwirkt, was davon in die Hochrisiko-Stufe fallen könnte und wer heute freigibt – nüchtern, in 30 Minuten und ohne Verkaufsgespräch.
Verwandte Begriffe
- KI-Verordnung
- Kennzeichnungspflicht für KI
- Freigabe durch Menschen
- KI-Kompetenz
- Datenschutz-Folgenabschätzung (DSFA)
- Betriebsvereinbarung zu KI
- KI-Anbieterauswahl
Weiterführende Beiträge
- KI-Verordnung im Mittelstand: Betreiber-Pflichten und KI-Kennzeichnung
- KI im Recruiting: Bewerbermanagement im Mittelstand
- KI mit Betriebsrat: Mitbestimmung und Betriebsvereinbarung
- KI-Datenschutz im Mittelstand: DSGVO und KI-Verordnung im Unternehmen
- KI-Kontrolle im Unternehmen: der Freigabe-Prozess
Häufige Fragen zu Hochrisiko-KI-System
Ist ein KI-Chat auf der Firmenwebsite ein Hochrisiko-KI-System?
In der Regel nicht. Ein Chat, der Fragen beantwortet, Anliegen aufnimmt und an einen Menschen übergibt, fällt unter die Transparenzpflicht: Er muss sich als KI zu erkennen geben. Zum Hochrisiko-Fall würde er erst, wenn er selbst über Zugang zu wesentlichen Leistungen entscheidet, etwa Kreditanfragen bewertet oder Bewerber aussortiert.
Ab wann gelten die Pflichten für Hochrisiko-KI-Systeme?
Nach dem Text der KI-Verordnung gelten die Pflichten für die Einsatzbereiche aus Anhang III ab dem 2. August 2026, für KI in regulierten Produkten nach Anhang I ab dem 2. August 2027. Die EU-Kommission hat Ende 2025 vorgeschlagen, diese Fristen zu verschieben und an die Verfügbarkeit technischer Normen zu koppeln. Vor einer Investition in ein solches System sollten Sie deshalb den aktuellen Stand prüfen – die Einstufung selbst ändert sich dadurch nicht.
Ist jede KI im Recruiting ein Hochrisiko-KI-System?
Nein, entscheidend ist die Aufgabe. Hochrisiko ist KI, die Bewerbungen filtert, bewertet oder Kandidaten rangiert, und ebenso KI, die Stellenanzeigen gezielt an ausgewählte Personengruppen ausspielt. Eine KI, die einen Anzeigentext entwirft, Eingangsbestätigungen vorbereitet oder Termine koordiniert, während Menschen auswählen, ist in der Regel kein Hochrisiko-Fall.
Was muss ein Betrieb als Betreiber eines Hochrisiko-KI-Systems tun?
Er muss das System nach der Gebrauchsanweisung des Anbieters einsetzen und geschulte Personen mit der menschlichen Aufsicht betrauen. Dazu kommen: die Eingabedaten prüfen, soweit er sie steuert, den Betrieb überwachen, die automatisch erzeugten Protokolle mindestens sechs Monate aufbewahren, Beschäftigte und ihre Vertretung vor dem Einsatz am Arbeitsplatz informieren und betroffenen Personen mitteilen, dass ein solches System an Entscheidungen über sie beteiligt ist. Bei personenbezogenen Daten ist meist zusätzlich eine Datenschutz-Folgenabschätzung fällig.
Kann ein Betrieb ungewollt zum Anbieter eines Hochrisiko-KI-Systems werden?
Ja, und dann treffen ihn die deutlich schwereren Anbieterpflichten. Das passiert, wenn er ein Hochrisiko-System unter eigenem Namen anbietet, es wesentlich verändert oder ein allgemeines KI-Werkzeug selbst für einen Hochrisiko-Zweck einrichtet, etwa ein Sprachmodell als Bewerberfilter. Wer ein allgemeines Werkzeug einkauft, sollte deshalb schriftlich festlegen, wofür es im Betrieb nicht verwendet wird.