Der Moment ist näher, als viele denken, auch wenn er sich zuletzt verschoben hat.
Systeme, die seit Monaten oder Jahren produktiv im Einsatz sind, fallen unter den EU AI Act, sobald sie in eine der Hochrisiko-Kategorien passen, das gilt unverändert seit Inkrafttreten der Verordnung. Nur der Zeitpunkt, ab dem die konkreten Pflichten wie Risikomanagement, Dokumentation und menschliche Aufsicht tatsächlich greifen, wurde verschoben: Der sogenannte Digital Omnibus, im Juli 2026 in Kraft getreten, hat diesen Stichtag von ursprünglich 2. August 2026 auf den 2. Dezember 2027 verlegt. Wer glaubt, das Thema sei damit vom Tisch, irrt: Bis Dezember 2027 ist gut ein Jahr Vorlauf, keine Ewigkeit, und die Kategorisierung selbst steht schon jetzt fest.
Ich spreche nicht über Science-Fiction-Szenarien und nicht über Konzernprojekte in Brüssel. Ich spreche über den Mittelständler aus dem Handel, der vor zwei Jahren ein HR-Tool eingeführt hat, das Bewerbungen automatisch bewertet. Und über den D2C-Händler, der KI nutzt, um Zahlungsausfallrisiken vorherzusagen. Und über das Bildungsunternehmen, dessen System automatisch bestimmt, welchen Kurs ein Lernender als nächstes buchen soll.
Alle drei sind wahrscheinlich hochriskant im Sinne der Verordnung. Die meisten wissen es noch nicht.
Was der EU AI Act ist, ohne Juristen-Deutsch
Die Verordnung (EU) 2024/1689, besser bekannt als EU AI Act, ist die weltweit erste umfassende Regulierung von KI-Systemen. Veröffentlicht im Amtsblatt der Europäischen Union am 12. Juli 2024, in Kraft getreten am 1. August 2024, wird sie in gestaffelten Schritten angewendet.
Der erste Schritt galt ab Februar 2025: Verbote für bestimmte KI-Systeme. Der zweite ab August 2025: Regeln für sogenannte KI-Modelle mit allgemeinem Verwendungszweck. Der dritte, für die meisten Unternehmen relevanteste Schritt betrifft die vollständigen Anforderungen für Hochrisiko-KI-Systeme, ursprünglich vorgesehen für August 2026. Durch den Digital Omnibus gilt er inzwischen erst ab 2. Dezember 2027, für in Produkte eingebettete Hochrisiko-KI sogar erst ab 2. August 2028. Unverändert beim ursprünglichen Termin, 2. August 2026, geblieben sind dagegen die Transparenzpflichten nach Artikel 50 und die Pflicht zur KI-Kompetenz nach Artikel 4.
Das Gesetz unterscheidet grundlegend zwischen Providern, also denjenigen, die KI-Systeme entwickeln und in Verkehr bringen, und Deployern, also denjenigen, die bestehende Systeme in eigenen Prozessen einsetzen. Beide tragen Pflichten, unterschiedliche. Dazu mehr in Teil 3 dieser Serie.
Die vier Risikostufen
Verbotene KI
Diese Kategorie umfasst Systeme, die grundsätzlich nicht eingesetzt werden dürfen. Die Verbote gelten seit Februar 2025.
Darunter fallen: Social Scoring durch staatliche Stellen, also die systematische Bewertung von Personen nach Sozialverhalten mit gesellschaftlichen Konsequenzen. Biometrische Echtzeit-Identifikation in öffentlichen Räumen zu Strafverfolgungszwecken, mit eng gefassten Ausnahmen. Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen. KI, die durch unterbewusste Beeinflussung das Verhalten von Personen manipuliert.
Ein Beispiel, das in der Praxis unterschätzt wird: KI-gestützte Video-Interview-Tools, die Mimik und Stimmton analysieren und daraus Persönlichkeits- oder Eignungsscores ableiten, könnten in den Bereich der verbotenen Emotionserkennung am Arbeitsplatz fallen. Ob das so ist, hängt von der konkreten Ausgestaltung ab. Die Frage sollte aber gestellt werden, bevor das Tool weiter eingesetzt wird.
Hochriskante KI
Das ist der Bereich, der die meisten Unternehmen betrifft und den die wenigsten auf dem Schirm haben.
Annex III des AI Acts listet acht Kategorien auf. Die für Service- und Operations-Führungskräfte relevantesten:
Beschäftigung und Personalmanagement (Annex III, Punkt 4): KI-Systeme für die Bewerbervorauswahl, für Beförderungs- oder Entlassungsentscheidungen, für die Aufgabenzuteilung und für die Leistungsüberwachung. Das ist der größte blinde Fleck, den ich in Gesprächen erlebe.
Kreditwürdigkeit und Versicherung (Annex III, Punkte 5b und 5c): KI, die die Kreditwürdigkeit natürlicher Personen bewertet oder über den Zugang zu Versicherungsleistungen entscheidet.
Bildung und Berufsausbildung (Annex III, Punkt 3): Systeme, die über Zugang zu Bildungsangeboten entscheiden, Lernergebnisse bewerten oder Lernende selektieren.
Biometrie (Annex III, Punkt 1): KI-Systeme zur biometrischen Identifikation oder Kategorisierung natürlicher Personen.
Kritische Infrastruktur (Annex III, Punkt 2): KI als Sicherheitskomponente in der Verwaltung von Strom-, Wasser-, Verkehrs- oder Finanzinfrastruktur.
Der gemeinsame Nenner dieser Kategorien: Es geht um KI, die erheblichen Einfluss auf das Leben, die Chancen oder die Rechte von Menschen hat. Wer durch ein KI-System keinen Job bekommt, keinen Kredit erhält oder vom Bildungsangebot ausgeschlossen wird, hat ein substantielles Interesse daran, dass diese Entscheidung fair, nachvollziehbar und überprüfbar ist. Das ist der Grund, warum der Gesetzgeber hier ansetzt.
Begrenztes Risiko
Diese Kategorie umfasst vor allem Transparenzpflichten. Chatbots müssen kenntlich machen, dass der Gesprächspartner kein Mensch ist. KI-generierte Inhalte, die reale Personen oder Ereignisse täuschend ähnlich darstellen, müssen als solche gekennzeichnet werden. Emotionserkennungssysteme müssen die betroffenen Personen darüber informieren.
Die praktischen Fragen, die dabei noch offen sind: Wie eindeutig muss ein Kundenservice-Chatbot auf seinen KI-Status hinweisen? Ab wann gilt ein KI-bearbeitetes Bild als Deepfake im Sinne der Verordnung? Die Rechtsprechung dazu entwickelt sich noch.
Minimales Risiko
Spam-Filter, Produktempfehlungen, KI in Spielen, KI-gestützte Textverarbeitung ohne Entscheidungsrelevanz. Keine spezifischen gesetzlichen Anforderungen, nur die Möglichkeit freiwilliger Verhaltenskodizes.
Das Beispiel, das für viele steht
Ein mittelgroßes Handelsunternehmen, 300 Mitarbeitende. HR hat vor zwei Jahren ein Bewerbermanagementsystem mit KI-Funktion eingeführt. Das System analysiert Lebensläufe, vergibt Scores auf Basis definierter Kriterien, und erstellt eine Shortlist. Die HR-Managerin sieht primär die vom System vorselektierten Kandidaten.
Dieses System fällt unter Annex III, Punkt 4 des AI Acts. Es ist hochriskant.
Das Unternehmen ist Deployer, kein Provider, weil es das System zugekauft hat. Deployer haben eigene Pflichten, die zum 2. Dezember 2027 verbindlich werden: eine menschliche Aufsicht sicherstellen, die die Entscheidungen der KI wirklich prüfen und korrigieren kann, Bewerber darüber informieren, dass eine KI an der Entscheidung beteiligt ist, ernste Betriebsvorfälle melden. In Deutschland kommt die Einbindung des Betriebsrats dazu, unabhängig vom AI-Act-Stichtag, denn diese Pflicht folgt aus eigenem deutschen Recht.
Was diese Pflichten im Einzelnen bedeuten und wie eine praktische Risikoanalyse in einem Unternehmen ohne eigene Rechtsabteilung aussehen kann, ist Thema von Teil 3 dieser Serie.
Wie man seine eigene Risikostufe bestimmt
Eine erste Einordnung folgt drei Fragen.
Was entscheidet oder beeinflusst das System faktisch? Nicht was es heißt, sondern was es tut. Ein KI-Assistent, der Kundenbetreuer beim Formulieren von Antworten unterstützt, ist etwas anderes als ein System, das automatisiert entscheidet, welcher Kundenfall priorisiert wird.
Wen betrifft die Entscheidung, und wie erheblich? Handelt es sich um Produktempfehlungen, oder geht es um Einstellungsentscheidungen, Kreditvergabe oder Bildungszugang?
Steht das System in einer der acht Annex-III-Kategorien? Beschäftigung, Kredit, Bildung, Biometrie, kritische Infrastruktur, Strafverfolgung, Migration, Justiz.
Wer diese drei Fragen ehrlich beantwortet, hat eine erste belastbare Einschätzung. Was dann zu tun ist, erklärt Teil 3.