Artikel 14 der EU-KI-Verordnung: Anforderungen an die menschliche Aufsicht

Aktualisiert am 2. Oktober 2026 — Korrektur. Frühere Fassungen nannten als Fundstelle der Pflichten der Betreiber Artikel 29 (es ist Artikel 26) und als Fundstelle des Rechts auf Erläuterung Artikel 72 (es ist Artikel 86), stellten Human-in-the-Loop, Human-on-the-Loop und Human-in-Command als Arten dar, die Artikel 14 benennt (sie stammen aus den Ethik-Leitlinien der Hochrangigen Expertengruppe von 2019), und erklärten, bereits eingesetzte Systeme müssten die Anforderungen bis zum 2. Dezember 2027 erfüllen, was Artikel 111 Absatz 2 nicht sagt.

Aktualisiert am 4. August 2026 — Frist geändert. Der Digital Omnibus (angenommen vom Europäischen Parlament am 16. Juni 2026 und vom Rat am 29. Juni 2026) hat die Hochrisiko-Pflichten nach Anhang III vom 2. August 2026 auf den 2. Dezember 2027 verschoben. Die Transparenzpflichten des Artikels 50 wurden nicht verschoben und gelten seit dem 2. August 2026. Dieser Artikel wurde entsprechend korrigiert.

Wenn Ihr KI-System nach der EU-KI-Verordnung als Hochrisiko-System eingestuft ist, verlangt Artikel 14 von Ihnen, es so zu gestalten, dass Menschen seinen Betrieb wirksam beaufsichtigen können. Das ist keine Formsache, sondern eine grundlegende architektonische Anforderung, die beeinflusst, wie Sie Ihr System bauen, in Betrieb nehmen und überwachen.

Artikel 14 schreibt vor, dass Hochrisiko-KI-Systeme so konzipiert sein müssen, dass menschliche Aufsicht durch geeignete Maßnahmen möglich ist. Diese Maßnahmen müssen es Menschen erlauben, die Ausgaben des Systems zu verstehen, Ergebnisse zu interpretieren und bei Bedarf einzugreifen. Diese Pflichten gelten ab dem 2. Dezember 2027 für Systeme nach Anhang III — mit einem gesetzlichen Höchstbetrag von 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes nach Art. 99 Abs. 4, wobei für KMU der niedrigere der beiden Beträge gilt.

Dieser Leitfaden erklärt, was Artikel 14 verlangt, welche Aufsichtsmaßnahmen der Verordnung genügen und wie sich menschliche Aufsicht umsetzen lässt, die in der Praxis funktioniert.

Was Artikel 14 verlangt

Artikel 14 gilt für Anbieter von Hochrisiko-KI-Systemen (jene, die nach Artikel 6 über Anhang I oder Anhang III als hochriskant eingestuft sind). Er verlangt, dass Systeme so konzipiert und entwickelt werden, dass sie während ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können (Verordnung (EU) 2024/1689, Artikel 14).

Grundlegende Pflichten zur menschlichen Aufsicht

Die menschliche Aufsicht muss darauf abzielen, Risiken für Gesundheit, Sicherheit oder Grundrechte zu verhindern oder zu minimieren, die entstehen können, wenn ein Hochrisiko-KI-System entsprechend seiner Zweckbestimmung oder unter Bedingungen vernünftigerweise vorhersehbarer Fehlanwendung verwendet wird.

Nach Artikel 14 Absatz 4 muss das System so bereitgestellt werden, dass die mit seiner Aufsicht betrauten Personen, soweit angemessen und verhältnismäßig, in die Lage versetzt werden,

1. die einschlägigen Fähigkeiten und Grenzen des Hochrisiko-KI-Systems angemessen zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, einschließlich des Erkennens und Behebens von Anomalien, Fehlfunktionen und unerwarteter Leistung
2. sich der möglichen Neigung bewusst zu bleiben, sich automatisch oder übermäßig auf die Ausgabe eines Hochrisiko-KI-Systems zu verlassen (Automatisierungsbias)
3. die Ausgabe des Systems korrekt zu interpretieren, wobei beispielsweise die verfügbaren Interpretationswerkzeuge und -methoden zu berücksichtigen sind
4. zu entscheiden, das System nicht zu verwenden oder die Ausgabe in einer bestimmten Situation anderweitig zu ignorieren, zu übergehen oder rückgängig zu machen
5. in den Betrieb des Systems einzugreifen oder es über eine „Stopp“-Schaltfläche oder ein vergleichbares Verfahren zu unterbrechen, das das System in einem sicheren Zustand zum Stillstand bringt

Darüber hinaus müssen die Aufsichtsmaßnahmen den Risiken, dem Grad der Autonomie und dem Nutzungskontext angemessen sein und entweder vor dem Inverkehrbringen vom Anbieter ermittelt und in das System eingebaut werden, sofern dies technisch machbar ist, oder als geeignet für die Umsetzung durch den Betreiber ermittelt werden — oder beides (Artikel 14 Absatz 3).

Drei Wege, die Aufsicht zu organisieren

Artikel 14 benennt keine Aufsichtsarten. Eine verbreitete Art, die von ihm verlangten Maßnahmen zu ordnen, übernimmt drei Muster aus den Ethik-Leitlinien für eine vertrauenswürdige KI der Hochrangigen Expertengruppe für KI von 2019: Human-in-the-Loop, Human-on-the-Loop und Human-in-Command. Sie sind eine Lesart von Artikel 14, keine Kategorien, die die Verordnung definiert.

1. Human-in-the-Loop (HITL)

Das KI-System gibt eine Empfehlung ab, doch ein Mensch trifft die endgültige Entscheidung, bevor gehandelt wird.

Beispiel: Ein KI-System empfiehlt, einen Kreditantrag abzulehnen, doch ein menschlicher Kreditsachbearbeiter muss die Empfehlung prüfen und die Ablehnung genehmigen, bevor die antragstellende Person benachrichtigt wird.

Wann es passt: Bei folgenreichen Entscheidungen über Personen (Einstellung, Kredit, Anspruch auf Leistungen). Artikel 14 selbst schreibt nur in einem Fall eine bestimmte menschliche Prüfung vor: Bei Systemen zur biometrischen Fernidentifizierung (Anhang III Nummer 1 Buchstabe a) dürfen auf Grundlage einer Identifizierung keine Maßnahmen ergriffen und keine Entscheidungen getroffen werden, solange diese nicht von mindestens zwei natürlichen Personen mit der notwendigen Kompetenz gesondert überprüft und bestätigt wurde, vorbehaltlich Ausnahmen in den Bereichen Strafverfolgung, Migration, Grenzkontrolle und Asyl (Artikel 14 Absatz 5).

2. Human-on-the-Loop (HOTL)

Das KI-System arbeitet autonom, doch ein Mensch überwacht seinen Betrieb in Echtzeit und kann bei Bedarf eingreifen.

Beispiel: Ein autonomes Fahrzeug fährt selbst, doch ein Sicherheitsfahrer überwacht das System und kann jederzeit die Kontrolle übernehmen.

Wann es passt: Bei Echtzeitsystemen, bei denen Human-in-the-Loop eine nicht hinnehmbare Latenz verursachen würde, ein menschliches Eingreifen aber möglich bleiben muss.

3. Human-in-Command (HIC)

Ein Mensch beaufsichtigt den Gesamtbetrieb des KI-Systems, einschließlich der Möglichkeit, es zu deaktivieren oder abzuschalten.

Beispiel: Eine Krankenhausverwaltung kann ein KI-gestütztes Diagnosewerkzeug abschalten, wenn es beginnt, unzuverlässige Ergebnisse zu liefern.

Wann es passt: Als Mindeststandard für jedes Hochrisiko-System. Artikel 14 Absatz 4 Buchstabe e verlangt, dass die Aufsichtspersonen, soweit angemessen und verhältnismäßig, in das System eingreifen oder es über eine „Stopp“-Schaltfläche oder ein vergleichbares Verfahren unterbrechen können.

Die meisten Hochrisiko-KI-Systeme erfordern mehrere Aufsichtsebenen — etwa Human-in-the-Loop für Einzelentscheidungen plus Human-in-Command für die Steuerung auf Systemebene.

Checkliste zur Konformität mit Artikel 14

Das müssen Sie umsetzen und dokumentieren:

Anforderung	Was Sie umsetzen müssen	Erforderliche Nachweise
Verständnis von Fähigkeiten und Grenzen	Schulungsunterlagen, Systemdokumentation, Offenlegung der Leistung	Benutzerhandbuch, Schulungsnachweise, Betriebsanleitung (Artikel 13)
Bewusstsein für Automatisierungsbias	Warnhinweise, Schulung zu Risiken übermäßigen Vertrauens, entscheidungserzwingende Funktionen	Warnhinweise in der Oberfläche, Schulungsunterlagen, Audit-Protokolle der Entscheidungen
Interpretationswerkzeuge	Erklärbarkeitsfunktionen, Konfidenzwerte, Merkmalswichtigkeit	Erklärbarkeitsberichte, Screenshots der Oberfläche, Interpretationsleitfaden
Möglichkeit, zu übergehen oder zu ignorieren	Übersteuerungs-Schaltfläche, manueller Prüfworkflow, Ablehnungsmechanismus	Design-Dokumente der Oberfläche, Übersteuerungsprotokolle, Ablaufdiagramme
Möglichkeit, einzugreifen oder zu stoppen	Not-Aus-Schaltfläche, Abschaltverfahren, Eskalationspfad	Technische Architektur, Gestaltung der Stopp-Schaltfläche, Notfallplan
Zuweisung der Aufsichtsrolle	Wer das System beaufsichtigt, erforderliche Qualifikationen, Eskalationshierarchie	Rollenbeschreibungen, RACI-Matrix, Schulungsanforderungen

Praxisbeispiel: ein KI-gestütztes Recruiting-Werkzeug

Angenommen, Sie bieten ein KI-System an, das Lebensläufe sichtet und Kandidatinnen und Kandidaten für Vorstellungsgespräche empfiehlt — ein Hochrisiko-System nach Anhang III Nummer 4 Buchstabe a.

Schritt 1: Erforderliche Aufsichtsart bestimmen

Ihr System prägt Entscheidungen, die den Zugang von Personen zu Beschäftigung erheblich beeinflussen. Artikel 14 schreibt dafür kein Muster vor; er verlangt Maßnahmen, die den Risiken, dem Grad der Autonomie und dem Nutzungskontext angemessen sind. Für ein Werkzeug zur Sichtung von Lebensläufen passt Human-in-the-Loop-Aufsicht am besten: Ein Mensch prüft und genehmigt jede Einstellungsentscheidung, bevor die Bewerbenden benachrichtigt werden.

Schritt 2: Interpretationswerkzeuge gestalten

Sie implementieren Erklärbarkeitsfunktionen, damit Recruiting-Verantwortliche verstehen, warum das System eine Person empfohlen oder abgelehnt hat:

• Werte zur Merkmalswichtigkeit: „Diese Person wurde hoch bewertet aufgrund von: einschlägiger Berufserfahrung (35 %), Übereinstimmung der Ausbildung (28 %), Passung der Kompetenzen (22 %), weiteren Faktoren (15 %)“
• Konfidenzwert: „Konfidenz: 78 % (mittlere Konfidenz — manuelle Prüfung empfohlen)“
• Vergleichsansicht: Gegenüberstellung der besten Kandidatinnen und Kandidaten mit hervorgehobenen Unterscheidungsmerkmalen

Schritt 3: Übersteuerungsmechanismus einrichten

Sie bauen einen Workflow, in dem Recruiting-Verantwortliche

• die KI-Empfehlung annehmen können (die Person geht in die Gesprächsphase),
• die KI-Empfehlung ablehnen können (die Person wird von einer erfahrenen Recruiterin oder einem erfahrenen Recruiter manuell geprüft),
• zur Prüfung markieren können (der Fall geht an den Auswahlausschuss).

Jede Übersteuerung wird mit einem Begründungscode protokolliert (z. B. „KI hat einschlägige Erfahrung übersehen“, „Kandidat hat einen ungewöhnlichen Werdegang“, „Verdacht auf Verzerrung“).

Schritt 4: Automatisierungsbias abmildern

Sie ergänzen Warnhinweise in der Oberfläche, um übermäßiges Vertrauen zu verhindern:

• Entscheidungserzwingende Abfrage: „Haben Sie den vollständigen Lebenslauf geprüft, bevor Sie diese Empfehlung annehmen?“
• Zufällige manuelle Prüfung: 10 % der KI-Empfehlungen werden zur verpflichtenden manuellen Prüfung markiert, auch wenn die Recruiting-Verantwortlichen der KI zustimmen
• Schulungspflicht: Alle Recruiting-Verantwortlichen müssen vor der Nutzung des Systems eine 30-minütige Schulung zum Automatisierungsbias absolvieren

Schritt 5: Steuerung auf Systemebene vorsehen

Sie setzen Human-in-Command-Aufsicht um:

• Die Systemadministration (die Personalleitung) kann das KI-System jederzeit deaktivieren
• Ein Leistungs-Dashboard zeigt Genauigkeit, Verzerrungskennzahlen und Übersteuerungsquoten in Echtzeit
• Automatische Abschaltauslöser: Das System deaktiviert sich selbst, wenn die Genauigkeit unter 80 % fällt oder Verzerrungskennzahlen vorab festgelegte Schwellenwerte überschreiten

Schritt 6: Alles dokumentieren

Sie erstellen ein Aufsichtskonzept, das Folgendes enthält:

• Rollenbeschreibungen (wer beaufsichtigt was)
• Aufsichtsabläufe (Diagramme der Entscheidungswege)
• Interpretationswerkzeuge (Screenshots, Benutzerleitfaden)
• Übersteuerungsmechanismen (technische Gestaltung, Protokolle)
• Schulungsanforderungen (Curriculum, Nachverfolgung der Abschlüsse)
• Steuerung auf Systemebene (Abschaltverfahren, Eskalationspfade)

Dieses Dokument wird Teil Ihrer technischen Dokumentation nach Artikel 11 und fließt in Ihre Betriebsanleitung nach Artikel 13 ein.

Häufige Lücken und wie Sie sie schließen

Lücke 1: keine Erklärbarkeitsfunktionen

Problem: Ihr System liefert Empfehlungen, aber die Nutzenden können nicht nachvollziehen, warum.

Lösung: Setzen Sie Interpretationswerkzeuge ein:

• Konfidenzwerte (wie sicher ist sich das System?)
• Merkmalswichtigkeit (welche Faktoren haben diese Entscheidung bestimmt?)
• Kontrafaktische Erklärungen (was müsste sich für ein anderes Ergebnis ändern?)
• Vergleichsansichten (wie verhält sich dieser Fall zu ähnlichen Fällen?)

Lücke 2: Der Übersteuerungsmechanismus existiert, wird aber nicht genutzt

Problem: Nutzende können das System übersteuern, tun es in der Praxis aber fast nie (Automatisierungsbias).

Lösung: Setzen Sie entscheidungserzwingende Funktionen ein:

• Verlangen Sie, dass Nutzende Entscheidungen aktiv bestätigen (nicht bloß auf „Alle annehmen“ klicken)
• Wählen Sie verpflichtende manuelle Prüfungen zufällig aus
• Verfolgen Sie die Übersteuerungsquoten und gehen Sie zu niedrigen Werten nach
• Schulen Sie Nutzende darin, wann und wie sie übersteuern

Lücke 3: keine Abschaltmöglichkeit auf Systemebene

Problem: Einzelne Nutzende können Empfehlungen ablehnen, aber niemand kann das gesamte System stoppen, wenn es fehlerhaft zu arbeiten beginnt.

Lösung: Setzen Sie Human-in-Command-Kontrollen um:

• Benennen Sie eine systemverantwortliche Person mit Abschaltbefugnis
• Bauen Sie einen Not-Aus-Mechanismus (z. B. ein Admin-Dashboard mit der Schaltfläche „System deaktivieren“)
• Legen Sie automatische Abschaltauslöser fest (Genauigkeitsschwellen, Verzerrungsschwellen, Vorfallmeldungen)
• Dokumentieren Sie Eskalationsverfahren (wer wird benachrichtigt, wie schnell, was geschieht dann)

Lücke 4: Aufsichtsrollen sind nicht definiert

Problem: Es ist unklar, wer für die Aufsicht über das System zuständig ist, welche Qualifikationen erforderlich sind und was diese Personen tun sollen.

Lösung: Definieren Sie Aufsichtsrollen und -verantwortlichkeiten:

• Wer prüft Einzelentscheidungen? (z. B. Recruiting-Verantwortliche, Kreditsachbearbeitung)
• Wer überwacht die Leistung auf Systemebene? (z. B. Compliance-Leitung, ML-Engineering)
• Wer ist befugt, das System abzuschalten? (z. B. CTO, Leitung Compliance)
• Welche Qualifikationen sind erforderlich? (z. B. absolvierte Schulung, Fachkenntnis)
• Wie werden Aufsichtstätigkeiten protokolliert und geprüft?

Wie Artikel 14 mit anderen Artikeln zusammenhängt

Die Aufsichtsanforderungen des Artikels 14 greifen mit mehreren weiteren Pflichten ineinander:

• Artikel 9 (Risikomanagement): Die in Ihrer Risikobewertung nach Artikel 9 ermittelten Risiken bestimmen, welche Aufsichtsmaßnahmen nach Artikel 14 nötig sind.
• Artikel 13 (Transparenz): Die nach Artikel 14 umgesetzten Aufsichtsmaßnahmen müssen in Ihrer Betriebsanleitung nach Artikel 13 beschrieben werden.
• Artikel 26 (Pflichten der Betreiber von Hochrisiko-KI-Systemen): Betreiber müssen die menschliche Aufsicht natürlichen Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, und ihnen die nötige Unterstützung zukommen lassen (Artikel 26 Absatz 2) — was voraussetzt, dass Sie als Anbieter das System für wirksame Aufsicht ausgelegt haben.
• Artikel 86 (Recht auf Erläuterung der Entscheidungsfindung im Einzelfall): Eine Person, die von einer Entscheidung betroffen ist, die ein Betreiber auf Grundlage der Ausgabe eines Hochrisiko-KI-Systems nach Anhang III (mit Ausnahme der unter Nummer 2 aufgeführten) trifft und die rechtliche Wirkungen entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt, hat das Recht, vom Betreiber eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems und zu den wichtigsten Elementen der Entscheidung zu erhalten. Der Betreiber kann diese Erläuterung nur geben, wenn die Ausgabe Ihres Systems interpretierbar ist — ein weiterer Grund, Interpretationswerkzeuge einzubauen.

Worauf Aufsichtsbehörden achten werden

Wenn eine Marktüberwachungsbehörde Ihr Hochrisiko-KI-System prüft, sollten Sie mit Fragen wie diesen rechnen:

1. Zeigen Sie mir, wie Menschen dieses System beaufsichtigen. (Welche Abläufe, Werkzeuge und Kontrollen gibt es?)
2. Wie verstehen die Aufsichtspersonen, was das System tut? (Sind Erklärbarkeitsfunktionen eingebaut?)
3. Können die Aufsichtspersonen Systemausgaben übersteuern oder ablehnen? (Gibt es einen dokumentierten Übersteuerungsmechanismus?)
4. Wie verhindern Sie Automatisierungsbias? (Welche Schulungen, Warnhinweise oder entscheidungserzwingenden Funktionen gibt es?)
5. Wer kann das System bei Fehlfunktionen abschalten? (Gibt es eine benannte verantwortliche Person mit Abschaltbefugnis?)
6. Woher wissen Sie, dass die Aufsicht wirkt? (Werden Übersteuerungsquoten, Prüfzeiten und Vorfallmeldungen erfasst?)

Wenn Sie wirksame Aufsicht nicht mit Dokumenten und Protokollen belegen können, scheint das System Artikel 14 nicht zu erfüllen.

Zeitplan und Durchsetzung

Datum	Meilenstein
2. August 2025	Die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck und das Sanktionsregime gelten
2. August 2026	Die Transparenzpflichten des Artikels 50 gelten (nicht verschoben)
2. Dezember 2027	Die Pflichten des Artikels 14 gelten für Hochrisiko-KI-Systeme nach Anhang III
2. August 2028	Die Hochrisiko-Pflichten nach Anhang I gelten (KI in regulierten Produkten)

Wurde Ihr Hochrisiko-KI-System bereits vor dem Datum, ab dem die Pflichten für es gelten, in Verkehr gebracht oder in Betrieb genommen, erfassen es die Hochrisiko-Anforderungen nur, wenn sein Design ab diesem Datum erheblich verändert wird (Artikel 111 Absatz 2 in der durch den Digital Omnibus ersetzten Fassung). Ausgenommen sind Systeme, die bestimmungsgemäß von Behörden verwendet werden sollen: Ihre Anbieter und Betreiber müssen die Anforderungen bis zu einer gesonderten, in Artikel 111 Absatz 2 festgelegten Frist erfüllen, unabhängig davon, ob sich das Design ändert. Wenn Sie ein neues System bauen, gilt Artikel 14 ab der Entwurfsphase.

---

Dieser Artikel dient ausschließlich Informationszwecken und stellt keine Rechtsberatung dar. Wenden Sie sich für Fragen zu Ihrer konkreten Situation an eine qualifizierte Rechtsberatung.