So prüfen Sie die Einhaltung des EU-KI-Gesetzes bei europäischer KI-Software

Das EU-KI-Gesetz ist kein Produktzertifizierungssystem, bei dem ein Tool nach einer einmaligen Bewertung als "konform" eingestuft wird. Es handelt sich um einen branchenübergreifenden Rechtsrahmen, der branchenunabhängig gilt und Verpflichtungen auf der Grundlage der Funktionsweise und der Nutzung eines Systems festlegt – unabhängig von dessen Marketingbezeichnung oder Produktkategorie.

Rechtlich gesehen wird ein "KI-System" funktional definiert: Es handelt sich um ein maschinenbasiertes System, das dafür ausgelegt ist, mit unterschiedlichen Autonomiegraden zu arbeiten und aus Eingaben abzuleiten, wie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generiert werden können. Herkömmliche Software, die lediglich von Menschen vollständig festgelegte Regeln ausführt, fällt nicht unter diese Definition, nur weil sie Bewertungen vornimmt oder Automatisierungsaufgaben erfüllt. Entscheidend ist, wie das System tatsächlich funktioniert – die Marketingbezeichnung "KI-gestützt" ist für die Einstufung irrelevant.

Das Gesetz wird häufig anhand eines vierstufigen Risikomodells erläutert, obwohl diese Kategorien nicht alle in der Gesetzgebung enthaltenen Regulierungsrahmen vollständig widerspiegeln:

1. Inakzeptables Risiko – Praktiken, die gänzlich verboten sind, darunter bestimmte Formen der sozialen Bewertung und der biometrischen Kategorisierung auf der Grundlage besonders sensibler Merkmale.
2. Hohes Risiko – Insbesondere Systeme, die in bestimmten, in Anhang III, sowie KI-Systeme, die als Sicherheitskomponenten von Produkten dienen, die unter bestimmte EU-Produktvorschriften fallen. Für diese Systeme gelten die umfassendsten Dokumentations- und Konformitätsanforderungen.
3. Begrenztes Risiko – Bestimmte Systeme, wie beispielsweise Chatbots, unterliegen in erster Linie Transparenzpflichten gegenüber den Endnutzern. Auch Systeme zur Emotionserkennung können Transparenzanforderungen unterliegen, obwohl ihre Nutzung in bestimmten Kontexten, darunter am Arbeitsplatz und in Bildungseinrichtungen, generell untersagt ist.
4. Minimales Risiko – Die meisten alltäglichen KI-Anwendungen fallen in diese Kategorie, darunter viele interne Analysetools und Standard-SaaS-Automatisierungen. Sie unterliegen nicht den umfangreichen Anforderungen, die für risikoreiche Systeme gelten. Allgemeine Verpflichtungen wie Maßnahmen zur Förderung der KI-Kompetenz können für Anbieter und Betreiber jedoch weiterhin relevant sein.

Das Gesetz unterscheidet zudem zwischen verschiedenen Betreiberrollen mit unterschiedlichen Zuständigkeiten, darunter die Anbieter (das ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen auf den Markt bringt), das Bereitsteller (das ein KI-System im beruflichen Kontext einsetzt) sowie Importeure, Vertreiber und Bevollmächtigte. Ein Unternehmen kann gleichzeitig mehr als eine Rolle einnehmen – beispielsweise, wenn es eine KI-Funktion entwickelt und diese Funktion auch intern nutzt.

Wie kann ein Unternehmen feststellen, ob seine Software als "risikoreiche KI" einzustufen ist?

Die Einstufung als Hochrisikosystem hängt in erster Linie vom Verwendungszweck eines Systems und dem Kontext ab, in dem es eingesetzt wird – und nicht davon, ob es maschinelles Lernen nutzt oder ob der Begriff "KI" in der Produktbeschreibung vorkommt.

Grundsätzlich sind zwei verschiedene Fälle zu berücksichtigen. Erstens kann ein KI-System als hochriskant eingestuft werden, wenn es sich um eine Sicherheitskomponente eines Produkts handelt, das unter Anhang I, oder ob das KI-System selbst ein solches reguliertes Produkt ist. Zweitens sind bestimmte Verwendungszwecke aufgeführt in Anhang III kann zu einer Einstufung als Hochrisikogruppe führen.

Anhang III umfasst Bereiche wie biometrische Systeme, das Management kritischer Infrastrukturen, allgemeine und berufliche Bildung, Beschäftigung und Personalmanagement (einschließlich Einstellung, Beförderung und Kündigung), den Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen, einschließlich bestimmter Bonitätsprüfungen, Strafverfolgung, Migration und Grenzkontrolle sowie die Rechtspflege und demokratische Prozesse.

Ein in Anhang III aufgeführter Anwendungsfall gilt jedoch nicht automatisch unter allen Umständen als mit hohem Risiko behaftet. Unter bestimmten Voraussetzungen kann ein System von den Vorschriften ausgenommen werden, wenn es kein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen darstellt. Systeme, die eine Profilerstellung natürlicher Personen vornehmen, unterliegen in dieser Hinsicht strengeren Vorschriften.

Ein weit verbreiteter Irrtum ist, dass jedes B2B-SaaS-Produkt mit einer integrierten KI-Funktion automatisch ein hohes Risiko darstellt. Das ist nicht der Fall. Die Einstufung hängt von der spezifischen Funktion innerhalb des Produkts ab, nicht von der allgemeinen Produktkategorie. Ein CRM-System mit KI-basiertem Lead-Scoring ist beispielsweise nicht automatisch mit einem hohen Risiko verbunden – es sei denn, dieses Scoring wird in einem regulierten Kontext verwendet, um Entscheidungen zu treffen, die natürliche Personen betreffen.

Ein praktischer Klassifizierungsprozess könnte etwa so aussehen:

• Schritt 1 – Bewerten Sie die Funktion, nicht das Produkt. Ermitteln Sie die spezifische Funktion, die eine auf Inferenz basierende Aufgabe ausführt, und beschreiben Sie deren Ergebnis sowie die potenziellen Auswirkungen auf natürliche Personen.
• Schritt 2 – Überprüfen Sie beide risikoreichen Routen. Stellen Sie zunächst fest, ob das System unter die produktbezogenen Vorschriften in Anhang I fällt, und prüfen Sie anschließend, ob sein Verwendungszweck einer der in Anhang III aufgeführten Kategorien entspricht.
• Schritt 3 – Berücksichtigen Sie mögliche Ausnahmen. Bei Systemen, die unter Anhang III fallen, ist zu prüfen, ob die Voraussetzungen für eine Ausnahme von der Einstufung als System mit hohem Risiko gegeben sind.
• Schritt 4 – Dokumentieren Sie die Begründung. Eine schriftliche, datierte Selbsteinschätzung ist ein sinnvoller erster Schritt und bietet eine nachvollziehbare Grundlage für künftige Überprüfungen.
• Schritt 5 – Nach wesentlichen Änderungen erneut prüfen. Sollten sich der Verwendungszweck, die Funktionalität oder der Einsatzkontext des Systems wesentlich ändern, sollte dessen Einstufung überprüft werden.

Zu den praktischen Beispielen gehören ein SaaS-Analyse-Dashboard mit Prognosefunktion, das in der Regel nicht als hochriskant eingestuft würde; ein eingebettetes Modell für maschinelles Lernen, das zur Bewertung der Kreditwürdigkeit natürlicher Personen auf einer Fintech-Plattform verwendet wird und als hochriskant eingestuft werden kann; sowie bestimmte KI-Komponenten, die in industrieller Steuerungshardware zum Einsatz kommen, sofern sie relevante Sicherheitskomponenten im Sinne der in dem Gesetz genannten Produktsicherheitsvorschriften darstellen.

Welche Fristen gelten gemäß dem EU-KI-Gesetz für die Einhaltung der Vorschriften?

Die Verpflichtungen aus dem EU-KI-Gesetz treten schrittweise in Kraft. Der Zeitpunkt des Inkrafttretens hängt von der jeweiligen Anforderung und der Rolle des betreffenden Unternehmens ab. Seit Inkrafttreten des Gesetzes wurden zudem einige Übergangsfristen angepasst.

Die geltenden Fristen variieren zudem je nach Rolle des Betreibers. Anbieter unterliegen in der Regel umfassenderen Verpflichtungen, da sie für Bereiche wie technische Dokumentation, Konformität und Systemauslegung verantwortlich sind. Betreiber hingegen tragen betriebliche Verantwortlichkeiten wie die personelle Aufsicht und Überwachung, sofern diese für das betreffende System erforderlich sind. Importeure und Händler unterliegen eigenen Überprüfungs- und Informationspflichten.

Für Systeme und Modelle, die bereits vor Inkrafttreten der entsprechenden Anforderungen im Einsatz oder auf dem Markt waren, können besondere Übergangsbestimmungen gelten. Die Teams sollten daher prüfen, welche Vorschriften für ihre jeweiligen bestehenden Produkte gelten. Da der Rechtsrahmen durch Leitlinien und ergänzende Maßnahmen weiter präzisiert wird, sollten die aktuellen Fristen auch anhand des Amtsblatts der Europäischen Union oder des Portals zur Digitalstrategie der Europäischen Kommission überprüft werden.

Welche Unterlagen müssen Softwareanbieter zur Einhaltung des EU-KI-Gesetzes führen?

Die Dokumentationsanforderungen variieren erheblich je nach Risikoeinstufung des Systems und der Rolle der Organisation. Für Systeme mit hohem Risiko gelten die umfangreichsten Anforderungen. Bei Systemen, die in erster Linie Transparenzpflichten unterliegen, ist der Dokumentationsaufwand deutlich geringer.

Vorgaben für Anbieter von Hochrisikosystemen:

• Technische Unterlagen gemäß Anhang IV, wobei Bereiche wie Systemdesign, Verwendungszweck, relevante Daten und Leistungskennzahlen abgedeckt werden.
• Aufzeichnungen zum Risikomanagementsystem, wobei die identifizierten Risiken, die Maßnahmen zur Risikominderung und die Entscheidungen bezüglich des Restrisikos über den gesamten Lebenszyklus des Systems hinweg dokumentiert werden.
• Dokumentation zur Datenverwaltung, wobei Trainings-, Validierungs- und Testdaten für das System relevant sind.
• Bestimmungen zur menschlichen Aufsicht, in dem festgelegt wird, wie die zuständigen Personen das System angemessen überwachen und bei Bedarf eingreifen können.
• Nachweise im Zusammenhang mit der Konformitätsbewertung, einschließlich der Konformitätserklärung und, sofern erforderlich, der Einbeziehung einer benannten Stelle.

Zu den laufenden Anforderungen gehören:

• Überwachung nach dem Inverkehrbringen um die Leistung des Systems zu überwachen und nach der Bereitstellung mögliche Probleme zu erkennen.
• Aufzeichnungen über schwerwiegende Vorfälle, wo entsprechende Meldepflichten gelten.
• Änderungsprotokolle Dokumentation wesentlicher Änderungen am Modell, am System oder am Verwendungszweck.

Für Systeme, die Transparenzpflichten unterliegen:

• Hinweise zur Transparenz, beispielsweise wenn Nutzer darüber informiert werden müssen, dass sie mit einem KI-System interagieren.
• Je nach System können zusätzliche Anforderungen hinsichtlich der Kennzeichnung oder Erkennbarkeit von durch KI generierten oder manipulierten Inhalten gelten.

Für Software mit minimalem Risiko ist die in Anhang IV festgelegte vollständige technische Dokumentation in der Regel nicht erforderlich. Dennoch kann es sinnvoll sein, eine kurze interne Aufzeichnung über die Gründe für die Einstufung zu führen. Unternehmen sollten zudem prüfen, ob allgemeinere Anforderungen, wie beispielsweise Verpflichtungen im Bereich der KI-Kompetenz, für ihre Rolle gelten.

Anbieter von Allzweck-KI-Modellen unterliegen einer gesonderten Regulierungs- und Dokumentationspflicht.

Gilt das EU-KI-Gesetz auch für Softwareanbieter außerhalb der EU?

Das EU-KI-Gesetz hat zudem extraterritoriale Geltung. Ein Unternehmen muss keine rechtliche Präsenz in der EU haben, um in seinen Anwendungsbereich zu fallen. Zu den relevanten Auslösern können unter anderem das Inverkehrbringen eines KI-Systems oder -Modells auf dem EU-Markt, die Inbetriebnahme eines KI-Systems in der EU oder die Nutzung eines von einem System generierten Ergebnisses innerhalb der EU gehören.

Dies ist im Großen und Ganzen mit der extraterritorialen Logik der DSGVO vergleichbar, obwohl keines der beiden Regelwerke auf der Unionsbürgerschaft basiert. Entscheidend sind die in den jeweiligen Rechtsvorschriften festgelegten territorialen Anknüpfungspunkte.

Für SaaS-Anbieter aus den USA oder Großbritannien bedeutet dies, dass das Anbieten eines KI-Systems auf dem europäischen Markt dazu führen kann, dass das Unternehmen in den Anwendungsbereich des Gesetzes fällt, selbst wenn es keine Niederlassung vor Ort hat. Der genaue Umfang seiner Verpflichtungen hängt dann von der Art des Systems, seinem Verwendungszweck und der Rolle des Unternehmens ab.

Außerhalb der EU ansässige Anbieter müssen in der Regel einen Bevollmächtigter innerhalb der EU bevor ein KI-System mit hohem Risiko auf dem europäischen Markt in Verkehr gebracht wird. Bestimmte Anbieter von GPAI-Modellen mit Sitz außerhalb der EU unterliegen ebenfalls den Anforderungen hinsichtlich der Benennung eines Vertreters. Anbieter anderer Arten von Systemen unterliegen jedoch nicht automatisch einer allgemeinen Verpflichtung zur Benennung eines EU-Vertreters.

Unternehmen, die bereits eine Rahmenwerk zur Einhaltung der DSGVO – einschließlich dokumentierter Datenflüsse, klarer Zuständigkeiten und etablierter Governance-Prozesse – könnte einen strukturellen Vorteil bieten, da sich eine Reihe von organisatorischen Anforderungen überschneiden.

Welche Sanktionen drohen bei Nichteinhaltung des EU-KI-Gesetzes?

Die Sanktionen gemäß dem EU-KI-Gesetz sind je nach Schwere des Verstoßes gestaffelt. Bei den unten genannten Beträgen handelt es sich um gesetzliche Höchstbeträge, nicht um automatisch verhängte Geldbußen.

• Verstöße im Zusammenhang mit verbotenen KI-Praktiken kann zu Geldstrafen von bis zu 35 Millionen Euro oder 71 TP8T des weltweiten Jahresumsatzes.
• Sonstige Verstöße gegen die Verpflichtungen aus dem KI-Gesetz kann zu Geldstrafen von bis zu 15 Millionen Euro oder 3% des weltweiten Jahresumsatzes.
• Bereitstellung falscher, unvollständiger oder irreführender Informationen gegenüber den zuständigen Behörden kann zu Geldstrafen von bis zu 7,5 Millionen Euro oder 1% des weltweiten Jahresumsatzes.
• Behandlung von KMU: Für kleine und mittlere Unternehmen gilt in der Regel der niedrigere der beiden Beträge: entweder der Festbetrag oder der Prozentsatz des Jahresumsatzes. Für andere Unternehmen gilt in der Regel der höhere Betrag.

Die tatsächliche Sanktion hängt von der Art, dem Schweregrad, der Dauer und weiteren Umständen des jeweiligen Verstoßes ab. Anbieter von Allzweck-KI-Modellen unterliegen zudem einer gesonderten Durchsetzungs- und Sanktionsregelung.

Für kleinere SaaS-Anbieter bedeutet dies jedoch nicht, dass die Einhaltung von Vorschriften einfach ignoriert werden kann. Ein nachvollziehbarer Klassifizierungsprozess, klar dokumentierte Zuständigkeiten und geeignete Überwachungsverfahren können dazu beitragen, regulatorische Risiken frühzeitig zu erkennen und eine nachvollziehbare Dokumentation darüber zu liefern, wie Entscheidungen zur Einhaltung von Vorschriften getroffen wurden.

Wie Softwareteams die Einhaltung des EU-KI-Gesetzes strukturiert angehen können

Der sinnvollste erste Schritt für einen Softwareanbieter ist ein eine dokumentierte und datierte Selbsteinstufung seines KI-Systems – nicht sofort einen Zertifizierungsdienst eines Drittanbieters oder ein Abonnement für Compliance-Software zu erwerben. Sowohl der produktbezogene Weg zur Einstufung als „hohes Risiko“ als auch die Kategorien gemäß Anhang III sollten geprüft werden.

Schon ein kurzes internes Memo, in dem einzelne Produktmerkmale und Verwendungszwecke den entsprechenden regulatorischen Kategorien zugeordnet werden, kann eine klare und nachvollziehbare Grundlage für künftige Überprüfungen schaffen, wenn sich das Produkt oder die regulatorischen Vorgaben weiterentwickeln.

Klassifizierung, Dokumentation und die Nachverfolgung von Fristen sollten als eine wiederkehrender interner Prozess im Zusammenhang mit wesentlichen Produktänderungen und nicht als einmaliges Compliance-Projekt, das an einen bestimmten Termin gebunden ist. Wenn sich der Verwendungszweck, die Funktionalität oder der Einsatzkontext eines Systems wesentlich ändern, sollten die Teams neu bewerten, ob die bestehende Klassifizierung weiterhin gültig ist.

Häufig gestellte Fragen

Führt die Nutzung von Open-Source-KI-Modellen zu einer zusätzlichen Haftung im Rahmen des KI-Gesetzes?

Die Integration eines KI-Modells eines Drittanbieters oder eines Open-Source-KI-Modells in ein Produkt befreit ein Unternehmen nicht automatisch von seinen regulatorischen Verpflichtungen. Ein Unternehmen kann auch dann als Anbieter seines eigenen KI-Systems gelten, wenn das zugrunde liegende Modell eines Drittanbieters unverändert integriert wird.

Gleichzeitig enthält das KI-Gesetz spezifische Bestimmungen und in einigen Fällen Ausnahmeregelungen für frei lizenzierte und Open-Source-Systeme und -Modelle. Diese Ausnahmeregelungen gelten nicht uneingeschränkt, insbesondere im Zusammenhang mit bestimmten risikoreichen Systemen oder GPAI-Modellen mit systemischem Risiko. Anbieter sollten daher dokumentieren, welche Komponenten von Dritten stammen, und ihre eigene Rolle innerhalb der KI-Wertschöpfungskette bestimmen.

Wird ein Chatbot automatisch als „begrenztes Risiko“ eingestuft?

Viele Chatbots unterliegen in erster Linie Transparenzanforderungen und müssen beispielsweise die Nutzer darüber informieren, dass sie mit einem KI-System interagieren.

Wird ein Chatbot jedoch dazu eingesetzt, Entscheidungen in einem risikoreichen Kontext zu treffen – beispielsweise bei der Beurteilung von Bewerbern oder der Festlegung des Zugangs zu bestimmten öffentlichen oder privaten Dienstleistungen –, kann die zugrunde liegende Funktion selbst als risikoreich eingestuft werden. Entscheidend ist daher nicht die Chat-Oberfläche, sondern der tatsächliche Verwendungszweck des Systems.

Kann ein Unternehmen ein KI-System mit hohem Risiko ohne externe Prüfung selbst zertifizieren?

Für verschiedene Anwendungsfälle mit hohem Risiko ist eine interne Konformitätsbewertung möglich. In bestimmten Situationen – insbesondere bei bestimmten biometrischen Systemen oder Systemen, die mit regulierten Produkten in Verbindung stehen – können jedoch andere Konformitätsbewertungsverfahren oder die Einbeziehung einer benannten Stelle erforderlich sein.

Das anzuwendende Verfahren hängt daher vom jeweiligen System und dem entsprechenden Zulassungsverfahren ab.

Inwiefern steht das EU-KI-Gesetz im Zusammenhang mit der Norm ISO 42001 oder dem NIST AI RMF?

ISO 42001 und das NIST-Rahmenwerk für das Risikomanagement im Bereich der künstlichen Intelligenz sind freiwillige Rahmenwerke für das Management und das Risikomanagement, während das EU-KI-Gesetz eine verbindliche Rechtsvorschrift mit durchsetzbaren Verpflichtungen und Sanktionen darstellt.

Unternehmen, die bereits solche Managementsysteme eingeführt haben, werden häufig erhebliche Überschneidungen in Bereichen wie Risikomanagement, Governance und Dokumentation feststellen. Dies kann den zusätzlichen Aufwand für die Einhaltung des KI-Gesetzes verringern, ersetzt jedoch nicht die Prüfung der konkreten rechtlichen Anforderungen.