So prüfst du europäische KI-Software auf Compliance mit dem EU AI Act

Der EU AI Act ist kein Zertifizierungssystem, das einem Produkt nach einer einmaligen Prüfung dauerhaft das Etikett „konform“ verleiht. Er ist ein branchenübergreifender Rechtsrahmen, der Pflichten danach festlegt, was ein System tut und wie es eingesetzt wird – unabhängig von Marketingbezeichnung oder Produktkategorie.

Rechtlich wird ein „KI-System“ anhand seiner Funktionsweise definiert: Es ist ein maschinengestütztes System, das für einen Betrieb mit unterschiedlichem Grad an Autonomie ausgelegt ist und aus Eingaben ableitet, wie es Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt. Herkömmliche Software, die lediglich vollständig von Menschen festgelegte Regeln ausführt, fällt nicht allein deshalb unter diese Definition, weil sie Bewertungen oder Automatisierungen vornimmt. Entscheidend ist die tatsächliche Funktionsweise – die Marketingbezeichnung „KI-gestützt“ spielt für die Einstufung keine Rolle.

Der EU AI Act wird häufig anhand eines vierstufigen Risikomodells erklärt. Diese Kategorien bilden allerdings nicht jede in der Verordnung enthaltene Regelung vollständig ab:

1. Inakzeptables Risiko – vollständig verbotene Praktiken, darunter bestimmte Formen des Social Scoring und der biometrischen Kategorisierung anhand besonders sensibler Merkmale.
2. Hohes Risiko – insbesondere Systeme für bestimmte Einsatzbereiche nach Anhang III, außerdem KI-Systeme, die als Sicherheitskomponenten von Produkten unter bestimmten EU-Produktvorschriften dienen. Für diese Systeme gelten die umfangreichsten Dokumentations- und Konformitätsanforderungen.
3. Begrenztes Risiko – bestimmte Systeme wie Chatbots unterliegen vor allem Transparenzpflichten gegenüber Endnutzern. Auch für Systeme zur Emotionserkennung können Transparenzanforderungen gelten, wobei ihr Einsatz in bestimmten Bereichen – darunter Arbeitsplatz und Bildungseinrichtungen – grundsätzlich verboten ist.
4. Minimales Risiko – die meisten alltäglichen KI-Anwendungen fallen in diese Kategorie, darunter viele interne Analysetools und übliche SaaS-Automatisierungen. Die umfangreichen Anforderungen für Hochrisikosysteme gelten für sie nicht. Allgemeine Pflichten, etwa Maßnahmen zur KI-Kompetenz, können für Anbieter und Betreiber trotzdem relevant sein.

Die Verordnung unterscheidet außerdem mehrere Akteursrollen mit jeweils eigenen Verantwortlichkeiten, darunter den Anbieter (der ein KI-System entwickelt oder entwickeln lässt und unter eigenem Namen in Verkehr bringt), den Betreiber (der ein KI-System beruflich einsetzt) sowie Importeure, Händler und Bevollmächtigte. Ein Unternehmen kann mehrere Rollen gleichzeitig einnehmen – beispielsweise wenn es eine KI-Funktion entwickelt und diese zugleich intern nutzt.

Wie stellt ein Unternehmen fest, ob seine Software als Hochrisiko-KI gilt?

Ob ein System als Hochrisikosystem eingestuft wird, hängt vor allem von seinem vorgesehenen Verwendungszweck und dem Einsatzkontext ab – nicht davon, ob es maschinelles Lernen nutzt oder der Begriff „KI“ in der Produktbeschreibung steht.

Grundsätzlich sind zwei getrennte Wege zu prüfen. Erstens kann ein KI-System als Hochrisikosystem gelten, wenn es Sicherheitskomponente eines Produkts ist, für das EU-Produktvorschriften aus folgendem Anhang gelten: Anhang I. Gleiches gilt, wenn das KI-System selbst ein solches reguliertes Produkt ist. Zweitens können bestimmte Verwendungszwecke zur Hochrisiko-Einstufung führen, wenn sie in folgendem Anhang aufgeführt sind: Anhang III .

Anhang III umfasst unter anderem biometrische Systeme, die Verwaltung kritischer Infrastruktur, allgemeine und berufliche Bildung, Beschäftigung und Personalmanagement – einschließlich Einstellung, Beförderung und Kündigung –, den Zugang zu wesentlichen privaten und öffentlichen Diensten einschließlich bestimmter Bonitätsprüfungen, Strafverfolgung, Migration und Grenzkontrolle sowie Rechtspflege und demokratische Prozesse.

Ein in Anhang III genannter Anwendungsfall gilt jedoch nicht automatisch unter allen Umständen als hochriskant. Unter bestimmten Voraussetzungen kann eine Ausnahme greifen, wenn das System kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen darstellt. Für Systeme, die Profile natürlicher Personen erstellen, gelten dabei strengere Regeln.

Ein verbreiteter Irrtum lautet, jedes B2B-SaaS-Produkt mit integrierter KI-Funktion sei automatisch hochriskant. Das stimmt nicht. Entscheidend ist die konkrete Funktion innerhalb des Produkts, nicht die übergeordnete Produktkategorie. Ein CRM mit KI-basiertem Lead-Scoring ist beispielsweise nicht automatisch ein Hochrisikosystem – außer dieses Scoring wird in einem regulierten Kontext für Entscheidungen über natürliche Personen eingesetzt.

Ein praktischer Einstufungsprozess kann so aussehen:

• Schritt 1 – Prüfe die Funktion, nicht das gesamte Produkt. Bestimme die konkrete Funktion, die eine inferenzbasierte Aufgabe erfüllt, und beschreibe ihr Ergebnis sowie die möglichen Auswirkungen auf natürliche Personen.
• Schritt 2 – Prüfe beide Wege zur Hochrisiko-Einstufung. Kläre zuerst, ob das System unter die produktbezogenen Regeln in Anhang I fällt. Prüfe anschließend, ob sein Verwendungszweck einer Kategorie in Anhang III entspricht.
• Schritt 3 – Berücksichtige mögliche Ausnahmen. Prüfe bei Systemen nach Anhang III, ob die Voraussetzungen für eine Ausnahme von der Hochrisiko-Einstufung erfüllt sein könnten.
• Schritt 4 – Dokumentiere deine Begründung. Eine schriftliche, datierte Selbsteinschätzung ist ein sinnvoller erster Schritt und schafft eine nachvollziehbare Grundlage für spätere Prüfungen.
• Schritt 5 – Prüfe nach wesentlichen Änderungen erneut. Ändern sich Verwendungszweck, Funktionsweise oder Einsatzkontext des Systems wesentlich, solltest du seine Einstufung erneut prüfen.

Praktische Beispiele sind ein SaaS-Analyse-Dashboard mit Prognosefunktion, das normalerweise nicht als hochriskant gilt, ein eingebettetes Machine-Learning-Modell zur Bewertung der Kreditwürdigkeit natürlicher Personen auf einer Fintech-Plattform, das hochriskant sein kann, sowie bestimmte KI-Komponenten in industrieller Steuerungshardware – sofern sie relevante Sicherheitskomponenten im Sinne der Produktsicherheitsvorschriften sind, auf die der EU AI Act verweist.

Welche Compliance-Fristen gelten nach dem EU AI Act?

Die Pflichten des EU AI Act treten schrittweise in Kraft. Welcher Termin gilt, hängt von der konkreten Anforderung und der Rolle des betroffenen Unternehmens ab. Seit dem Inkrafttreten der Verordnung wurden außerdem einzelne Übergangsfristen angepasst.

Die geltenden Fristen unterscheiden sich außerdem je nach Akteursrolle. Anbieter tragen meist umfangreichere Pflichten, weil sie unter anderem für technische Dokumentation, Konformität und Systemdesign verantwortlich sind. Betreiber haben dagegen operative Aufgaben wie menschliche Aufsicht und Monitoring, sofern diese für das betreffende System vorgeschrieben sind. Für Importeure und Händler gelten eigene Prüf- und Informationspflichten.

Für Systeme und Modelle, die bereits vor Geltungsbeginn der jeweiligen Anforderungen eingesetzt oder in Verkehr gebracht wurden, können besondere Übergangsbestimmungen gelten. Teams sollten deshalb prüfen, welche Regeln auf ihre bestehenden Produkte zutreffen. Da Leitlinien und ergänzende Maßnahmen den Rechtsrahmen weiter konkretisieren, solltest du aktuelle Fristen zusätzlich im Amtsblatt der Europäischen Union oder auf dem Digital-Strategy-Portal der Europäischen Kommission prüfen.

Welche Dokumentation müssen Softwareanbieter für die Compliance mit dem EU AI Act führen?

Der Dokumentationsumfang hängt stark von der Risikoeinstufung des Systems und der Rolle der Organisation ab. Für Hochrisikosysteme gelten die umfangreichsten Anforderungen. Unterliegt ein System hauptsächlich Transparenzpflichten, fällt der Dokumentationsaufwand deutlich geringer aus.

Erforderlich für Anbieter von Hochrisikosystemen:

• Technische Dokumentation nach Anhang IV: Sie umfasst Bereiche wie Systemdesign, Verwendungszweck, relevante Daten und Leistungskennzahlen.
• Aufzeichnungen zum Risikomanagementsystem, die erkannte Risiken, Minderungsmaßnahmen und Entscheidungen zum Restrisiko über den gesamten Lebenszyklus des Systems dokumentieren.
• Dokumentation zur Daten-Governance, sofern Trainings-, Validierungs- und Testdaten für das System relevant sind.
• Vorkehrungen für die menschliche Aufsicht, die festlegen, wie verantwortliche Personen das System angemessen überwachen und bei Bedarf eingreifen können.
• Nachweise zur Konformitätsbewertung, einschließlich der Konformitätserklärung und – falls erforderlich – der Beteiligung einer benannten Stelle.

Zu den laufenden Anforderungen gehören:

• Überwachung nach dem Inverkehrbringen zur Kontrolle der Systemleistung und zur Erkennung möglicher Probleme nach der Bereitstellung.
• Aufzeichnungen über schwerwiegende Vorfälle, sofern entsprechende Meldepflichten gelten.
• Änderungsprotokolle zur Dokumentation wesentlicher Änderungen am Modell, am System oder am vorgesehenen Verwendungszweck.

Für Systeme mit Transparenzpflichten:

• Transparenzhinweise, etwa wenn Nutzer darüber informiert werden müssen, dass sie mit einem KI-System interagieren.
• Je nach System können zusätzliche Vorgaben zur Kennzeichnung oder Erkennbarkeit KI-generierter beziehungsweise manipulierter Inhalte gelten.

Software mit minimalem Risiko benötigt normalerweise nicht die vollständige technische Dokumentation nach Anhang IV. Eine kurze interne Aufzeichnung der Einstufungsgründe kann trotzdem sinnvoll sein. Unternehmen sollten außerdem prüfen, ob allgemeinere Anforderungen wie die Pflichten zur KI-Kompetenz für ihre Rolle gelten.

Für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gilt ein eigener Regulierungs- und Dokumentationsrahmen.

Gilt der EU AI Act auch für Softwareanbieter außerhalb der EU?

Der EU AI Act gilt auch extraterritorial. Ein Unternehmen benötigt keine rechtliche Präsenz in der EU, um in seinen Anwendungsbereich zu fallen. Mögliche Anknüpfungspunkte sind das Inverkehrbringen eines KI-Systems oder -Modells auf dem EU-Markt, die Inbetriebnahme eines KI-Systems in der EU oder die Verwendung eines vom System erzeugten Ergebnisses innerhalb der EU.

Das ähnelt grundsätzlich der extraterritorialen Logik der DSGVO, wobei keine der beiden Regelungen an die EU-Staatsbürgerschaft anknüpft. Entscheidend sind die territorialen Bezugspunkte, die das jeweilige Gesetz festlegt.

Für SaaS-Anbieter aus den USA oder dem Vereinigten Königreich bedeutet das: Wer ein KI-System auf dem europäischen Markt anbietet, kann auch ohne Niederlassung vor Ort unter den EU AI Act fallen. Der genaue Umfang der Pflichten hängt anschließend von Systemtyp, Verwendungszweck und Rolle des Unternehmens ab.

Anbieter mit Sitz außerhalb der EU müssen grundsätzlich einen Bevollmächtigten in der EU benennen, bevor sie ein Hochrisiko-KI-System auf dem europäischen Markt bereitstellen. Auch für bestimmte Anbieter von GPAI-Modellen außerhalb der EU gelten Vertreterpflichten. Anbieter anderer Systemarten müssen dagegen nicht automatisch einen EU-Bevollmächtigten bestellen.

Unternehmen, die bereits ein DSGVO-Compliance-Framework mit dokumentierten Datenflüssen, klaren Zuständigkeiten und etablierten Governance-Prozessen aufgebaut haben, können strukturell im Vorteil sein, weil sich mehrere organisatorische Anforderungen überschneiden.

Welche Sanktionen drohen bei Verstößen gegen den EU AI Act?

Die Sanktionen des EU AI Act sind nach der Schwere des Verstoßes gestaffelt. Die folgenden Beträge sind gesetzliche Höchstgrenzen und keine automatisch verhängten Geldbußen.

• Verstöße gegen verbotene KI-Praktiken können mit Geldbußen geahndet werden, und zwar bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes.
• Sonstige Verstöße gegen Pflichten aus dem EU AI Act können mit Geldbußen geahndet werden, und zwar bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes.
• Falsche, unvollständige oder irreführende Angaben gegenüber zuständigen Behörden können mit Geldbußen geahndet werden, und zwar bis zu 7,5 Millionen Euro oder 1 % des weltweiten Jahresumsatzes.
• Regelung für KMU: Für kleine und mittlere Unternehmen gilt als Höchstgrenze grundsätzlich der niedrigere Wert aus Festbetrag und Prozentsatz des Jahresumsatzes. Bei anderen Unternehmen ist normalerweise der höhere Wert maßgeblich.

Die tatsächliche Sanktion hängt von Art, Schwere, Dauer und weiteren Umständen des konkreten Verstoßes ab. Für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gilt außerdem ein eigener Durchsetzungs- und Sanktionsrahmen.

Kleinere SaaS-Anbieter dürfen Compliance deshalb trotzdem nicht einfach ignorieren. Ein nachvollziehbarer Einstufungsprozess, klar dokumentierte Zuständigkeiten und geeignete Monitoring-Verfahren helfen, regulatorische Risiken früh zu erkennen und belastbar festzuhalten, wie Compliance-Entscheidungen zustande kamen.

So gehen Softwareteams die Compliance mit dem EU AI Act strukturiert an

Der sinnvollste erste Schritt für einen Softwareanbieter ist eine dokumentierte und datierte Selbsteinstufung seines KI-Systems – und nicht der sofortige Kauf einer externen Zertifizierung oder eines Compliance-Software-Abonnements. Prüfe sowohl den produktbezogenen Weg zur Hochrisiko-Einstufung als auch die Kategorien aus Anhang III.

Schon ein kurzes internes Memo, das einzelne Produktfunktionen und Verwendungszwecke den relevanten regulatorischen Kategorien zuordnet, schafft eine klare und nachvollziehbare Grundlage für spätere Prüfungen – auch wenn sich Produkt oder regulatorische Leitlinien weiterentwickeln.

Einstufung, Dokumentation und Fristenkontrolle sollten als wiederkehrender interner Prozess behandelt werden, der an wesentliche Produktänderungen gekoppelt ist – nicht als einmaliges Compliance-Projekt für einen einzelnen Stichtag. Ändern sich Verwendungszweck, Funktionsweise oder Einsatzkontext eines Systems erheblich, sollte das Team prüfen, ob die bisherige Einstufung weiterhin gilt.

Häufig gestellte Fragen

Führt der Einsatz von Open-Source-KI-Modellen zu zusätzlicher Haftung nach dem EU AI Act?

Wer ein KI-Modell eines Drittanbieters oder ein Open-Source-Modell in ein Produkt integriert, ist nicht automatisch von regulatorischen Pflichten befreit. Ein Unternehmen kann weiterhin als Anbieter seines eigenen KI-Systems gelten, selbst wenn es das zugrunde liegende Drittanbietermodell unverändert einbindet.

Gleichzeitig enthält der EU AI Act besondere Regelungen und teilweise Ausnahmen für frei lizenzierte Open-Source-Systeme und -Modelle. Diese Ausnahmen gelten nicht uneingeschränkt – insbesondere nicht für bestimmte Hochrisikosysteme oder GPAI-Modelle mit systemischem Risiko. Anbieter sollten deshalb dokumentieren, welche Komponenten von Dritten stammen, und ihre eigene Rolle in der KI-Wertschöpfungskette bestimmen.

Wird ein Chatbot automatisch als System mit begrenztem Risiko eingestuft?

Viele Chatbots unterliegen hauptsächlich Transparenzpflichten und müssen Nutzer beispielsweise darauf hinweisen, dass sie mit einem KI-System interagieren.

Trifft ein Chatbot jedoch Entscheidungen in einem Hochrisiko-Kontext – etwa bei der Bewertung von Bewerbern oder beim Zugang zu bestimmten öffentlichen oder privaten Diensten –, kann die zugrunde liegende Funktion selbst als hochriskant gelten. Entscheidend ist also nicht die Chatoberfläche, sondern der tatsächliche Verwendungszweck des Systems.

Kann ein Unternehmen ein Hochrisiko-KI-System ohne externes Audit selbst zertifizieren?

Für verschiedene Hochrisiko-Anwendungsfälle ist eine interne Konformitätsbewertung möglich. In bestimmten Situationen – besonders bei einzelnen biometrischen Systemen oder Systemen in Verbindung mit regulierten Produkten – können jedoch andere Bewertungsverfahren oder die Beteiligung einer benannten Stelle erforderlich sein.

Welches Verfahren gilt, hängt daher vom konkreten System und dem einschlägigen regulatorischen Weg ab.

Wie verhält sich der EU AI Act zu ISO 42001 und dem NIST AI RMF?

ISO 42001 und das NIST AI Risk Management Framework sind freiwillige Management- und Risikomanagement-Rahmenwerke. Der EU AI Act ist dagegen verbindliches Recht mit durchsetzbaren Pflichten und Sanktionen.

Organisationen, die solche Managementsysteme bereits eingeführt haben, finden häufig deutliche Überschneidungen bei Risikomanagement, Governance und Dokumentation. Das kann den zusätzlichen Aufwand für die Compliance mit dem EU AI Act verringern, ersetzt aber nicht die Prüfung der konkreten gesetzlichen Anforderungen.