Der AI-Act kommt – diese Risikoklassen sollte man kennen

2021 hat die Europäische Kommission einen Gesetzesvorschlag zur Regulierung künstlicher Intelligenz eingereicht. Dieser so genannte AI-Act hat in diesem Mai weitere wichtige Gremien durchlaufen, womit die Verabschiedung des Gesetzesentwurfs unausweichlich näher rückt. Eine Besonderheit des geplanten Gesetzes ist das so genannte Marktortprinzip: Demzufolge werden weltweit Unternehmen von dem AI-Act betroffen sein, die künstliche Intelligenz auf dem europäischen Markt anbieten, betreiben oder deren KI-generierter Output innerhalb der EU genutzt wird.

Als künstliche Intelligenz gelten dabei maschinenbasierte Systeme, die autonom Prognosen, Empfehlungen oder Entscheidungen treffen und damit die physische und virtuelle Umwelt beeinflussen können. Das betrifft beispielsweise KI-Lösungen, die den Recruiting-Prozess unterstützen, Predictive-Maintenance-Lösungen und Chatbots wie ChatGPT. Dabei unterscheiden sich die rechtlichen Auflagen, die unterschiedliche KI-Systeme erfüllen müssen, stark – abhängig von einer Einstufung in Risikoklassen.

Die Risikoklasse bestimmt die rechtlichen Auflagen

Der risikobasierte Ansatz der EU umfasst insgesamt vier Risikoklassen: niedriges, begrenztes, hohes und inakzeptables Risiko. Diese Klassen spiegeln wider, inwiefern eine künstliche Intelligenz europäische Werte und Grundrechte gefährdet. Wie die Bezeichnungen der Risikoklassen bereits andeuten, sind nicht alle KI-Systeme zulässig. KI-Systeme, die der Kategorie „inakzeptables Risiko“ angehören, sollen gemäß des AI-Acts verboten werden. Für die übrigen drei Risikoklassen gilt: Je höher das Risiko, desto umfangreicher und strikter sind die rechtlichen Anforderungen an das KI-System. Welche KI-Systeme in welche Risikoklasse fallen und welche Auflagen damit verbunden sind, erläutern wir im Folgenden. Dabei beziehen sich die Informationen auf den gemeinsamen Bericht des IMCO[1] und des LIBE[2] vom Mai 2023. Das Dokument stellt zum Zeitpunkt der Veröffentlichung den aktuellen Stand des AI-Act dar.

Verbot für Social Scoring und biometrische Fernidentifikation

Einige KI-Systeme bergen ein erhebliches Potenzial zur Verletzung der Menschenrechte und Grundprinzipien, weshalb sie der Kategorie „inakzeptables Risiko” zugeordnet werden. Zu diesen gehören:

Echtzeit-basierte biometrische Fernidentifikationssysteme in öffentlich zugänglichen Räumen;
Biometrische Fernidentifikationssysteme im Nachhinein, mit Ausnahme von Strafverfolgungsbehörden zur Verfolgung schwerer Straftaten und ausschließlich mit richterlicher Genehmigung;
Biometrische Kategorisierungssysteme, die sensible Merkmale wie Geschlecht, ethnische Zugehörigkeit oder Religion verwenden;
Vorausschauende Polizeiarbeit auf Basis von so genanntem „Profiling“ – also einer Profilerstellung unter Einbezug von Hautfarbe, vermuteten Religionszugehörigkeit und ähnlich sensiblen Merkmalen –, dem geografischen Standort oder vorhergehenden kriminellen Verhalten;
Systeme zur Emotionserkennung im Bereich der Strafverfolgung, Grenzkontrolle, am Arbeitsplatz und in Bildungseinrichtungen;
Beliebige Extraktion von biometrischen Daten aus sozialen Medien oder Videoüberwachungsaufnahmen zur Erstellung von Datenbanken zur Gesichtserkennung;
Social Scoring, das zu Benachteiligung in sozialen Kontexten führt;
KI, die die Schwachstellen einer bestimmten Personengruppe ausnutzt oder unbewusste Techniken einsetzt, die zu Verhaltensweisen führen können, die physischen oder psychischen Schaden verursachen.

Diese KI-Systeme sollen im Rahmen des AI-Acts auf dem europäischen Markt verboten werden. Unternehmen, deren KI-Systeme in diese Risikoklasse fallen könnten, sollten sich dringend mit den bevorstehenden Anforderungen auseinandersetzen und Handlungsoptionen ausloten.

Zahlreiche Auflagen für KI mit Risiko für Gesundheit, Sicherheit oder Grundrechte

In die Kategorie des hohen Risikos fallen alle KI-Systeme, die nicht explizit verboten sind, aber dennoch ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen. Folgende Anwendungs- und Einsatzgebiete werden dabei explizit im vorliegenden Gesetzesvorschlag benannt:

Biometrische und biometrisch gestützte Systeme, die nicht in die Risikoklasse „inakzeptables Risiko“ fallen;
Management und Betrieb kritischer Infrastruktur;
allgemeine und berufliche Bildung;
Zugang und Anspruch auf grundlegende private und öffentliche Dienste und Leistungen;
Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit;
Strafverfolgung;
Migration, Asyl und Grenzkontrolle;
Rechtspflege und demokratische Prozesse

Für diese KI-Systeme sind umfassende rechtliche Auflagen vorgesehen, die vor der Inbetriebnahme umgesetzt und während des gesamten KI-Lebenszyklus beachtet werden müssen:

Qualitäts- und Risikomanagement
Data-Governance-Strukturen
Qualitätsanforderungen an Trainings-, Test- und Validierungsdaten
Technische Dokumentationen und Aufzeichnungspflicht
Erfüllung der Transparenz- und Bereitstellungspflichten
Menschliche Aufsicht, Robustheit, Sicherheit und Genauigkeit
Konformitäts-Deklaration inkl. CE-Kennzeichnungspflicht
Registrierung in einer EU-weiten Datenbank

KI-Systeme, die in einem der oben genannten Bereiche eingesetzt werden, aber keine Gefahr für Gesundheit, Sicherheit, Umwelt und Grundrechte darstellen, unterliegen nicht den rechtlichen Anforderungen. Jedoch gilt es dies nachzuweisen, in dem die zuständige nationale Behörde über das KI-System informiert wird. Diese hat dann drei Monate Zeit, die Risiken des KI-Systems zu prüfen. Innerhalb dieser drei Monate kann die KI bereits in Betrieb genommen werden. Sollte sich jedoch zeigen, dass die doch als Hochrisiko-KI gilt, können hohe Strafzahlungen anfallen.

Eine Sonderregelung gilt außerdem für KI-Produkte und KI-Sicherheitskomponenten von Produkten, deren Konformität auf Grundlage von EU-Rechtsvorschriften bereits durch Dritte geprüft wird. Dies ist beispielsweise bei KI in Spielzeugen der Fall. Um eine Überregulierung sowie zusätzliche Belastung zu vermeiden, werden diese vom AI-Act nicht direkt betroffen sein.

KI mit limitiertem Risiko muss Transparenzpflichten erfüllen

KI, die direkt mit Menschen interagieren fallen in die Risikoklasse „limitiertes Risiko“. Dazu zählen Emotionserkennungssysteme, biometrische Kategorisierungssysteme sowie KI-generierte oder veränderte Inhalte, welche realen Personen, Gegenständen, Orten oder Ereignissen ähnelt und fälschlicherweise für real gehalten werden könnte („Deepfakes“). Für diese Systeme sieht der Gesetzesentwurf die Verpflichtung vor, Verbraucher:innen über den Einsatz künstlicher Intelligenz zu informieren. Dadurch soll es Konsument:innen erleichtert werden, sich aktiv für oder gegen die Nutzung zu entscheiden. Außerdem wird ein Verhaltenskodex empfohlen.

Keine rechtlichen Auflagen für KI mit geringem Risiko

Viele KI-Systeme wie beispielsweise Predictive-Maintenance oder Spamfilter fallen in die Risikoklasse „geringes Risiko“. Unternehmen, welche ausschließlich solche KI-Lösungen anbieten oder nutzen, werden kaum vom AI-Act betroffen sein, denn bisher sind für solche Anwendungen keine rechtlichen Auflagen vorgesehen. Lediglich ein Verhaltenskodex wird empfohlen.

Generative KI wie ChatGPT wird gesondert geregelt

Generative KI-Modelle und Basismodelle mit vielfältigen Einsatzmöglichkeiten wurden in dem ursprünglich eingereichten Entwurf für den AI-Act nicht berücksichtigt. Daher werden die Regulierungsmöglichkeiten solcher KI-Modelle seit dem Launch von ChatGPT durch openAI besonders intensiv diskutiert. Der aktuelle Entwurf der beiden Ausschüsse schlägt umfassende Auflagen für KI-Modelle mit allgemeinem Verwendungszweck vor:

Qualitäts- und Risikomanagement
Data-Governance-Strukturen
Technische Dokumentationen
Erfüllung der Transparenz- und Informationspflichten
Sicherstellung der Performance, Interpretierbarkeit, Korrigierbarkeit, Sicherheit, Cybersecurity
Einhaltung von Umweltstandards
Zusammenarbeit mit nachgeschalteten Anbietern
Registrierung in einer EU-weiten Datenbank

Unternehmen können sich schon jetzt auf den AI-Act vorbereiten

Ob die vorgestellten rechtlichen Auflagen schlussendlich in dieser Art verabschiedet werden, gilt es abzuwarten. Dennoch zeichnet sich deutlich ab, dass der risikobasierte Ansatz zur Regulierung von künstlicher Intelligenz auf breite Zustimmung innerhalb der EU-Institutionen stößt. Somit ist die Wahrscheinlichkeit hoch, dass der AI-Act mit den definierten Risikoklassen verabschiedet wird.

Nach der offiziellen Verabschiedung des Gesetzesvorschlags, beginnt die zweijährige Übergangsphase für Unternehmen. In dieser gilt es, KI-Systeme und damit verbundene Prozesse gesetzeskonform zu gestalten. Da bei Nicht-Konformität Bußgelder bis zu 40.000.000 € möglich sind, empfehlen wir Unternehmen, frühzeitig die Anforderungen des AI-Acts an das eigene Unternehmen zu evaluieren.

Ein erster Schritt dafür ist die Einschätzung der Risikoklasse eines jeden KI-Systems. Falls Sie auf Basis der oben genannten Beispiele noch nicht sicher sind, in welche Risikoklassen Ihre KI-System fallen, empfehlen wir unseren kostenfreien AI Act Quick Check. Er unterstützt Sie dabei, die Risikoklasse abzuschätzen.

[1] Ausschusses für Binnenmarkt und Verbraucherschutz : https://www.europarl.europa.eu/committees/de/imco/home/members

[2] Ausschusses für bürgerliche Freiheiten, Justiz und Inneres: https://www.europarl.europa.eu/committees/de/libe/home/highlights