Der AI-Act ist da – diese Risikoklassen sollte man kennen

Artificial Intelligence
Human-centered AI
Strategy

05. August 2024

Fabian Müller

COO

Anfang August trat der AI Act der Europäischen Union in Kraft. Die Verordnung zielt darauf ab, einen einheitlichen Rechtsrahmen zu schaffen, der die Entwicklung und den Einsatz von KI-Technologien in der EU regelt. Das weltweit erste umfassende KI-Gesetz soll sicherstellen, dass KI-Systeme in der EU sicher eingesetzt, und Risiken minimiert werden. Damit kommen weitreichende Verpflichtungen für Unternehmen, die hochrisiko KI-Systeme entwickeln und betreiben. Wir haben das Wichtigste zum AI Act zusammengetragen.

Gesetzgebung mit globalem Impact

Eine Besonderheit des Gesetzes ist das so genannte Marktortprinzip: Demzufolge sind unabhängig von ihrem eigenen Standort alle Unternehmen von dem AI-Act betroffen, die künstliche Intelligenz auf dem europäischen Markt anbieten, betreiben oder deren KI-generierter Output innerhalb der EU genutzt wird.

Als künstliche Intelligenz gelten dabei maschinenbasierte Systeme, die autonom Prognosen, Empfehlungen oder Entscheidungen treffen und damit die physische und virtuelle Umwelt beeinflussen können. Das betrifft beispielsweise KI-Lösungen, die den Recruiting-Prozess unterstützen, Predictive-Maintenance-Lösungen und Chatbots wie ChatGPT. Dabei unterscheiden sich die rechtlichen Auflagen, die unterschiedliche KI-Systeme erfüllen müssen, stark – abhängig von ihrer Einstufung in Risikoklassen.

Von der Regulierung ausgeschlossen sind KI-Systeme, die für die Forschung oder das Militär entwickelt werden, als Open-Source-Systeme zur Verfügung stehen oder von Behörden in der Strafverfolgung oder Justiz verwendet werden. Zusätzlich ist die Nutzung von KI-Systemen zu rein privaten Zwecken vom Gesetz ausgenommen.

Die Risikoklasse bestimmt die rechtlichen Auflagen

Im Kern des Gesetzes steht die Einteilung von KI-Systemen in vier Risikoklassen. Je höher die Risikoklasse, desto größer sind die rechtlichen Auflagen, die erfüllt werden müssen.

Die Risikoklassen umfassen:

niedriges,
begrenztes,
hohes
und inakzeptables Risiko.

Diese Klassen spiegeln wider, inwiefern eine künstliche Intelligenz europäische Werte und Grundrechte gefährdet. KI-Systeme, die der Kategorie „inakzeptables Risiko“ angehören, werden vom AI-Act verboten. Besonders umfassende Auflagen gelten für Hochrisiko-Systeme, die in Auflagen für „Provider“ (Anbieter) und „Deployer“ (Benutzer), „Distributor“ (Händler) und „Importer“ (Einführer) unterteilt werden. Welche KI-Systeme in welche Risikoklasse fallen und welche Auflagen damit verbunden sind, erläutern wir im Folgenden.

Verbot für Social Scoring und biometrische Fernidentifikation

Einige KI-Systeme bergen ein erhebliches Potenzial zur Verletzung der Menschenrechte und Grundprinzipien, weshalb sie der Kategorie „inakzeptables Risiko” zugeordnet werden. Zu diesen gehören:

Echtzeit-basierte biometrische Fernidentifikationssysteme in öffentlich zugänglichen Räumen (Ausnahme: Strafverfolgungsbehörden dürfen diese zur Verfolgung schwerer Straftaten nutzen);
Biometrische Fernidentifikationssysteme im Nachhinein (Ausnahme: Strafverfolgungsbehörden dürfen diese zur Verfolgung schwerer Straftaten nutzen);
Biometrische Kategorisierungssysteme, die sensible Merkmale wie Geschlecht, ethnische Zugehörigkeit oder Religion verwenden;
Vorausschauende Polizeiarbeit auf Basis von sogenanntem „Profiling“ – also einer Profilerstellung unter Einbezug von Hautfarbe, vermuteten Religionszugehörigkeit und ähnlich sensiblen Merkmalen –, dem geografischen Standort oder vorhergehenden kriminellen Verhalten;
Systeme zur Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, ausgenommen aus medizinischen und sicherheitstechnischen Gründen;
Beliebige Extraktion von biometrischen Daten aus sozialen Medien oder Videoüberwachungsaufnahmen zur Erstellung von Datenbanken zur Gesichtserkennung;
Social Scoring, das zu Benachteiligung in sozialen Kontexten führt;
KI, die die Schwachstellen einer bestimmten Personengruppe aufgrund ihres Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzt oder unbewusste Techniken einsetzt, die zu Verhaltensweisen führen können, die physischen oder psychischen Schaden verursachen.
KI-Systeme, die manipulative, täuschende und unterschwellige Techniken einsetzen um Entscheidungen böswillig zu beeinflussen.

Diese KI-Systeme werden im Rahmen des AI-Acts auf dem europäischen Markt mit einer Frist bis Februar 2025 verboten.

Zahlreiche Auflagen für KI mit Risiko für Gesundheit, Sicherheit oder Grundrechte

In die Kategorie „hohes Risiko“ fallen alle KI-Systeme, die nicht explizit verboten sind, aber dennoch ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen. Folgende Anwendungs- und Einsatzgebiete werden dabei explizit genannt:

Biometrische und biometrisch-gestützte Systeme, die nicht in die Risikoklasse „inakzeptables Risiko“ fallen;
Management und Betrieb kritischer Infrastruktur;
allgemeine und berufliche Bildung;
Zugang und Anspruch auf grundlegende private und öffentliche Dienste und Leistungen;
Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit;
Strafverfolgung;
Migration, Asyl und Grenzkontrolle;
Rechtspflege und demokratische Prozesse

Für diese Systeme gilt jedoch eine Außnahme, wenn entweder das System das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessern bzw. korrigieren soll, oder wenn es dazu bestimmt ist, eine sehr eng gefasste Verfahrensaufgabe auszuführen. Diese Begründung muss dokumentiert werden und auf Anfrage den Behörden zur Verfügung gestellt werden.

Ebenfalls als Hochrisiko-System gelten KI-Systeme, die unter die im AI Act in Anhang I genannten Produktsicherheitsregelungen der EU fallen. Dies umfasst beispielsweise KI-Systeme, die in der Luftfahrt, in Spielzeug, Medizingeräten oder in Aufzügen als Sicherheitskomponenten verwendet werden.

Für Provider von Hochrisiko-KI-Systeme sind umfassende rechtliche Auflagen vorgesehen, die vor der Inbetriebnahme umgesetzt und während des gesamten KI-Lebenszyklus beachtet werden müssen:

Abschätzung der Risiken und Effekte auf Grund- und Menschenrechte
Qualitäts- und Risikomanagement
Data-Governance-Strukturen
Qualitätsanforderungen an Trainings-, Test- und Validierungsdaten
Technische Dokumentationen und Aufzeichnungspflicht
Erfüllung der Transparenz- und Bereitstellungspflichten
Menschliche Aufsicht, Robustheit, Cybersecurity und Genauigkeit
Konformitäts-Deklaration inkl. CE-Kennzeichnungspflicht
Registrierung in einer EU-weiten Datenbank
Nutzungsanweisungen für nachgelagerte Deployer

Im Gegensatz zu Providern (bzw. Anbietern), die KI-Systeme entwickeln und auf den Markt bringen, sind Deployer i.d.R. Betreiber, die fremde Systemen kommerziell nutzen. Deployer unterliegen weniger strengen Regulierungen als Provider: Sie müssen das Hochrisiko-KI-System gemäß den bereitgestellten Nutzungshinweisen verwenden, Input Daten sorgfältig überwachen, den Betrieb des Systems überwachen und Protokolle führen.

Importeure und Händler von Hochrisiko-KI-Systemen müssen prüfen, ob der Provider alle vom AI-Act-Gesetz geforderten Maßnahmen erfüllt, und das System andernfalls zurückrufen.

Wichtig ist außerdem zu beachten, dass jeder Deployer, Händler oder Importeur nach dem AI Act als Provider gilt, sobald er das System unter seinem eigenen Namen oder seiner eigenen Marke auf den Markt oder in Betrieb bringt. Ebenso gilt dies, wenn wesentliche Änderungen am System vorgenommen werden.

KI mit limitiertem Risiko muss Transparenzpflichten erfüllen

KI-Systeme, die direkt mit Menschen interagieren, fallen in die Risikoklasse „limitiertes Risiko“. Dazu zählen Emotionserkennungssysteme, biometrische Kategorisierungssysteme sowie KI-generierte oder veränderte Audio-, Bild-, Video- oder Textinhalte. Für diese Systeme, zu denen beispielsweise auch Chatbots zählen, sieht der AI Act die Verpflichtung vor, Verbraucher:innen über den Einsatz künstlicher Intelligenz zu informieren und KI-generierten Output als solchen zu deklarieren.

Keine rechtlichen Auflagen für KI mit geringem Risiko - doch KI-Bildung wird Pflicht für alle

Viele KI-Systeme, wie beispielsweise Predictive-Maintenance oder Spamfilter, fallen in die Risikoklasse „geringes Risiko“. Diese Systeme unterliegen keiner besonderen Regulierung nach dem AI Act.

Für alle Provider und Deployer von KI-Systemen, unabhhängig von deren Risikoklasse, widmet die EU der Förderung von KI-Kompetenzen sogar einen eigenen Artikel: In Artikel 4 werden regelmäßige KI-Schulungen und -Weiterbildungen für Personen gefordert, die mit KI-Systemen in Berührung kommen.

GPAI-Modelle werden gesondert geregelt

Die Regulation zu KI-Modellen mit allgemeinem Verwendungszweck („General Purpose AI models“), die ein breites Spektrum an unterschiedlichen Aufgaben erfüllen können, wurde als Reaktion auf das Aufkommen von KI-Modellen wie etwa GPT-4 in den AI Act aufgenommen. Sie betrifft die Entwickler dieser Modelle, wie etwa OpenAI, Google oder Meta. Abhängig davon ob ein Modell als „Systemic Risk“ eingeschätzt wird und ob es Open Source und frei zugänglich ist, fallen für die Entwickler unterschiedlich strenge Pflichten an. Große Modelle, die mit über 10^25 FLOP Rechenleistung trainiert wurden, müssen, da sie als „Systemic Risk“ eingestuft werden, zahlreiche und strenge Auflagen erfüllen, wie beispielsweise technische Dokumentationen und Risikoevaluierungen. Diese Regeln betreffen auch die neueste Generation von KI-Modellen rund um GPT-4o, Llama 3.1 oder Claude 3.5.

Unternehmen sollten sich jetzt auf den AI Act vorbereiten

Unternehmen haben nun bis zu drei Jahre Zeit, den Regulierungen der EU nachzukommen. Dabei tritt das Verbot für Systeme mit inakzeptablem Risiko und die Pflicht zu KI-Bildung schon in sechs Monaten in Kraft. Um Prozesse und KI-Systeme in Ihrem Unternehmen gesetzeskonform zu gestalten, ist der erste Schritt dafür die Einschätzung der Risikoklasse jedes einzelnen Systems. Falls Sie noch nicht sicher sind, in welche Risikoklassen Ihre KI-Systeme fallen, empfehlen wir unseren kostenfreien AI Act Quick Check. Er unterstützt Sie dabei, die Risikoklasse einzuschätzen. Bei weiteren Fragen zum AI Act können Sie gerne jederzeit auf uns zukommen.