Die Rolle von Explainable AI (XAI) bei der Compliance mit EU-Recht

‍1. Bitte stellen Sie sich und Ihre Arbeit kurz vor.

An der Universität Gießen leite ich die Professur für Bürgerliches Recht, Handels- und Gesellschaftsrecht und Recht der Digitalisierung. Dabei beschäftige ich mich intensiv mit Rechtsfragen der Künstlichen Intelligenz (KI). Eine davon ist die Frage, welche Anforderungen das Recht an die Erklärbarkeit von KI stellt. Solche Anforderungen finden sich etwa im Datenschutz-, Produktsicherheits- und Produkthaftungsrecht, aber auch im Gesellschaftsrecht. Wollen etwa Entscheidungsträger im Unternehmen ihre Entscheidungen auf KI-Prognosen stützen, müssen sie die Prognose nachvollziehen können, sonst würden sie gegen ihre Sorgfaltspflicht verstoßen. Die KI-Prognose muss also entweder von sich aus nachvollziehbar sein (Whitebox-KI) oder mit Hilfe von XAI-Verfahren (sog. explainable AI) nachvollziehbar gemacht werden. Es geht dabei nicht um eine vollständige Offenlegung des Algorithmus, sondern um eine verständliche Darstellung der wichtigsten Entscheidungsfaktoren und deren Gewichtung.

2. Der EU AI Act stellt Anforderungen an die Transparenz von KI-Systemen und wird 2026 in Kraft treten. Genießen Blackbox KIs bis dahin einen Freifahrtschein?

Nein, denn es gibt neben dem AI Act andere Rechtsnormen, die Transparenz fordern. Das Gesellschaftsrecht wurde schon erwähnt. Im Datenschutzrecht schreibt die Datenschutz-Grundverordnung (DS-GVO) Transparenz bei automatisierten Entscheidungen vor. Ähnliches gilt für die Verbraucherkredit-Richtlinie: Setzt der Kreditgeber bei der Kreditwürdigkeitsprüfung automatisierte Verfahren ein, kann der Verbraucher klare und verständliche Erläuterungen fordern, einschließlich der Logik der automatisierten Kreditwürdigkeitsprüfung. Auch die neue Produkthaftungsrichtlinie, die im Dezember 2024 in Kraft getreten ist, spielt eine wichtige Rolle. Hersteller von KI-Systemen können bereits jetzt für Schäden haftbar gemacht werden, die durch ihre Produkte entstehen, selbst wenn die Funktionsweise des Systems intransparent ist. Diese Haftung kann Unternehmen dazu zwingen, intern nachvollziehbare Modelle zu entwickeln, um im Streitfall eine Verteidigungsmöglichkeit zu haben. Schließlich kann sich das Gebot der Erklärbarkeit aus branchenspezifischen Produktsicherheitsnormen ergeben, insbesondere in sensiblen Bereichen wie Medizin oder Maschinenbau.

3. Einige Forscher sehen bereits in der Datenschutzgrundverordnung (DS-GVO) ein “Recht auf Erklärung” verankert. Wie stehen Sie dazu und was wären die praktischen Konsequenzen eines solchen Rechts?

Eine Zeitlang wurde ein solches Recht abgelehnt und der Person, die von einer automatisierten Entscheidung betroffen ist, nur ein Recht auf die Erklärung der allgemeinen Grundsätze der Entscheidungsfindung zuerkannt. Für die Betroffenen ist eine derart enge Auslegung der DS-GVO sehr nachteilig. Stellen Sie sich vor, Ihr Kreditantrag wird nach einer automatisierten Bonitätsprüfung abgelehnt. Dann wollen Sie die Gründe dafür wissen und nicht, wie die automatisierte Bonitätsprüfung im Allgemeinen funktioniert. Werden Ihnen die Gründe nicht genannt, können Sie kaum gegen die Entscheidung vorgehen, obwohl Art. 22 DS-GVO ein solches Recht explizit vorsieht. Deswegen setzt sich immer mehr die Meinung durch, dass die DS-GVO den Betroffenen das Recht auf Erklärung konkreter KI-Entscheidungen gewährt. Sie wurde zuletzt vom Generalanwalt (Berichterstatter) im SCHUFA-Verfahren vor dem EuGH geäußert.

Praktisch gesehen bedeutet das Recht auf Erklärung, dass für KI-Entscheidungen Ex-post-Erklärungen benötigt werden. Bei Blackbox-KI-Modellen wie neuronale Netze können solche Erklärungen nur mit Hilfe von XAI generiert werden. Die Anerkennung eines Rechts auf Erklärung wird daher die Entwicklung und Implementierung von XAI-Methoden vorantreiben. Dies könnte zu höheren Kosten und zusätzlichem Entwicklungsaufwand führen, würde jedoch die Transparenz und Akzeptanz von KI langfristig steigern.

4. Wenn bestehendes Recht bereits solch große Herausforderungen darstellt: Wie relevant ist es für Unternehmen dann jetzt schon, sich auf den EU AI Act vorzubereiten?

In puncto Erklärbarkeit geht die Umsetzung des geltenden Rechts mit der Vorbereitung auf den AI Act Hand in Hand. Denn auch der Letztere sieht in Art. 86 bei bestimmten Hochrisiko-KI-Systemen (Stellenbewerberauswahl, Kreditwürdigkeitsprüfung, Bestimmung von Lebens- und Krankenversicherungsbeiträgen) ein „Recht auf Erläuterung“ vor. Gemeint ist das Recht der betroffenen Person, vom Betreiber des KI-Systems eine klare und aussagekräftige Erläuterung zur Rolle des Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten. Dieses Recht gilt jedoch nur insoweit, als die anderen EU-Vorschriften kein entsprechendes Recht vorsehen.

Im Übrigen stellt der AI Act zahlreiche Anforderungen an Unternehmen, vor allem an Anbieter von Hochrisiko-KI-Systemen. Daher sollten Unternehmen jetzt schon analysieren, ob und welche ihrer Systeme als hochriskant eingestuft werden könnten. Zu den künftigen Herausforderungen gehört insbesondere die Implementierung von besonderen Qualitätsmanagementsystemen und Konformitätsbewertungsverfahren. Dies bedeutet für viele Unternehmen erhebliche technische und organisatorische Anpassungen, die frühzeitig beginnen sollen. Unternehmen, die ihre Prozesse bereits jetzt an den kommenden Vorschriften ausrichten, können langfristig Wettbewerbsvorteile erzielen.

5. Nach dem EU AI Act ist nun noch ein weiteres wegweisendes Gesetz auf dem Weg: Die KI-Haftungsrichtlinie. Was können Sie uns jetzt schon darüber verraten?

Die geplante KI-Haftungsrichtlinie ist eng mit dem AI Act verzahnt. Sie widmet sich der Schadensersatzhaftung für KI-Systeme. Dabei können Verstöße gegen den AI Act auch zur Haftung nach der KI-Haftungsrichtlinie führen. Die KI-Haftungsrichtlinie soll zudem die aktualisier-te Produkthaftungsrichtlinie ergänzen, die sich auf den Schutz der „klassischen“ Rechtsgüter wie Leben, Körper, Gesundheit, Eigentum beschränkt. Die geplante KI-Haftungsrichtlinie greift auch dann, wenn keines dieser Rechtsgüter verletzt ist, z. B. bei reinen Vermögensschäden.

Ein besonders innovativer Aspekt der KI-Haftungsrichtlinie ist das sogenannte Recht auf Offenlegung von Beweismitteln. Steht ein Hochrisiko-KI-System im Verdacht, einen Schaden verursacht zu haben, so kann der potentiell Geschädigte beim Gericht beantragen, dass die einschlägigen Beweismittel zu dem KI-System offengelegt werden. Hierzu muss der Geschä-digte seinen Schadensersatzanspruch lediglich plausibel darlegen. Ferner erleichtert die Richtlinie dem Geschädigten den Nachweis seines Schadensersatzanspruchs, indem sie unter bestimmten Voraussetzungen eine widerlegbare Vermutung der Kausalität zwischen dem Verschulden des Anspruchsgegners und dem „Fehlverhalten“ des KI-Systems statuiert. Zusammenfassend kann man sagen, dass die KI-Haftungsrichtlinie das herkömmliche Schadensersatzrecht an die Herausforderungen des KI-Zeitalters anpasst.