Warum Michael befördert wird, Aisha aber nicht: KI-Edition

Aisha, 29, aus Hamburg

Aisha, 29, lebt in Hamburg und arbeitet seit fünf Jahren in der Projektleitung eines mittelständischen IT-Unternehmens. Ihre Leidenschaft für strukturierte Abläufe und innovative Ansätze hat ihr viel Anerkennung im Team eingebracht. Als eine interne Führungsposition ausgeschrieben wird, zögert sie nicht lange und bewirbt sich.

Ihre Bewerbung ist stark: Abschluss mit Auszeichnung, klare Erfolge in vergangenen Projekten und mehrere Empfehlungen von Kolleg:innen. Doch wenige Tage später erhält sie eine automatisierte Absage - ohne Begründung.

Aisha wundert sich, bleibt aber pragmatisch. „Es hat wohl nicht gepasst“, denkt sie und schiebt den Gedanken beiseite. Michael, ein Kollege mit weniger Erfahrung, wird zum Gespräch eingeladen.

Ein neutraler Entscheidungsträger?

Was Aisha nicht ahnt: Der Bewerbungsprozess läuft seit Kurzem KI-gestützt. Das System wurde eingeführt, um die Vorauswahl objektiv und effizient zu gestalten. Doch hinter den Kulissen trifft die Künstliche Intelligenz Entscheidungen basierend auf Mustern in den Daten, die sie gelernt hat.

Michaels Name, Ausbildung und Erfahrung werden von der KI als „kulturell passender“ eingestuft. Aishas Name hingegen wird unbewusst mit anderen Mustern verknüpft – weniger Vertrauen, mehr Risiko. Diese Zuweisungen sind für Aisha unsichtbar. Sie fühlt sich schlicht übergangen.

Michael überzeugt im Gespräch und bekommt die Position. Wochen später erzählt er Aisha von seiner neuen Rolle. Sie gratuliert ihm, freundlich wie immer, und vergräbt ihre Zweifel tief. Doch etwas bleibt. Ein kleiner Stich, ein leiser Gedanke: „Wäre ich zum Gespräch eingeladen worden, hätte ich den Job vielleicht bekommen.“

Die Wahrheit hinter der Geschichte

Aishas Geschichte ist fiktiv. Doch sie basiert auf echten Daten, die ich als Co-Autorin in der Studie „Involving Affected Communities and Their Knowledge for Bias Evaluation in Large Language Models“ veröffentlicht habe. Unsere Forschungsergebnisse belegen, dass die getesteten KI-Systeme (OpenAIs GPT-3.5 & GPT-4, Mistrals MistralInstruct, Metas Llama2) muslimische Namen signifikant häufiger mit negativen Rollen verbinden als nicht-muslimische Namen. Die KI-Modelle wiesen deutliche Vorurteile auf, wenn es darum ging, muslimische Namen positiven oder negativen Rollen in verschiedenen Situationen zuzuordnen, etwa bei der Polizei, vor Gericht oder bei Bewerbungsgesprächen.  

Anders gesagt: Namen wie Mohammad und Aisha werden von KI-Systemen benachteiligt. Wird ein LLM via Prompt angeleitet, sich Geschichten mit ihnen in der Hauptrolle auszudenken, sind sie signifikant häufiger die Verbrecherin oder der Angeklagte vor Gericht als z. B. Michael und Lisa. Ähnliche geschlechtsabhängige Verzerrungen belegen auch weitere Studien: Geht es um die Frage, wer die Hochzeit und wer das Kundenprojekt planen sollte, sind sich die getesteten LLMs auch weitestgehend einig: Lisa soll sich um die Hochzeit kümmern, Michael ums Business.

Bias in der KI: Die Daten sind entscheidend

Der Kern des Problems liegt im sogenannten „Bias“, also der Voreingenommenheit eines KI-Systems. Damit ist die Tendenz von KI-Systemen gemeint, bestimmte Gruppen oder Merkmale zu bevorzugen und andere zu benachteiligen. Voreingenommenheit erwächst aus den Daten, mit denen ein KI-System trainiert wird. Wenn diese Daten voreingenommen sind oder bestimmte Gruppen darin unterrepräsentiert sind, wird die KI diese Vorurteile und Verzerrungen unweigerlich übernehmen. Darüber hinaus können KI-Systeme auch aufgrund ihrer Programmierung voreingenommen sein, z. B. wenn Programmierer:innen bestimmte Algorithmen und Variablen (bewusst oder unbewusst) einführen und damit Verzerrungen in den System-Entscheidungen verursachen.

Ein entscheidendes Problem bei der Verzerrung in den Daten ist die fehlende Transparenz: Die Tech-Unternehmen hinter den großen Sprachmodellen geben nicht preis, welche Daten genau sie für das Training ihrer Modelle verwenden. Man geht jedoch davon aus, dass „westliche“ KI-Modelle wie ChatPGT, Gemini und Co. auch überwiegend mit Daten aus europäischen und nordamerikanischen Medien trainiert werden. Genau darin liegt ein Problem: Zahlreiche internationale Studien belegen, dass die Berichterstattung über den Islam und Muslim:innen oft stereotyp und negativ ist. In deutschen Medien wird überproportional häufig über ausländische Straftäter berichtet, während in Berichten über deutsche Straftäter die Nationalität nicht thematisiert wird.

Der mediale Diskurs über Migration und den Islam

Eine Analyse der deutschen Medienberichterstattung über den Islam zeigt drei zentrale Strukturmerkmale: die Gleichsetzung von Islam, Islamismus und Extremismus, die Marginalisierung ihrer lebensweltlichen Perspektiven und die Überbetonung von angeblichen kulturellen Gegensätzen. Hinzu kommt: In der Berichterstattung dominieren vor allem konfliktgetriebene Ereignisse. Durchschnittlich 37 % der Print- und 81 % der TV-Beiträge thematisieren Islam ausschließlich im Zusammenhang mit Terrorismus, Krieg oder Unruhen. Besonders problematisch ist, dass Muslim:innen in der Berichterstattung oft nur als passive Akteure oder im Kontext von Gewalt vorkommen.  

Auch mediale und politische Debatten über Migration hängen oft weniger mit den tatsächlichen Entwicklungen als vielmehr mit einem sich selbst verstärkenden Feedback-Effekt zusammen. Das bedeutet: Je intensiver Medien und Politik über Migration sprechen, desto relevanter erscheint das Thema in der öffentlichen Wahrnehmung – unabhängig davon, ob sich die tatsächlichen Zahlen verändern. Zusätzlich verzerrt die Art der Berichterstattung oft das Bild. Migration wird häufig mit negativen Aspekten wie Kriminalität, Gewalt oder sozialen Missständen in Verbindung gebracht. Ein Beispiel ist die Berichterstattung über „Clankriminalität“, die ab 2019 massiv zunahm – nicht aufgrund steigender Straftaten, sondern weil das Thema politisch forciert und mehr Fälle in dieser Kategorie erfasst wurden.  

Wie uns ein verzerrter Diskurs beeinflusst

Die Verzerrungen im Diskurs haben Auswirkungen in der echten Welt. Eine umfangreiche Studie vom Bayerischen Rundfunk und dem SPIEGEL über die Wohnungsvergabe stellte fest: Wer mit arabischem oder türkischem Namen eine Wohnung sucht, hat es deutlich schwerer als ein:e deutsche:r Bewerber:in.  

Hier zeigt sich: Der negative mediale Diskurs produziert ein Bias – in diesem Beispiel in den Köpfen von Vermieter:innen – und sorgt dafür, dass sie Menschen mit bestimmten Merkmalen bewusst oder unbewusst schlechter behandeln. Nichts anderes passiert beim Training eines KI-Systems. Wenn mit bestimmten ausländischen Namen überwiegend negative Daten (Zeitungsberichte, Nachrichtenbeiträge, etc.) in Verbindung stehen, lernt auch das KI-Modell, diese ausländischen Namen und die damit assoziierten Eigenschaften (Religionszugehörigkeit, Sprache, etc.) negativ zu bewerten.

Das bringt uns zurück zu unserem Beispiel von „Michael“ und „Aisha“. Deutsch bzw. „westlich“ gelesene Namen wie „Michael“ kommen in Europa und Nordamerika häufiger vor als der muslimische Name „Aisha“. Das bedeutet, dass auch in den Datensätzen, die für das Training von KI-Modellen verwendet werden, Namen wie „Michael“ wahrscheinlich häufiger und in positiveren Kontexten auftreten als „Aisha“. KI-Systeme, die auf solchen Datensätzen basieren, lernen dann, dass „Michael“ eher eine Person mit positiven Eigenschaften ist, während z. B. der Name „Mohamad“ vergleichsweise häufiger in Verbindung zu negativen Eigenschaften steht. Wenn Entwickler:innen solche Verzerrungen in den Daten nicht erkennen und sorgfältig ausgleichen, führt es dazu, dass KI-Systeme genau diesen Bias reproduzieren und – wie unsere Studie bestätigt hat – muslimische Namen signifikant häufiger mit negativen Rollen verbinden als nicht-muslimische Namen.

Bias produziert immense Schäden, nicht nur finanziell

Wir leben bereits in einer Welt, in der KI für Szenarien eingesetzt wird, in denen Namen eine Rolle spielen. Sei es die Auswahl von Mietinteressent:innen oder die Vergabe von Krediten: Sprachmodelle nehmen Einfluss auf unsere Welt.  

Voreingenommenheit in KI-Systemen ist oft unsichtbar, doch ihre Folgen sind ernst. In Bewerbungsprozessen, in denen KI zur Vorauswahl von Kandidat:innen eingesetzt wird, könnte eine Bewerberin mit dem Namen „Aisha“ benachteiligt werden, selbst wenn sie die gleichen oder bessere Qualifikationen als „Michael“ hat.  

Diskriminierungsfälle dieser Art gibt es bereits zu Hauf: Im Jahr 2023 zahlte ein US-Nachhilfeunternehmen 365.000 US-Dollar, um eine Klage der Equal Employment Opportunity Commission (EEOC) wegen diskriminierender KI-Nutzung beizulegen. Die EEOC hatte festgestellt, dass die Bewerbungssoftware ältere Bewerber:innen systematisch aussortierte – Frauen ab 55 und Männer ab 60 Jahren.  

Ebenfalls in den USA wies das KI-gestützte Risikobewertungssystem COMPAS, das zur Einschätzung der Rückfallwahrscheinlichkeit von Straftätern verwendet wird, systematische Verzerrungen auf. Studien zeigen, dass schwarze Angeklagte häufiger fälschlicherweise als rückfallgefährdet eingestuft werden, während weiße Angeklagte tendenziell unterschätzt werden.

Wie lösen wir die Probleme?

Ob solche offensichtlichen Formen der Diskriminierung durch KI in der EU überhaupt möglich sind, darf bezweifelt werden. Doch der Punkt ist ein anderer: Die Gefahr, dass neue, subtilere und verdeckte Formen von datenbasierter Diskriminierung entstehen, ist zu groß, um sie zu ignorieren. Laut einer Studie unter Führungskräften aus zehn Ländern nutzt bereits ein Drittel der befragten Unternehmen KI-Anwendungen, um Bewerbungen zu verarbeiten und eine Vorauswahl zu treffen. Tendenz steigend. Ob bei der Kreditvergabe oder in der Strafverfolgung: KI-Systeme dürfen auch bei uns in vielen kritischen Bereichen zum Einsatz kommen – und überall dort lauert die systematische Benachteiligung von Menschen aufgrund von Eigenschaften, die sich nicht beeinflussen können (Hautfarbe, Geburtsort, etc.).

Genau deshalb ist es entscheidend, dass wir einen öffentlichen Diskurs über die Gefahren und Probleme durch den Einsatz von KI führen. Wenn wir sie verantwortungsbewusst einsetzen, verspricht KI nie dagewesene Potenziale, unser Leben erheblich zu erleichtern. Aber wenn wir Menschen nicht für die Gefahren sensibilisieren, riskieren wir, bestehende Ungleichheiten zu verstärken und neue zu schaffen.

Für Entwickler:innen und Unternehmen bedeutet das, dass sie bei der Erstellung und Implementierung von KI-Systemen bewusster vorgehen müssen. Das beinhaltet die Auswahl möglichst diverser und repräsentativer Datensätze, das Testen der Algorithmen auf mögliche Voreingenommenheit und die Entwicklung von Methoden zur Korrektur von Verzerrungen. Mit klaren Richtlinien und ethischen Standards für den Einsatz von KI können wir sicherstellen, dass alle Menschen – unabhängig von ihrem Namen und ethnischen Hintergrund – fair behandelt werden.

Welche Rolle spielt der EU AI Act?

In der EU wurden die Bemühungen, Diskriminierung durch KI zu verhindern, in Gesetzesform gegossen. Der EU AI Act ist ein Vorstoß, um ethische Standards für den Einsatz von KI in der Europäischen Union zu schaffen. Das Gesetz soll sicherstellen, dass KI-Systeme fair und transparent sind und nichtdiskriminierend handeln. In unserem Beispiel mit Aisha und Michael hätte das konkrete Folgen für ihren Arbeitgeber, weil das angewandte KI-System erhebliche Auswirkungen auf die Grundrechte der Betroffenen hat. Der AI Act stuft solche Systeme zur Auswahl von Bewerber:innen als „Hochrisiko-Anwendung“ ein. Das bedeutet, dass diese KI-Systeme besonderen Anforderungen unterliegen, um Diskriminierung und Intransparenz zu vermeiden:

• Transparenz & Dokumentation: Unternehmen müssen klar darlegen, wie die KI funktioniert, welche Daten sie nutzt und welche Entscheidungsgrundlagen sie hat.

• Erklärbarkeit & Nachvollziehbarkeit: Bewerber:innen haben das Recht, zu erfahren, warum und wie eine Entscheidung getroffen wurde.

• Menschliche Kontrolle: Eine rein automatisierte Entscheidung ohne menschliche Überprüfung ist nicht zulässig. Eine qualifizierte Person muss das letzte Wort haben.

• Nicht-Diskriminierung: Die KI darf keine Vorurteile oder systematische Benachteiligung bestimmter Gruppen verursachen. Bias-Tests und Maßnahmen zur Fairness-Sicherung sind verpflichtend.

• Sicherheits- und Risikobewertung: Unternehmen müssen nachweisen, dass das System zuverlässig ist und keine gravierenden Risiken für Grundrechte birgt.

Für Aisha bedeutet es, dass ihr ein Rechtsweg offen steht, Transparenz über eine mögliche Diskriminierung im Bewerberprozessen herzustellen und entsprechende rechtliche Schritte gegen ihre Diskriminierung einzuleiten. Ob das in der Praxis jedoch zu gerechteren Entscheidungen führt, ist eine andere Frage. Wenn die Tatsachen bereits geschaffen wurden und erst ein langwieriger Gerichtsprozess die Diskriminierung im Nachhinein feststellen kann, bleibt die systematische Benachteiligung bestehen.

Genau deshalb bieten wir bei statworx Unternehmen die Möglichkeit, ihre KI-Systeme einem Vorab-Check zu unterziehen. Mit unserem AI Act Quick Check findest du heraus, wie der AI Act sich auf dein Unternehmen auswirken wird.

Außerdem bieten wir Unternehmen Unterstützung bei der AI Act Compliance und der Kompetenzentwicklung der Mitarbeitenden, die z. B. mit Hochrisiko-Systemen arbeiten. statworx ACT! begleitet Unternehmen auf dem Weg zur Erfüllung von Artikel 4 des AI Act, indem er skalierbare Schulungen zur Verbesserung der KI-Kompetenz bereitstellt.

Fazit

Der Beitrag wirft ein kritisches Licht auf die unbewussten Vorurteile, die in KI-gestützten Entscheidungsprozessen lauern und zeigt auf, wie diese Biases reale Auswirkungen auf das Leben von Menschen haben können. Aishas Geschichte, obwohl fiktiv, verdeutlicht die gravierenden Risiken, die mit der Verwendung von KI in Bewerbungsprozessen verbunden sind. Trotz ihrer Qualifikationen wird sie aufgrund ihres muslimischen Namens von der KI benachteiligt, während ihr Kollege Michael bevorzugt wird. Diese Diskriminierung spiegelt die Voreingenommenheit wider, die in den Daten steckt, mit denen KI-Systeme trainiert werden - Daten, die häufig von negativen Stereotypen über den Islam und Muslim:innen geprägt sind. Der EU AI Act stellt einen wichtigen Schritt dar, um solche Ungerechtigkeiten zu bekämpfen, indem er strenge Standards für Transparenz und Nichtdiskriminierung festlegt. Doch gesetzliche Regelungen allein reicht nicht aus. Es ist von entscheidender Bedeutung, dass Entwickler:innen, Unternehmen und die Gesellschaft als Ganzes sich der Verantwortung bewusst werden, die mit dem Einsatz von KI verbunden ist, um sicherzustellen, dass Technologie gerecht und inklusiv wirkt und nicht bestehende Ungleichheiten verstärkt.