Data Science, Machine Learning und KI
Kontakt

Ob bewusst oder unbewusst, Vorurteile in unserer Gesellschaft erschweren die Verwirklichung einer geschlechtergerechten Welt, die frei von Stereotypen und Diskriminierung ist. Leider schleichen sich diese geschlechtsspezifischen Vorurteile auch in die KI-Technologien ein, die sich in allen Bereichen unseres täglichen Lebens rasant weiterentwickeln und unsere Gesellschaft in nie gekanntem Maße verändern werden. Daher ist die Entwicklung fairer und unvoreingenommener KI-Systeme für eine vielfältige, gerechte und inklusive Zukunft unerlässlich. Es ist nicht nur wichtig, dass wir uns dieses Problems bewusst sind, sondern auch, dass wir jetzt handeln, bevor diese Technologien unsere geschlechtsspezifischen Vorurteile noch mehr verstärken, auch in Bereichen unseres Lebens, in denen wir sie bereits beseitigt haben.

Lösung beginnt mit Verständnis: Um an Lösungen zur Beseitigung geschlechtsspezifischer Vorurteile und aller anderen Formen von Vorurteilen in der KI zu arbeiten, müssen wir zunächst verstehen, was sie sind und woher sie kommen. Daher werde ich im Folgenden zunächst einige Beispiele für geschlechtsspezifische KI-Technologien vorstellen und Euch dann einen strukturierten Überblick über die verschiedenen Gründe für Vorurteile in der KI geben. In einem zweiten Schritt werde ich die notwendigen Maßnahmen für fairere und unvoreingenommenere KI-Systeme vorstellen.

Sexistische KI

Geschlechtsspezifische Vorurteile in der KI haben viele Gesichter und schwerwiegende Auswirkungen auf die Gleichstellung von Frauen. Während Youtube meinem ledigen Freund (männlich, 28) Werbung für die neuesten technischen Erfindungen oder die neuesten Automodelle zeigt, muss ich, ebenfalls ledig und 28, Werbung für Fruchtbarkeits- oder Schwangerschaftstests ertragen. Aber KI wird nicht nur eingesetzt, um Entscheidungen darüber zu treffen, welche Produkte wir kaufen oder welche Serien wir als nächstes sehen wollen. KI-Systeme werden auch eingesetzt, um zu entscheiden, ob Ihr ein Vorstellungsgespräch bekommt oder nicht, wie viel Ihr für Eure Autoversicherung zahlt, wie gut Eure Kreditwürdigkeit ist oder sogar, welche medizinische Behandlung Ihr bekommt. Und hier beginnt die Voreingenommenheit solcher Systeme wirklich gefährlich zu werden.

Im Jahr 2015 lernte das Rekrutierungstool von Amazon beispielsweise fälschlicherweise, dass Männer bessere Programmierer seien als Frauen. Daraufhin bewertete das Tool Bewerber:innen für Softwareentwicklerstellen und andere technische Stellen nicht geschlechtsneutral.

Im Jahr 2019 beantragte ein Paar dieselbe Kreditkarte. Obwohl die Ehefrau eine etwas bessere Kreditwürdigkeit und die gleichen Einnahmen, Ausgaben und Schulden wie ihr Ehemann hatte, setzte das Kreditkartenunternehmen ihr Kreditkartenlimit viel niedriger an, was der Kundendienst des Kreditkartenunternehmens nicht erklären konnte.

Wären diese sexistischen Entscheidungen von Menschen getroffen worden, wären wir empört. Zum Glück gibt es für uns Menschen Gesetze und Vorschriften gegen sexistisches Verhalten. Dennoch steht die künstliche Intelligenz mittlerweile über dem Gesetz, weil eine vermeintlich rationale Maschine die Entscheidung getroffen hat. Wie kann also eine vermeintlich rationale Maschine befangen, voreingenommen und rassistisch werden? Es gibt drei miteinander verknüpfte Gründe für Vorurteile in KI: Daten, Modelle und die AI Gemeinschaft.

Daten sind unser Schicksal

Erstens sind Daten ein Spiegel unserer Gesellschaft, mit all unseren Werten, Annahmen und leider auch Vorurteilen. Es gibt keine neutralen oder unbearbeiteten Daten. Daten werden immer von Menschen erzeugt, gemessen und gesammelt. Daten wurden schon immer durch kulturelle Vorgänge erzeugt und zu kulturellen Kategorien geformt. So werden beispielsweise die meisten demografischen Daten auf der Grundlage vereinfachter, binärer Frau-Mann-Kategorien etikettiert. Wenn die Geschlechterklassifizierung das Geschlecht auf diese Weise zusammenfasst, sind die Daten nicht in der Lage, Geschlechterfluidität und die eigene Geschlechtsidentität aufzuzeigen. Auch „Rasse“ ist ein soziales Konstrukt, ein Klassifizierungssystem, das wir Menschen vor langer Zeit erfunden haben, um physische Unterschiede zwischen Menschen zu definieren, und das immer noch in Daten vorhanden ist.

Der zugrundeliegende mathematische Algorithmus in KI-Systemen ist selbst nicht sexistisch. KI lernt aus Daten mit all ihren möglichen geschlechtsspezifischen Verzerrungen. Nehmen wir zum Beispiel an, ein Gesichtserkennungsmodell hat noch nie eine transsexuelle oder nicht-binäre Person gesehen, weil es kein solches Bild im Datensatz gab. In diesem Fall wird es eine transgender oder nicht-binäre Person nicht korrekt klassifizieren (Selection Bias).

Oder, wie im Fall von Google Translate, wird der Ausdruck „eine Ärztin“ in geschlechtsspezifisch flektierten Sprachen durchweg in die männliche Form übersetzt, weil das KI-System auf Tausenden von Online-Texten trainiert wurde, in denen die männliche Form von „Arzt“ aufgrund historischer und sozialer Umstände stärker verbreitet war (Historical Bias). Laut Invisible Women gibt es bei Big Data im Allgemeinen eine große Kluft zwischen den Geschlechtern, die zu Lasten der Frauen geht. Wenn wir also nicht darauf achten, mit welchen Daten wir diese Algorithmen füttern, werden sie den Gender Gap in den Daten übernehmen und Frauen systematisch diskriminieren.

Modelle brauchen Bildung

Zweitens sind unsere KI-Modelle leider nicht intelligent genug, um die Vorurteile in den Daten zu überwinden. Da die derzeitigen KI-Modelle nur Korrelationen und keine kausalen Strukturen analysieren, lernen sie blind, was in den Daten steht. Diesen Algorithmen wohnt ein systematischer Strukturkonservatismus inne, da sie darauf ausgelegt sind, bestimmte Muster in den Daten zu reproduzieren.

Um dies zu veranschaulichen, werde ich ein fiktives und sehr vereinfachtes Beispiel verwenden: Stellt euch einen sehr stereotypen Datensatz mit vielen Bildern von Frauen in Küchen und Männern in Autos vor. Anhand dieser Bilder soll ein Bildklassifikationsalgorithmus lernen, das Geschlecht einer Person auf einem Bild vorherzusagen. Aufgrund der Datenselektion gibt es in dem Datensatz eine hohe Korrelation zwischen Küchen und Frauen und zwischen Autos und Männern – eine höhere Korrelation als zwischen einigen charakteristischen Geschlechtsmerkmalen und dem jeweiligen Geschlecht. Da das Modell keine kausalen Strukturen erkennen kann (was geschlechtsspezifische Merkmale sind), lernt es also fälschlicherweise, dass eine Küche im Bild auch bedeutet, dass Frauen im Bild sind, und dasselbe gilt für Autos und Männer. Wenn also auf einem Bild eine Frau in einem Auto zu sehen ist, würde die KI die Person als Mann identifizieren und vice versa.

Dies ist jedoch nicht der einzige Grund, warum KI-Systeme die Vorurteile in Daten nicht überwinden können. Es liegt auch daran, dass wir den Systemen nicht „sagen“, dass sie darauf achten sollen. KI-Algorithmen lernen, indem sie ein bestimmtes, von den Entwicklern festgelegtes Ziel optimieren. In der Regel handelt es sich bei dieser Leistungsmessung um eine durchschnittliche Genauigkeitsmetrik, die keinerlei ethische oder faire Beschränkungen enthält. Das ist so, als ob ein Kind lernen soll, so viel Geld wie möglich zu bekommen, ohne zusätzliche Einschränkungen, wie z. B. die Konsequenzen von Diebstahl, Ausbeutung oder Betrug. Wenn wir wollen, dass KI-Systeme lernen, dass geschlechtsspezifische Vorurteile falsch sind, müssen wir dies in ihr Training und ihre Leistungsbewertung einbeziehen.

Der Gemeinschaft fehlt es an Diversität

Schließlich ist es die Entwickler:innen-Community, die direkt oder indirekt, bewusst oder unbewusst ihre eigenen geschlechtsspezifischen und anderen Vorurteile in KI-Technologien einbringt. Sie wählen die Daten aus, definieren das Optimierungsziel und gestalten die Nutzung von KI.

Auch wenn in einigen Fällen möglicherweise böswillige Absichten vorliegen, würde ich behaupten, dass Entwickler:innen ihre eigenen Vorurteile oft unbewusst in KI-Systeme einbringen. Wir alle erliegen unbewussten Vorurteilen, d. h. unbewussten Denkfehlern, die aus Problemen mit dem Gedächtnis, der Aufmerksamkeit und anderen mentalen Fehlern resultieren. Mit anderen Worten: Diese Verzerrungen resultieren aus dem Bestreben, die unglaublich komplexe Welt, in der wir leben, zu vereinfachen.

So fällt es unserem Gehirn beispielsweise leichter, stereotypes Denken anzuwenden, d. h. Vorstellungen über eine Person auf der Grundlage dessen zu entwickeln, wie Menschen aus einer ähnlichen Gruppe „typischerweise“ sein könnten (z. B. ein Mann eignet sich besser für die Position eines Geschäftsführers), als alle Informationen zu sammeln, um eine Person und ihre Eigenschaften vollständig zu verstehen. Oder, gemäß dem Affinitäts-Bias, mögen wir die Menschen am meisten, die so aussehen und denken wie wir, was ebenfalls eine vereinfachte Art ist, die Menschen um uns herum zu verstehen und zu kategorisieren.

Wir alle haben solche unbewussten Vorurteile, und da wir alle unterschiedliche Menschen sind, variieren diese Vorurteile von Person zu Person. Da jedoch die derzeitige Gemeinschaft der KI-Entwickler:innen zu über 80 % aus weißen, Cis-Männern besteht, sind die Werte, Ideen und Vorurteile, die sich in KI-Systeme einschleichen, sehr homogen und damit buchstäblich engstirnig. Angefangen bei der Definition von KI: Die Gründerväter der KI im Jahr 1956 waren allesamt weiße, männliche Ingenieure, eine sehr homogene Gruppe von Menschen, was zu einer engen Vorstellung davon führte, was Intelligenz ist, nämlich die Fähigkeit, Spiele wie Schach zu gewinnen. Aus der Psychologie wissen wir jedoch, dass es viele verschiedene Arten von Intelligenz gibt, z. B. emotionale oder soziale Intelligenz. Wenn heute ein Modell von einer sehr homogenen Gruppe von Menschen ohne besondere Aufmerksamkeit und Verfahren entwickelt und überprüft wird, sind sie aufgrund unbewusster Voreingenommenheit nicht in der Lage, Diskriminierung zu erkennen, die sich von ihnen selbst unterscheidet. In der Tat ist diese homogene Gemeinschaft tendenziell die Gruppe von Menschen, die in der KI kaum unter Voreingenommenheit leidet.

Stellen Sie sich vor, alle Kinder auf der Welt würden von 30-jährigen weißen Cis-Männern aufgezogen und erzogen. So sieht unsere KI heute aus. Sie wird von einer sehr homogenen Gruppe entworfen, entwickelt und bewertet und vermittelt so eine einseitige Perspektive auf Werte, Normen und Ideen. Die Entwickler:innen sind der Kern dieser Entwicklung. Sie bringen der KI bei, was richtig oder falsch, was gut oder schlecht ist.

Die Vorurteile in der Gesellschaft aufbrechen

Ein entscheidender Schritt auf dem Weg zu einer fairen und unvoreingenommenen KI ist also eine vielfältige und integrative KI-Entwicklungsgemeinschaft. Inzwischen gibt es einige technische Lösungen für die genannten Probleme der Daten- und Modellverzerrung (z. B. Datendiversifizierung oder Kausalmodellierung). Doch all diese Lösungen sind nutzlos, wenn die Entwickler:innen nicht von vornherein über Probleme mit Vorurteilen nachdenken. Unterschiedliche Menschen können die blinden Flecken und die Vorurteile der jeweils anderen besser überprüfen. **Viele Studien zeigen, dass die Vielfalt in Informatikteams entscheidend dazu beiträgt, Vorurteile in der KI zu verringern.

Außerdem müssen wir unsere Gesellschaft über KI, ihre Risiken und Chancen aufklären. Wir müssen die Ausbildung von KI-Entwickler:innen überdenken und umstrukturieren, denn sie brauchen ebenso viel ethisches Wissen wie technisches Wissen, um faire und unvoreingenommene KI-Systeme zu entwickeln. Wir müssen die breite Bevölkerung darüber aufklären, dass auch wir alle Teil dieses massiven Wandels durch KI werden können, um unsere Ideen und Werte in die Gestaltung und Entwicklung dieser Systeme einzubringen.

Wenn wir die Vorurteile der KI überwinden wollen, müssen wir letztlich auch die Vorurteile in unserer Gesellschaft überwinden. Vielfalt ist die Lösung für eine faire und unvoreingenommene KI, nicht nur in den KI-Entwicklungsteams, sondern in unserer gesamten Gesellschaft. KI wird von Menschen gemacht, von uns, von unserer Gesellschaft. Unsere Gesellschaft mit ihren Strukturen bringt Vorurteile in die KI: durch die Daten, die wir produzieren, die Ziele, die wir von den Maschinen erwarten, und die Gemeinschaft, die diese Systeme entwickelt. Im Kern sind Vorurteile in der KI kein technisches Problem – sie sind ein soziales Problem.

Positive Verstärkung von KI

Schließlich müssen wir uns fragen, ob wir wollen, dass die KI die heutige Gesellschaft widerspiegelt oder eine gleichberechtigtere Gesellschaft von morgen? Nehmen wir an, wir verwenden Machine Learning Modelle, um die Welt von heute abzubilden. In diesem Fall werden wir keinen sozialen Fortschritt erzielen. Wenn wir nicht handeln, könnten wir einige soziale Fortschritte, wie z. B. mehr Gleichberechtigung zwischen den Geschlechtern, verlieren, da die KI Vorurteile verstärkt und in unser Leben zurückbringt. Die KI soll zukunftsorientiert sein. Aber gleichzeitig basiert sie auf Daten, und Daten spiegeln unsere Geschichte und Gegenwart wider. So wie wir also die Voreingenommenheit in der Gesellschaft überwinden müssen, um die Voreingenommenheit in KI-Systemen zu überwinden, brauchen wir unvoreingenommene KI-Systeme für den sozialen Fortschritt in unserer Welt.

Nach all dem bin ich hoffnungsvoll und optimistisch. Durch diesen Verstärkungseffekt hat die KI das Bewusstsein für alte Fairness- und Diskriminierungsprobleme in unserer Gesellschaft auf einer viel breiteren Ebene geschärft. Vorurteile in KI zeigen uns einige der dringendsten gesellschaftlichen Herausforderungen. Ethische und philosophische Fragen werden immer wichtiger. Und weil KI diesen Verstärkungseffekt auf die Gesellschaft hat, können wir sie auch zum Positiven nutzen. Wir können diese Technologie für das Gute nutzen. Wenn wir alle zusammenarbeiten, haben wir die Chance, die Welt zu einem wesentlich vielfältigeren, inklusiveren und gleichberechtigteren Ort umzugestalten. Livia Eichenberger

Bereits letztes Jahr war das gesamte Schweizer Team von STATWORX zum ersten Mal beim Digital Festival Zürich dabei. Daher haben wir uns schon sehr auf das diesjährige Event gefreut, das vom 23. bis 26. September im Schiffbau in Zürich stattfand, der praktischerweise gleich um die Ecke unseres Schweizer Büros liegt. Unter dem Motto „Make It Personal“ brachte eine Vielzahl von Keynotes, Labs und Networking-Sessions digitale Führungskräfte, Digital-Aficionados und Innovator:innen zusammen, die alle von Neugier, Offenheit und einer Maker-Mentalität angetrieben wurden. Passend zum diesjährigen Motto des Digital Festivals möchte ich Ihnen meine persönlichen fünf Highlights dieses Events nicht vorenthalten.

5 Highlights vom Digital Festival Zürich 2021

1. AI Experience: Lernen. Interagieren. Anwenden

In diesem Jahr nahmen wir nicht nur als Gäste am Digital Festival Zürich teil, sondern hatten auch die Möglichkeit, am Freitagnachmittag eine Lab-Session zu veranstalten. In unserem AI Experience Lab haben wir zunächst eine kurze Einführung gegeben, was sich hinter dem Buzzword künstliche Intelligenz verbirgt, und die Möglichkeit geboten, mit verschiedenen KI-Anwendungen zu interagieren und herumzuspielen. Zum Beispiel mit einem GPT-3-basierten Data Science Chatbot oder der Teachable Machine von Google.

Nach der Präsentation verschiedener Anwendungsfälle der vorgestellten KI-Technologien konnten die Teilnehmenden weitere Anwendungsfälle für ihr jeweiliges Geschäftsfeld ausarbeiten. Da wir recht spontan die Chance bekamen, eine Lab-Session zu veranstalten, freuten wir uns umso mehr, dass sie sofort ausgebucht war. Die Gruppe war sehr heterogen – Geschäftsleute aus verschiedenen Branchen, Forschende und auch einige Studierende – was zu vielen interessanten Gesprächen und Diskussionen führte. Es war eine große Freude zu sehen, wie interessiert und engagiert die Teilnehmenden waren.

In der abschließenden Fragerunde wollten sie vor allem wissen, wie KI in Zukunft aussehen wird und welche Auswirkungen sie auf die Gesellschaft haben wird. Das hat mir wieder einmal gezeigt, wie wichtig es ist, sich nicht nur auf KI in der Wirtschaft zu konzentrieren, sondern auch Themen im Bereich KI und Gesellschaft anzusprechen und voranzutreiben.

2. Blind Spot – Das Spiel für Ihr nächstes Teamevent

Neben unserer eigenen Session habe ich noch an einer weiteren Lab-Session teilgenommen, und die war ein Hit. In diesem Lab hatten wir die Möglichkeit, Blind Spot zu spielen. Blind Spot ist ein kooperatives Brettspiel, das von Sabrina Schenardi und Matthias Koller mit Unterstützung des Spieleentwicklers Robert Stoop im Rahmen einer MBA-Arbeit erforscht und entwickelt wurde.

In Teams waren wir für die Leitung eines fiktiven Unternehmens mit allen üblichen Abteilungen wie Personal, Finanzen oder IT verantwortlich. Mit Schnelligkeit, Strategie und Zusammenarbeit mussten wir verschiedene Herausforderungen bewältigen und Zielkonflikte lösen. Es dauerte einige Zeit, bis sich unser Team an den Gedanken gewöhnt hatte, miteinander und nicht gegeneinander zu spielen. Es war auch sehr interessant zu sehen, dass jede:r von uns eine andere Vorstellung davon hatte, was Gewinnen in diesem Spiel bedeutet: Während einige von uns darauf aus waren, so viel Geld wie möglich auf dem Konto zu haben, wollten andere zum Beispiel um jeden Preis vermeiden, in einen blinden Fleck zu geraten (eine Situation, in der man eine enorme Menge an Aufgaben zu lösen hat). Und dann gab es noch diejenigen, die das Spiel einfach schneller als die anderen Teams beenden wollten.

In der abschließenden Diskussion, nachdem alle Teams das Spiel beendet hatten, stellten wir fest, dass keine:r von uns mehr Recht oder Unrecht hatte als die anderen. Genau wie in der realen Geschäftswelt gibt es viele verschiedene Strategien und Maßnahmen, um ein Unternehmen erfolgreich zu führen.

3. Überall Festival-Atmosphäre

Was mir am Digital Festival Zürich im Vergleich zu anderen Business- und Networking-Konferenzen wirklich gefällt, ist der außergewöhnliche Veranstaltungsort und die lockere Atmosphäre dieser Veranstaltung. Schon beim Einchecken erinnerten mich die Badges und Festivalarmbänder mehr an meinen Besuch des Gurtenfestivals vor ein paar Jahren, als an meinen letzten Besuch einer Business-Konferenz. Nur, dass das Einchecken hier viel schneller ging als bei jedem Musikfestival, das ich je besucht habe. Dieses Festivalgefühl zog sich durch die gesamte Veranstaltung und rechtfertigte den Namen Digital Festival voll und ganz.

Das Foyer war mit verschiedenen Foodtrucks, Erlebnisständen und Sitzecken zum Plaudern gefüllt. Der gesamte Hauptveranstaltungsort war sehr offen und flexibel gestaltet, so dass man problemlos zwischen Keynote-Vorträgen, Networking und Catering wechseln konnte, ohne jemanden zu stören. Generell war der Veranstaltungsort perfekt auf das Thema der Digitalisierung abgestimmt. Der Schiffbau, der ursprünglich für den Bau von Schiffen genutzt wurde, befindet sich im Herzen des Zürcher Tech-Quartiers, direkt neben dem berühmten Technopark. Der industrielle Stil des Gebäudes in Kombination mit der modernen, avantgardistischen Dekoration bot die perfekte Umgebung für Innovationen, Ideen und Diskussionen zu Themen unserer digitalen Zukunft.

4. Was für ein kulinarisches Erlebnis!

Das Tüpfelchen auf dem „i“ dieser Veranstaltung war definitiv das Catering. Nach dem Einchecken wurden wir mit Croissants, frischen Säften und Smoothies und – das Beste für einen Frahlingliebhaber wie mich – mit einem Barista-Truck mit frisch geröstetem Kaffee begrüßt. Zum Mittagessen war die Lobby voller Food Trucks, die alles anboten, was das Herz begehrt: Currys, Pasta, Arbeit, Sushi, Burger und mehr – alles superfrisch und lecker. Und das Beste daran: Da die Portionen eher Tapas-Größe hatten, konnte man alles probieren, ohne Lebensmittel zu verschwenden. Es gab auch viele vegetarische und vegane Optionen, so dass wirklich für jeden etwas dabei war. Mein persönlicher Favorit: die vegetarischen Gnocci mit Sahne, Spinat und Walnüssen. Zum Nachtisch konnten wir uns mit einem süßen Eis aus der Region verwöhnen. Nach den Lab-Sessions am Nachmittag wurde uns ein köstlicher Aperitif mit Köstlichkeiten wie Muscheln, Weißweinrisotto und Cocktail-Frikadellen angeboten. Zusammen mit dem lokalen Bier und Wein war dies der perfekte kulinarische Abschluss dieser Veranstaltung.

5.Keynote: KI für die Entscheidungsfindung?

Mein persönliches Highlight beim Digital Festival war die Keynote von Elliott Ash zum Thema Building a Robot Judge – What Role for Artificial Intelligence in Judicial Decision-Making. Anhand der Idee, einen Roboter-Richter zu bauen, ging Elliott Ash auf die Frage ein, wann KI zur Unterstützung der menschlichen Entscheidungsfindung eingesetzt werden sollte. Um diese Frage zu beantworten, stellte er drei Kategorien von Entscheidungsprozessen und die damit verbundenen Chancen und Risiken des Einsatzes von KI in jedem dieser Prozesse vor. Insgesamt sind die wahrscheinlich größten Risiken bei der Integration von KI in Entscheidungsprozesse Vorurteile und Diskriminierung. Da Vorurteile bei KI ein sehr komplexes Thema ist, gibt es noch keine perfekten Lösungen für dieses Problem. Es gibt jedoch Möglichkeiten, wie KI eingesetzt werden kann, um Vorurteile in Systemen und sogar in Menschen zu erkennen.

Im Zusammenhang mit der Entwicklung fairer Algorithmen warf Eliott Ash eine weitere sehr interessante und wichtige Frage auf: Welchen Bezugspunkt verwenden wir, um die Fairness und Transparenz von KI-Systemen zu messen? Bei all den Diskussionen über KI-Fairness vergessen wir oft, dass wir Menschen selbst sehr voreingenommen und inkonsequent sind. In der Tat sind KI-Systeme nur deshalb voreingenommen, weil sie mit menschlichen Daten trainiert und von uns entwickelt und bewertet werden. Er wies auch darauf hin, dass Vorurteile bei KI oft dann auftritt, wenn ein sensibles Merkmal wie die Hautfarbe als Ersatz für ein anderes fehlendes Merkmal verwendet wird.

Ohne hier ins Detail zu gehen, hat mir dies einmal mehr gezeigt, wie wichtig es ist, den Bereich des kausalen maschinellen Lernens voranzutreiben, um KI-Systeme mit kausalem Denken zu entwickeln, da diese Systeme das Proxy-Problem automatisch lösen würden und insgesamt robuster sind als aktuelle KI-Lösungen.

Abschließend möchte ich Elliott Ash für diese großartige Keynote danken, die alle meine persönlichen Interessen rund um KI – Voreingenommenheit, Ethik, Menschen und Kausalität – vereint und mir viele neue Ideen und Gedanken zu diesen Themen vermittelt hat.

Fazit

Nach unserer Teilnahme am Digital Festival Zürich im letzten Jahr hatten wir hohe Erwartungen an das diesjährige Digital Festival, und wir wurden nicht enttäuscht. Wenn möglich, war die diesjährige Ausgabe sogar noch besser.

Zusätzlich zu meinen fünf oben genannten Highlights habe ich all die interessanten Menschen, die ich getroffen habe – alte Freunde und neue Bekannte – und die anregenden Diskussionen mit ihnen sehr geschätzt. Ich habe mich auch sehr gefreut, dass ich einen ganzen Tag mit meinen Schweizer Teamkollegen verbringen konnte, denn aufgrund der Corona-Pandemie war dies schon lange nicht mehr möglich.

Abschließend möchte ich mich bei allen Organisator:innen des Digital Festivals für die Durchführung dieses Events und bei allen Teilnehmenden für ihre Ideen, Inputs und ihre positive Energie bedanken. Wir freuen uns schon jetzt auf das Digital Festival 2022!

Livia Eichenberger

Einleitung

Jeder Data-Science- und KI-Experte wird Ihnen sagen: Reale Data Science und KI-Initiativen bringen verschiedene Herausforderungen mit sich, auf die weder praktische Programmierwettbewerbe noch theoretische Vorlesungen vorbereiten können. Und manchmal – erschreckend oft [1, 2] – führen diese Probleme in der Praxis dazu, dass vielversprechende KI-Projekte oder ganze KI-Initiativen scheitern. Seit geraumer Zeit wird eine rege Diskussion über die eher technischen Fallstricke und mögliche Lösungen geführt. Zu den bekannteren Problemen gehören z. B. isolierte Daten, schlechte Datenqualität, zu unerfahrene oder unterbesetzte DS & KI-Teams, unzureichende Infrastruktur für das Training und die Bereitstellung von Modellen. Ein weiteres Problem ist, dass zu viele Lösungen aufgrund organisatorischer Probleme nie in die Produktion überführt werden.

Erst in letzter Zeit hat sich der Fokus des Diskurses mehr auf strategische Fragen verlagert. Meiner Meinung nach wird diesen Aspekten jedoch immer noch nicht die Aufmerksamkeit zuteil, die sie verdienen.

Deshalb möchte ich in diesem Beitrag meine Meinung zu den wichtigsten (nicht-technischen) Gründen für das Scheitern von DS & KI-Initiativen darlegen. Darüber hinaus werde ich Ihnen verschiedene Ansätze zur Lösung dieser Probleme vorstellen. Ich bin Data & Strategy Consultant bei STATWORX und ich bin sicher, dass dieser Artikel eher subjektiv ist. Er spiegelt meine persönlichen Erfahrungen mit den Problemen und Lösungen wider, auf die ich gestoßen bin. 

Problem Nr. 1: Mangelnde Verknüpfung von Projektumfang und tatsächlichem Business-Problem Problem 1

Ein Problem, das viel häufiger auftritt, als man denken würde, ist die Fehlanpassung der entwickelten Data Science und KI-Lösungen an die tatsächlichen Geschäftsbedürfnisse. Das fertige Produkt erfüllt vielleicht genau die Aufgabe, die das DS- und KI-Team lösen wollte, aber die Anwender:innen suchen eventuell nach einer Lösung für eine ähnliche, aber deutlich andere Aufgabe.

Zu wenig Austausch durch indirekte Kommunikationskanäle oder das Fehlen einer gemeinsamen Sprache und eines gemeinsamen Referenzrahmens führt oft zu grundlegenden Missverständnissen. Das Problem ist, dass ironischerweise nur eine extrem detaillierte, effektive Kommunikation solche subtilen Probleme aufdecken kann.

Die Einbeziehung zu weniger oder selektiver Perspektiven kann zu einem bösen Erwachen führen

In anderen Fällen unterscheiden sich einzelne Teilprozesse oder die Arbeitsweisen einzelner Nutzenden sehr stark. Oft sind sie so unterschiedlich, dass eine Lösung, die für einen der Anwender:innen/Prozesse von großem Nutzen ist, für alle anderen kaum Vorteile bringt (die Entwicklung von Lösungsvarianten ist zwar manchmal eine Option, aber bei weitem nicht so kosteneffizient).

Wenn Sie Glück haben, stellen Sie dies bereits zu Beginn eines Projekts bei der Erhebung der Anforderungen fest. Wenn man Pech hat, kommt das böse Erwachen erst beim breiteren Nutzertest oder gar bei der Einführung, wenn sich herausstellt, dass die Nutzer:innen oder Expert:innen, die die bisherige Entwicklung beeinflusst haben, keinen allgemeingültigen Input geliefert haben und das entwickelte Werkzeug daher nicht allgemein einsetzbar ist.

Wie Sie diesem Problem entgegenwirken können:

  • Führen Sie ein strukturiertes und gründliches Requirements Engineering durch. Nehmen Sie sich die Zeit, mit so vielen Expert:innen und Nutzer:innen wie möglich zu sprechen, und versuchen Sie, alle impliziten Annahmen so explizit wie möglich zu machen. Obwohl das Requirements Engineering aus dem Wasserfall-Paradigma stammt, kann es leicht für die agile Entwicklung angepasst werden. Die ermittelten Anforderungen dürfen einfach nicht als endgültige Produktmerkmale verstanden werden, sondern als Elemente für Ihr anfängliches Backlog, die ständig (neu) bewertet und (neu) priorisiert werden müssen.
  • Definieren Sie unbedingt Erfolgsmessungen. Tun Sie dies vor Projektbeginn, am besten in Form von objektiv quantifizierbaren KPIs und Benchmarks. Dies trägt wesentlich dazu bei, das Geschäftsproblem bzw. den Geschäftswert, der der angestrebten Lösung zugrunde liegt, zu ermitteln.
  • Erstellen Sie, wann immer möglich und so schnell wie möglich, Prototypen, Mock-ups oder sogar Storyboards. Präsentieren Sie diese Lösungsentwürfe so vielen Testnutzern wie möglich. Diese Methoden erleichtern das Einholen von offenem und präzisem Nutzerfeedback, das in die weitere Entwicklung einfließt. Achten Sie darauf, dass Sie eine für die Gesamtheit der Nutzer repräsentative Stichprobe einbeziehen.

Problem Nr. 2: Effizienz- und Ressourcenverluste durch nicht strukturierte Data Science- und KI-Maßnahmen Problem 2

Dezentralisierte Data Science- & KI-Teams entwickeln ihre Anwendungsfälle oft mit wenig bis gar keinem Austausch oder Abgleich zwischen den aktuellen Anwendungsfällen und Backlogs der Teams. Dies kann dazu führen, dass verschiedene Teams versehentlich und unbemerkt (Teile) der gleichen (oder sehr ähnlichen) Lösung entwickeln.

In den meisten Fällen wird, wenn eine solche Situation entdeckt wird, eine der redundanten DS & KI-Lösungen eingestellt oder es werden keine zukünftigen Mittel für die weitere Entwicklung oder Wartung bereitgestellt. So oder so, die redundante Entwicklung von Anwendungsfällen führt immer zu einer direkten Verschwendung von Zeit und anderen Ressourcen ohne oder mit nur minimalem Zusatznutzen.

Problematisch ist auch die fehlende Abstimmung des Use Case Portfolios eines Unternehmens auf die allgemeine Geschäfts- oder KI-Strategie. Dies kann hohe Opportunitätskosten verursachen: Anwendungsfälle, die nicht zur allgemeinen KI-Vision beitragen, können unnötigerweise wertvolle Ressourcen blockieren. Außerdem werden potenzielle Synergien zwischen strategisch wichtigeren Anwendungsfällen (Use Cases) möglicherweise nicht voll ausgeschöpft. Und schließlich könnte der Aufbau von Kompetenzen in Bereichen erfolgen, die von geringer oder gar keiner strategischen Bedeutung sind.

Wie Sie diesem Problem entgegenwirken können:

  • Kommunikation ist der Schlüssel. Deshalb sollte es immer eine Reihe von Möglichkeiten für die Data-Science-Expert:innen innerhalb eines Unternehmens geben, sich zu vernetzen und ihre Erfahrungen und Best Practices auszutauschen – insbesondere bei dezentralen DS & KI-Teams. Damit dies funktioniert, ist es wichtig, eine Arbeitsatmosphäre der Zusammenarbeit zu schaffen. Der freie Austausch von Erfolgen und Misserfolgen und damit die interne Verbreitung von Kompetenzen kann nur ohne Konkurrenzdenken gelingen.
  • Eine weitere Möglichkeit, das Problem zu entschärfen, ist die Einrichtung eines zentralen Ausschusses, der mit der Verwaltung des DS und KI Use Case Portfolios der Organisation betraut ist. Diesem Ausschuss sollten Vertreter:innen aller (dezentralen) Data Science und KI-Abteilungen sowie der Geschäftsleitung angehören. Gemeinsam überwacht der Ausschuss die Abstimmung von Use Cases und der KI-Strategie, um Redundanzen zu vermeiden und Synergien voll auszuschöpfen.

Problem Nr. 3: Unrealistisch hohe Erwartungen an den Erfolg von Data Science und KI Problem 3

Es mag paradox klingen, aber ein zu großer Optimismus in Bezug auf die Möglichkeiten und Fähigkeiten von Data Science und KI kann dem Erfolg abträglich sein. Denn zu optimistische Erwartungen führen oft dazu, dass die Anforderungen unterschätzt werden, wie z. B. die für die Entwicklung benötigte Zeit oder der Umfang und die Qualität der benötigten Datenbasis.

Gleichzeitig sind die Erwartungen in Bezug auf die Modellgenauigkeit oft zu hoch, ohne dass man die Grenzen des Modells und die grundlegenden Mechanismen von Machine Learning kennt. Diese Unerfahrenheit kann dazu führen, dass viele wichtige Tatsachen nicht erkannt werden, einschließlich, aber nicht beschränkt auf die folgenden Punkte: die unvermeidliche Extrapolation historischer Muster auf die Zukunft; die Tatsache, dass externe Paradigmenwechsel oder Schocks die Generalisierbarkeit und Leistung von Modellen gefährden; die Komplexität der Harmonisierung von Vorhersagen mathematisch nicht verwandter Modelle; die geringe Interpretierbarkeit naiver Modelle oder die Dynamik der Modellspezifikationen aufgrund von Umschulungen.

DS & KI sind einfach keine Wunderwaffe, und zu hohe Erwartungen können dazu führen, dass die Begeisterung in tiefe Ablehnung umschlägt. Die anfänglichen Erwartungen werden fast zwangsläufig nicht erfüllt und weichen daher oft einer tiefgreifenden und undifferenzierten Ablehnung von DS & KI. Dies kann in der Folge dazu führen, dass weniger auffällige, aber nützliche Anwendungsfälle keine Unterstützung mehr finden.

Wie Sie diesem Problem entgegenwirken können:

  • Versuchen Sie in Ihrer Kommunikation mit Stakeholdern stets realistische Perspektiven zu vermitteln. Achten Sie darauf, eindeutige Botschaften und objektive KPIs zu verwenden, um Erwartungen zu steuern und Bedenken so offen wie möglich anzusprechen.
  • Die Weiterbildung der Stakeholder und des Managements in den Grundlagen von Machine Learning und KI versetzt sie in die Lage, realistischere Einschätzungen und damit sinnvollere Entscheidungen zu treffen. Technisch fundiertes Wissen ist oft nicht notwendig. Konzeptuelles Fachwissen auf einem relativ hohen Abstraktionsniveau ist ausreichend (und glücklicherweise viel leichter zu erlangen).
  • Schließlich sollte, wann immer möglich, ein PoC vor einem vollwertigen Projekt durchgeführt werden. Dies ermöglicht es, empirische Hinweise auf die Durchführbarkeit des Use Cases zu sammeln und hilft bei der realistischen Einschätzung der erwarteten Leistung, die anhand relevanter (vordefinierter!) KPIs gemessen wird. Wichtig ist es auch, die Ergebnisse solcher Tests ernst zu nehmen. Bei einer negativen Prognose sollte nie einfach davon ausgegangen werden, dass sich mit mehr Zeit und Aufwand alle Probleme des PoC in Luft auflösen werden.

Problem Nr. 4: Ressentiments und grundsätzliche Ablehnung von Data Science und KI Problem 4

Eine unsichtbare, aber nicht zu unterschätzende Hürde liegt in den Köpfen der Menschen. Dies gilt sowohl für die Belegschaft als auch für das Management. Oft werden vielversprechende Data Science und KI-Initiativen aufgrund von tief verwurzelten, aber undifferenzierten Vorbehalten ausgebremst. Das richtige Mindset ist entscheidend.

Obwohl DS und KI in aller Munde sind, fehlt es in vielen Unternehmen noch an echtem Management-Engagement. Häufig werden zwar Lippenbekenntnisse zu DS & KI abgegeben und erhebliche Mittel investiert, aber die Vorbehalte gegenüber KI bleiben bestehen.

Begründet wird dies oft mit den inhärenten Verzerrungen und Unsicherheiten von KI-Modellen und ihrer geringen direkten Interpretierbarkeit. Hinzu kommt manchmal eine generelle Abneigung, Erkenntnisse zu akzeptieren, die nicht mit der eigenen Intuition übereinstimmen. Die Tatsache, dass die menschliche Intuition oft viel stärkeren – und im Gegensatz zu KI-Modellen nicht quantifizierbaren – Verzerrungen unterliegt, wird in der Regel ignoriert.

Data Science & KI-Initiativen brauchen die Akzeptanz und Unterstützung der Belegschaft

Dies führt dazu, dass (Entscheidungs-)Prozesse und Organisationsstrukturen (z.B. Rollen, Verantwortlichkeiten) nicht so angepasst werden, dass DS & KI-Lösungen ihren (vollen) Nutzen entfalten können. Dies wäre aber notwendig, denn Data Science & KI ist nicht einfach eine weitere Softwarelösung, die sich nahtlos in bestehende Strukturen integrieren lässt.

DS & KI ist eine disruptive Technologie, die unweigerlich ganze Branchen und Organisationen umgestalten wird. Unternehmen, die sich diesem Wandel verweigern, werden auf lange Sicht wahrscheinlich genau an diesem Paradigmenwechsel scheitern. Die Ablehnung des Wandels beginnt bei scheinbaren Kleinigkeiten, wie der Umstellung des Projektmanagements von der Wasserfallmethode auf eine agile, iterative Entwicklung. Ungeachtet der allgemein positiven Aufnahme bestimmter Veränderungsmaßnahmen wird manchmal eine völlig irrationale Ablehnung der Reform bestehender (noch) funktionierender Prozesse festgestellt. Dabei wäre genau das notwendig, um – zugegebenermaßen erst nach einer Phase der Neujustierung – langfristig wettbewerbsfähig zu sein.

Während Vision, Strategie und Strukturen von oben nach unten verändert werden müssen, kann das operative Tagesgeschäft nur von unten nach oben, durch die Mitarbeitenden, revolutioniert werden. Das Engagement des Managements und das beste Werkzeug der Welt sind nutzlos, wenn die Endnutzer:innen nicht in der Lage oder willens sind, es anzunehmen. Die allgemeine Unsicherheit über die langfristige KI-Roadmap und die Angst, durch Maschinen ersetzt zu werden, schüren Ängste, die dazu führen, dass DS & KI-Lösungen nicht in den Arbeitsalltag integriert werden. Dies ist natürlich mehr als problematisch, da nur die (richtige) Anwendung von KI-Lösungen einen Mehrwert schafft.

Wie Sie diesem Problem entgegenwirken können:

  • Es überrascht nicht, dass ein solides Change Management der beste Ansatz ist, um die KI-feindliche Denkweise zu entschärfen. Dies sollte nicht nur ein nachträglicher Gedanke, sondern ein integraler Bestandteil jeder DS & KI-Initiative und es sollten Verantwortlichkeiten für diese Aufgabe zugewiesen werden. Eine frühzeitige, umfassende, detaillierte und klare Kommunikation ist unerlässlich. Welche Schritte werden voraussichtlich wann und wie genau umgesetzt? Denken Sie daran, dass es schwer ist, einmal verlorenes Vertrauen wiederzugewinnen. Daher sollten alle Unklarheiten in der Planung angesprochen werden. Entscheidend ist es, bei allen Beteiligten ein Grundverständnis für die Sache zu schaffen und die Notwendigkeit der Veränderung zu verdeutlichen (z.B. weil sonst die Wettbewerbsfähigkeit gefährdet ist, Erfolgsgeschichten oder Misserfolge der Konkurrenz). Darüber hinaus ist der Dialog mit den Betroffenen von großer Bedeutung. Feedback sollte frühzeitig eingeholt und nach Möglichkeit umgesetzt werden. Bedenken sollten immer gehört und respektiert werden, auch wenn sie nicht berücksichtigt werden können. Falsche Versprechungen sind jedoch strikt zu vermeiden; stattdessen sollte man versuchen, die Vorteile von DS & KI in den Vordergrund zu stellen.
  • Neben der Einsicht in die Notwendigkeit von Veränderungen ist auch die grundsätzliche Fähigkeit zur Veränderung wichtig. Die Angst vor dem Unbekannten oder Unverständlichen ist uns Menschen inhärent. Daher kann Bildung – nur auf dem für die jeweilige Rolle notwendigen Abstraktions- und Tiefenniveau – einen großen Unterschied machen. Entsprechende Schulungsmaßnahmen sind keine einmalige Angelegenheit; der Aufbau von aktuellem Wissen und die Ausbildung im Bereich Data Science & KI müssen langfristig sichergestellt werden. Die allgemeine Datenkompetenz der Belegschaft muss ebenso sichergestellt werden, wie die Auf- oder Umschulung von technischen Expert:innen. Die Mitarbeitenden müssen eine realistische Chance erhalten, neue und attraktivere Beschäftigungsmöglichkeiten zu erhalten, indem sie sich weiterbilden und sich mit DS & KI beschäftigen. Das wahrscheinlichste Ergebnis sollte niemals sein, dass sie durch DS & KI ihren alten Arbeitsplatz (teilweise) verlieren, sondern muss als Chance und nicht als Gefahr wahrgenommen werden; Data Science & KI müssen Perspektiven schaffen und dürfen sie nicht verderben.
  • Übernehmen oder adaptieren Sie die Best Practices von DS & KI-Führungskräften in Bezug auf die Definition von Rollen- und Kompetenzprofilen, die Anpassung von Organisationsstrukturen und Wertschöpfungsprozessen. Bewährte Ansätze können als Blaupause für die Reformierung Ihrer Organisation dienen und so sicherstellen, dass Sie auch in Zukunft wettbewerbsfähig bleiben.

Schlussbemerkungen

Wie Sie vielleicht bemerkt haben, bietet dieser Blogbeitrag keine einfachen Lösungen. Das liegt daran, dass die Probleme, um die es hier geht, komplex und mehrdimensional sind. Dieser Artikel hat high-level Ansätze zur Entschärfung der angesprochenen Probleme geliefert, aber es muss betont werden, dass diese Probleme einen ganzheitlichen Lösungsansatz erfordern. Dies erfordert eine klare KI-Vision und eine daraus abgeleitete solide KI-Strategie, nach der die Vielzahl der notwendigen Maßnahmen koordiniert und gesteuert werden kann.

Deshalb muss ich betonen, dass wir das Stadium, in dem experimentelle und unstrukturierte Data Science und KI-Initiativen erfolgreich sein können, längst verlassen haben. DS & KI darf nicht als technisches Thema behandelt werden, das ausschließlich in Fachabteilungen stattfindet. Es ist an der Zeit, KI als strategisches Thema anzugehen. Wie bei der digitalen Revolution werden nur Organisationen, in denen KI das Tagesgeschäft und die allgemeine Geschäftsstrategie vollständig durchdringt und reformiert, langfristig erfolgreich sein. Wie oben beschrieben, birgt dies zweifelsohne viele Fallstricke, stellt aber auch eine unglaubliche Chance dar.

Wenn Sie bereit sind, diese Veränderungen zu integrieren, aber nicht wissen, wo Sie anfangen sollen, helfen wir von STATWORX Ihnen gerne. Besuchen Sie unsere Website und erfahren Sie mehr über unser Angebot im Bereich AI Strategy!

Quellen

[1] https://www.forbes.com/sites/forbestechcouncil/2020/10/14/why-do-most-ai-projects-fail/?sh=2f77da018aa3 [2] https://blogs.gartner.com/andrew_white/2019/01/03/our-top-data-and-analytics-predicts-for-2019/

Lea Waniek

Lea Waniek

Dieser Artikel ist am 28. August 2021 in der Zeitung DIE WELT erschienen.

WELT_Menschzentrierte KI
 

Künstliche Intelligenz (KI) ist einer der zentralen Treiber der digitalen Transformation. Über die vergangene Dekade hinweg haben sich bahnbrechende Anwendungen der Technologie regelmäßig aneinandergereiht und sich dabei regelmäßig selbst überholt. Angetrieben durch den immer weiter voranschreitenden Erfolg von KI-Technologie diffundiert diese stetig in alle wesentlichen Bereiche des menschlichen Lebens hinein. Neben der Arbeitswelt schließt dies insbesondere auch das breitere gesellschaftliche Leben ein. Dabei sind sich KI-Experten alle einig, dass der aktuelle Entwicklungsstand von KI nur die Spitze eines riesigen Eisbergs ist, dessen Freilegung gerade erst begonnen hat. Die dadurch entstehenden Veränderungen werden eine neue Ära unserer Gesellschaft entstehen lassen, in der Menschen mit Maschinen Seite an Seite arbeiten und leben werden.

Mit der wachsenden Bedeutung von KI für die Gesellschaft nimmt auch die Sorge der Menschen zu, dass die Technologie, die ohnehin schon so viel verändert, in einigen Jahren dazu führen wird, dass Menschen „wie Roboter“ handeln. Während Künstliche Intelligenz heute noch als Werkzeug dient – so wie Maschinen oder Computer früher – wird sie sich in Zukunft zunehmend in die Gedanken und Handlungen der Menschen einbringen. Dazu wird sie das Verhalten von Personen und das Zusammenspiel mit anderen Menschen analysieren, um daraus abzulesen, welche Handlungsoptionen für ihre Nutzer in einem bestimmten Moment am besten sind.

Menschenzentrierte KI ist ein Teilbereich der KI-Forschung, der sich auf die Entwicklung von KI-Systemen konzentriert, die sich menschenähnlich verhalten. Im Gegensatz zur traditionellen KI-Forschung, die sich auf die Entwicklung von KI-Systemen konzentriert, die sich rational und ohne menschenähnliche Eigenschaften verhalten sollen, zielt die menschenzentrierte KI darauf ab, den Menschen und die menschliche Intelligenz zu studieren, um KI-Systeme mit ähnlichen Eigenschaften zu entwickeln.

Die menschenzentrierte KI ist durch den Wunsch motiviert, KI-Systeme zu schaffen, die mit Menschen auf natürliche Weise interagieren können. Rationale KI-Systeme können zwar intelligent handeln, verhalten sich aber nicht wie Menschen, was ein Hindernis für ihre Akzeptanz durch Menschen sein kann. Während sich die herkömmliche KI-Forschung auf die Überwindung dieser Barriere konzentriert hat, zielt die menschenzentrierte KI-Forschung darauf ab, KI-Systeme zu schaffen, die sich auf natürliche Weise verhalten, so dass sie für den Menschen besser nachvollziehbar und akzeptabel sind. Es ist wichtig, dass wir uns im Vorfeld vergewissern, dass die Technologie im Einklang mit unserer Menschlichkeit steht und den Menschen in der Arbeitswelt nicht nur unterstützt, sondern ihn auch nicht „überholt“. Eine solche menschenzentrierte KI kann dabei helfen, menschliche und nicht-menschliche Intelligenz in einem gesunden Verhältnis miteinander zu integrieren. Der Fokus liegt dabei auf den Bedürfnissen der Nutzer, die als die wichtigsten Zielgruppen der Technologie betrachtet werden.

Die zentrale Herausforderung der künstlichen Intelligenz ist daher nicht die Technologie selbst, sondern vielmehr der Umgang des Menschen mit dieser Technologie. Die technische Entwicklung wird in Zukunft weitergehen und damit immer intelligentere, autonome Systeme hervorbringen. Die Systeme und ihre Entscheidungsprozesse werden den Menschen zunehmend hinter sich lassen, „maschinelles Lernen“ wird das Gebot der Stunde sein. Dabei ist es wichtig, dass die Menschen die KI-Technologie als einen Schritt in eine bessere Zukunft begreifen und nicht als Bedrohung verkörpert. Die Entwicklung der KI ist ein Prozess, der nur durch den Dialog zwischen Menschen und Technologien bewältigt werden kann. Die unzureichende Aufklärung der Gesellschaft über die Technologie und die unzureichende Kommunikation zwischen den Nutzern und der Industrie spielen hierbei eine große Rolle. Dabei sollte der Mensch immer im Vordergrund stehen und nicht nur als ein Werkzeug der KI.

Genese

Der vorstehende Text wurde mithilfe der KI „GPT-3“ verfasst. Das Akronym GPT steht für „Generative Pretrained Transformer“ (in der Version 3), einer KI, die in 2020 durch das Amerikanische Forschungsunternehmen OpenAI entwickelt wurde. Bei GPT-3 handelt es sich um ein sogenanntes generatives Sprachmodell, das auf einer extrem großen Menge an diversen Texten aus dem Internet trainiert wurde.

Das Training von GPT-3 erfolgt mittels Deep Learning, einer Gruppe von Methoden aus dem maschinellen Lernen, die grobe Ähnlichkeiten zur Informationsverarbeitung und -weitergabe im menschlichen Gehirn aufweisen (Nervenzellen bzw. Neuronen geben die zu verarbeitenden Informationen an andere Neuronen und Hirnareale weiter). Im Rahmen des Modelltrainings passen sich die rund 175 Milliarden Parameter von GPT-3 an die zugrundeliegenden Trainingsdaten an und erlernen den Zusammenhang zwischen dem zuvor beobachteten Text eines Satzes/Abschnittes und dem nächsten, wahrscheinlich auftauchenden Wort. Hierdurch generiert die KI während des Lernvorgangs ein generelles und umfassendes Verständnis über die Verwendung von Worten im jeweiligen Kontext.

So geschah es auch in diesem Artikel. Als Ausgangsbasis der Textgenerierung dienten lediglich die ersten fünf Sätze des ersten Absatzes. Hierin wurde der Kontext definiert, in dem die KI operieren soll. Alle darauffolgenden Abschnitte wurden eigenständig durch die KI generiert und inhaltlich nicht modifiziert (Anmerkung: es wurden einzelne Absätze wiederholt erzeugt und anschließend zu einem Artikel zusammengefügt).

Der Schlüssel zum Erfolg liegt also in der geschickten Definition des Kontextes, der die KI im Prozess der Generierung anleitet. Bahnbrechend ist hierbei, dass die Kontextdefinition über natürliche Sprache funktioniert und nicht manuell in die KI „einprogrammiert“ werden muss. Die KI „versteht“ somit eigenständig den Kontext, in dem sie sich bewegen soll.

Wir hoffen, Ihnen mit diesem Beispiel einen Eindruck von der Mächtigkeit solcher KI-Systeme geben zu können. Es ist zu erwarten, dass bereits in naher Zukunft neue Versionen dieser und ähnlicher KI-Systeme entstehen, die in der Lage sein werden, noch bessere Ergebnisse erzeugen zu können.

Sebastian Heinz

Data Science ist in aller Munde, doch wie lässt es sich am besten im Unternehmen einsetzen? Was muss man bei der Planung eines AI Projektes beachten? Was sind die Risiken, und was sind die potenziellen Vorteile? Es sind genau diese Fragen, mit welchen sich die Studierenden der Dualen Hochschulen Baden-Württemberg im Rahmen der Gastvorlesung mit STATWORX auseinandergesetzt haben.

Aspekte der Vorlesung

Anfang Juni haben unser COO Fabian Müller und Data Science Consultant Paul Mora eine Vorlesung im Rahmen des Wirtschaftsingenieur-Studienganges der DHBW gehalten. Der Fokus der Vorlesung war es, den Studierenden bewusst zu machen welche Aspekte es bei der Planung und Evaluierung eines Data Science Projektes zu beachten gilt. Neben den finanziellen Risiken wurde hierbei auch explizit auf die ethischen Fragen der Nutzung von Künstlicher Intelligenz eingegangen.

Fabian Müller, COO bei STATWORX, hält regelmäßig Vorträge an Hochschulen & Universitäten, um aktiv Aufklärung zum Thema künstliche Intelligenz zu betreiben.

Eine unserer Missionen bei STATWORX ist es, unser Wissen mit der Gesellschaft zu teilen. Vorträge an Hochschulen und Universitäten sind dabei eine tolle Möglichkeit, die Generation von morgen für Vorteile und Risiken von KI zu sensibilisieren. 

Hands-on Case Study

Als benotete Hausaufgabe haben sich die Studierenden dann in Gruppen aufgeteilt und einen selbst erdachten Data Science Use Case im Rahmen eines Unternehmens bewertet. Eine besonders gute Bearbeitung der Aufgabe ist dem Team von Christian Paul, Mark Kekel, Sebastian Schmidt und Moritz Brüggemann gelungen. Wie im folgenden Abstract beschrieben, widmete sich das Team der Überlegung des Einsatzes von Data Science bei der Vorhersage von Kundenbestellungen.

Consultant Paul Mora erklärt den Studierenden der DHBW den AI Project Canvas.

Abstract: Anwendung künstlicher Intelligenz im Kontext eines fiktiven Unternehmens

Die vorliegende Fallstudie gibt einen Überblick über die Möglichkeiten einer KI-gesteuerten Problemlösung anhand des fiktiven und aufstrebenden Unternehmens aus dem Bereich der Wintersportausrüster. Hierbei wurden vier unterschiedliche Use-Cases, die von der Nutzung einer KI profitieren, innerhalb einer Machbarkeits-Wirkungs-Matrix analysiert und das Konzept eines KI-gesteuerten After-Sales-Managements priorisiert.

Bezüglich des After-Sales-Managements wurden bis dato keine innovativen Methoden zur Verkaufsförderung entwickelt. Lediglich die Versendung von Gutscheinen, vier Wochen nach Erhalt der Bestellung, findet bereits Anwendung. Dies stellt hierbei jedoch keine adäquate Lösung für eine langfristige Kundenbindung dar. Mithilfe konzentrierter Rabatt- oder Gutscheinaktionen sollen Kunden zukünftig zum richtigen Zeitpunkt zu einem erneuten Kauf der Produkte angeregt werden. Der richtige Zeitpunkt, also der Fälligkeitstag, an dem der Bedarf des Kunden auftritt, soll hierbei unter der Verwendung von KI fortlaufend ermittelt werden. Unter dem Einsatz der KI erhofft sich das Management den Customer Journey nachvollziehen und diesen zukünftig vorhersagen zu können. Die absatzsteigernde Maßnahme basiert dabei auf dem von Daniel Kahnemann und Vernon L. Smith entwickeltem Konzept der deskriptiven Entscheidungstheorie, welche empirisch darstellt, wie Entscheidungen in der Realität getroffen werden. Die deskriptive Entscheidungstheorie definiert dabei Anreize zur richtigen Zeit, um gegenwärtige Bedürfnisse/ Bedarfe zu stillen, als einen zentralen Aspekt in der Entscheidungsfindung eines Entscheidungsträgers.

Das Data Sciences Model Canvas wurde hierbei als Werkzeug zur Strukturierung des Implementierungsprozesses der KI innerhalb des Unternehmens gewählt. Dabei soll das vorliegende Machine-Learning-Problem, unter dessen Verwendung zukünftige Bestelltermine der Kunden vorausgesagt werden sollen, mithilfe des sogenannten „Supervised Learnings“ bearbeitet werden. Übergreifend versucht der Algorithmus eine Hypothese zu finden, die möglichst zielsichere Annahmen trifft, wobei es sich unterkategorisiert um ein Regressionsproblem handelt. Richtig umgesetzt, werden Kunden bereits zum Zeitpunkt, an dem ihr Bedarf auftritt, mithilfe von konzentrierten Rabattaktionen zu einem Kauf angeregt. Dies ermöglicht unter anderem auch die Bindung hybrider Kunden, deren Nachfrageverhalten zwar wechselhaft ist, jedoch latent beeinflusst werden kann. Der Einsatz eines intelligenten After-Sales-Management-Systems ermöglicht somit eine langfristige Markt- und Kundenorientierung.

Interesse geweckt?

Den voll ausgearbeiteten Bericht sowie eine kurze und prägnante Management-Präsentation könnt Ihr euch nachfolgend herunterladen. Der Bericht zeigt, wie man Data Science effektiv innerhalb ein Unternehmen verwenden kann, um Kundenbeziehung zu stärken und Entscheidungen fundierter zu treffen. Des Weiteren präsentiert der Bericht drei weitere potentielle Einsatzmöglichkeiten von AI und wägt dessen Vorteile und Nachteile durch das AI Project Canvas ab.

Paul Mora Paul Mora

«Vertrauen schaffen durch menschenzentrierte KI»: Unter diesem Slogan hat die Europäische Kommission in der vergangenen Woche ihren Vorschlag zur Regulierung von künstlicher Intelligenz (KI-Regulierung) vorgestellt. Dieser historische Schritt positioniert Europa als ersten Kontinent, der KI und den Umgang mit personenbezogenen Daten einheitlich reguliert. Mithilfe dieser wegweisenden Regulierung soll Europa Standards zur Nutzung mit Daten und KI setzen – auch über die europäischen Grenzen hinaus. Dieser Schritt ist richtig. KI ist ein Katalysator der digitalen Transformation mit nachhaltigen Implikationen für Wirtschaft, Gesellschaft und Umwelt. Klare Spielregeln für den Einsatz dieser Technologie sind deshalb ein Muss. Damit kann sich Europa als progressiver Standort positionieren, der bereit ist für das digitale Zeitalter. In der aktuellen Form wirft der Vorschlag aber noch einige Fragen bei der praktischen Umsetzung auf. Abstriche bei der digitalen Wettbewerbsfähigkeit kann sich Europa im immer weiter klaffenden Wettbewerb mit Amerika und China nicht leisten.

Transparenz bei Risiken von KI

Zwei zentrale Vorschläge der KI-Regulierung zur Schaffung von Vertrauen

Um Vertrauen in KI-Produkte zu schaffen, setzt der Vorschlag zur KI-Regulierung auf zwei zentrale Ansätze: Risiken künstlicher Intelligenz überwachen und gleichzeitig ein «Ökosystem an KI-Exzellenz» kultivieren. Konkret beinhaltet der Vorschlag ein Verbot für die Anwendung von KI zu manipulativen und diskriminierenden Zwecken oder zur Beurteilung von Verhalten durch ein «Social Scoring System». Anwendungsfälle, die nicht in diese Kategorie fallen, sollen trotzdem auf Gefahren untersucht und auf einer vagen Risikoskala platziert werden. An Hochrisikoanwendungen werden besondere Anforderungen gestellt, deren Einhaltung sowohl vor als auch nach der Inbetriebnahme geprüft werden soll.

Dass anstelle einer Pauschalregulierung KI-Anwendungen auf Fallbasis beurteilt werden sollen, ist entscheidend. Noch letztes Jahr forderte die Europäische Kommission in einem Whitepaper die breite Einstufung aller Anwendungen in Geschäftsbereichen wie dem Gesundheitssektor oder der Transportindustrie. Diese flächendeckende Einstufung anhand definierter Branchen, unabhängig der eigentlichen Use Cases, wäre hinderlich und hätte für ganze Industrien auf dem Kontinent strukturelle Benachteiligungen bedeutet. Diese Fall-zu-Fall-Beurteilung erlaubt die agile und innovative Entwicklung von KI in allen Sektoren und unterstellt zudem alle Branchen den gleichen Standards zur Zulassung von risikoreichen Anwendungen.

Klare Definition von Risiken einer KI-Anwendung fehlt

Allerdings lässt der Vorschlag zur KI-Regulierung eine klare Definition von «hohen Risiken» vermissen. Da Entwickler selbst für die Beurteilung ihrer Anwendungen zuständig sind, ist eine klar definierte Skala zur Beurteilung von Risiken unabdingbar. Artikel 6 und 7 umschreiben zwar Risiken und geben Beispiele von «Hochrisikoanwendungen», ein Prozess zur Beurteilung von Risiken einer KI-Anwendung wird aber nicht definiert. Besonders Start-ups und kleinere Unternehmen, die unter KI-Entwicklern stark vertreten sind, sind auf klare Prozesse und Standards angewiesen, um gegenüber Großunternehmen mit entsprechenden Ressourcen nicht ins Hintertreffen zu geraten. Dazu sind praxisnahe Leitlinien zur Beurteilung von Risiken nötig.

Wird ein Use Case als «Hochrisikoanwendung» eingestuft, dann müssen verschiedene Anforderungen hinsichtlich Data Governance und Risk Management erfüllt sein, bevor das Produkt auf den Markt gebracht werden kann. So müssen verwendete Trainingsdatensätze nachweislich auf Verzerrungen und einseitige Tendenzen geprüft werden. Auch sollen die Modellarchitektur und Trainingsparameter dokumentiert werden. Nach dem Deployment muss ein Maß an menschlicher Aufsicht über getroffene Entscheidungen des Modells sichergestellt werden.

Verantwortlichkeit zu KI-Produkten ist ein hohes und wichtiges Ziel. Allerdings bleibt erneut die praktische Umsetzung dieser Anforderungen fraglich. Viele moderne KI-Systeme nutzen nicht länger den herkömmlichen Ansatz von Trainings- und Testdaten, sondern setzen bspw. durch Reinforcement Learning auf exploratives Training durch Feedback anstelle eines statischen, prüfbaren Datensatzes. Fortschritte in Explainable AI brechen zwar undurchschaubare Black-Box Modelle stetig weiter auf und ermöglichen immer mehr Rückschlüsse auf die Wichtigkeit von Variablen im Entscheidungsprozess eines Modelles, aber komplexe Modellarchitekturen und Trainingsprozesse vieler moderner neuronaler Netzwerke machen einzelne Entscheide eines solchen Modells für Menschen kaum sinnhaft rekonstruierbar.

Auch werden Anforderungen an die Genauigkeit der Prognosen oder Klassifizierungen gestellt. Dies stellt Entwickler vor besondere Herausforderungen, denn kein KI-System hat eine perfekte Genauigkeit. Dieser Anspruch besteht auch nicht, oftmals werden Fehlklassifikationen so eingeplant, dass sie für den jeweiligen Use Case möglichst wenig ins Gewicht fallen. Deshalb ist es unabdinglich, dass die Anforderungen an die Genauigkeit von Prognosen und Klassifikationen von Fall zu Fall in Anbetracht der Anwendung festgelegt werden und auf Pauschalwerte verzichtet wird.

KI-Exzellenz ermöglichen

Europa gerät ins Hintertreffen

Mit diesen Anforderungen will der Vorschlag zur KI-Regulierung durch Transparenz und Verantwortlichkeit Vertrauen in die Technologie wecken. Dies ist ein erster, richtiger Schritt in Richtung «KI-Exzellenz». Nebst Regulierung muss der KI-Standort Europa dazu aber auch für Entwickler und Investoren mehr Strahlkraft erhalten.

Laut einer jüngst veröffentlichten Studie des Center for Data Innovation gerät Europa sowohl gegenüber den Vereinigten Staaten als auch China im Anspruch um die weltweite Führungsposition in Sachen KI bereits ins Hintertreffen. So hat China mittlerweile in der Anzahl veröffentlichter Studien und Publikationen zu künstlicher Intelligenz Europa den Rang abgelaufen und die weltweite Führung übernommen. Auch ziehen europäische KI-Unternehmen erheblich weniger Investitionen an als ihre amerikanischen Pendants. Europäische KI-Unternehmen investieren weniger Geld in Forschung und Entwicklung und werden auch seltener aufgekauft als ihre amerikanischen Kollegen.

Ein Schritt in die richtige Richtung: Unterstützung von Forschung und Innovation

Der Vorschlag der EU-Kommission erkennt an, dass für Exzellenz auf dem europäischen Markt mehr Unterstützung für KI-Entwicklung benötigt wird und verspricht Regulatory Sandboxes, also rechtliche Spielräume zur Entwicklung und Testung innovativer KI-Produkte, und die Kofinanzierung von Forschungs- und Teststätten für KI. Dadurch sollen insbesondere Start-ups und kleinere Unternehmen wettbewerbsfähiger werden und für mehr europäische Innovationen sorgen.

Dies sind notwendige Schritte, um Europa auf den Weg zur KI-Exzellenz zu hieven, allerdings ist damit nicht genug getan. KI-Entwickler brauchen einfacheren Zugang zu Märkten außerhalb der EU, was auch das Vereinfachen von Datenströmen über Landesgrenzen bedeutet. Die Möglichkeiten zur Expansion in die USA und Zusammenarbeit mit Silicon Valley ist für die digitale Branche besonders wichtig, um der Vernetzung von digitalen Produkten und Services gerecht zu werden.

Was in dem Vorschlag zur KI-Regulierung gänzlich fehlt ist die Aufklärung über KI und deren Potenzial und Risiken außerhalb von Fachkreisen. Mit der zunehmenden Durchdringung aller Alltagsbereiche durch künstliche Intelligenz wird dies immer wichtiger, denn um Vertrauen in neue Technologien stärken zu können, müssen diese zuerst verstanden werden. Die Aufklärung sowohl über das Potenzial als auch die Grenzen von KI ist ein essenzieller Schritt, um künstliche Intelligenz zu entmystifizieren und dadurch Vertrauen in die Technologie zu schaffen.

Potenzial noch nicht ausgeschöpft

Mit diesem Vorschlag erkennt die Europäische Kommission an, dass Künstliche Intelligenz wegweisend ist für die Zukunft des europäischen Marktes. Leitlinien für eine Technologie dieser Tragweite sind wichtig – genauso wie die Förderung von Innovation. Damit diese Strategien auch Früchte tragen, muss ihre praktische Umsetzung auch für Start-ups und KMU zweifelsfrei umsetzbar sein. Das Potenzial zur KI-Exzellenz ist in Europa reichlich vorhanden. Mit klaren Spielregeln und Anreizen kann dies auch realisiert werden.

Oliver Guggenbühl Oliver Guggenbühl

Von der Zeichenbank zum Machine Learning Forschungsprojekt

Als eine der führenden Beratungen im Bereich Data Science, KI & Machine Learning treffen wir bei STATWORX regelmäßig Menschen, die uns mit ihren revolutionierenden Ideen nachhaltig beeindrucken. Eines haben viele dieser Menschen mit ihren Produktideen gemeinsam: Sie wollen einen persönlichen pain point in ihrer Arbeitweise verringern. Einer dieser spannenden Menschen mit einer außergewöhnlichen Idee ist Marco Limm.


Bild 1: Marco Limm, Gründer des Startups creaition

Marco Limm hat das Start-up creaition gegründet, das mit seinem Produkt den äußerst komplexen und sehr iterativen Prozess der Designentwicklung optimieren möchte. Aber wie er auf diese Idee?

Während seines Studiums im Bereich Transportdesign in den USA kam ihm erstmals die Idee, den Designprozess mit Hilfe von Machine Learning zu optimieren. Dazu motiviert hat ihn, dass viele seiner Arbeiten, um es in seinen Worten zu sagen, „für die Tonne“ produziert wurden und er dadurch angespornt wurde, einen effizienteren Weg zu finden.

Die Idee, ein eigenes Produkt zu entwickeln, dass als digitale Muse für Designer*innen fungiert, umtrieb Marco bereits seit dem 3. Semester sehr stark. Mit der Motivation, auch anderen Designer*innen damit die Arbeit zu erleichtern, und angespornt von der Neugier, ob seine Idee tatsächlich umsetzbar ist, entwickelte er aus der Idee eine Forschungsarbeit, der er sich sowohl für seine Bachelor- als auch seine Masterarbeit widmete.

Die Entwicklung des creaition Prototypen

Erste Versuche mit 3D Modellen, Bilddaten & knappen Ressourcen

Marco sieht den wichtigsten Einfluss von Designer*innen am Anfang und Ende des klassischen Designprozesses – darauf müssten sich Designer*innen seiner Meinung nach viel stärker konzentrieren können. Der mittlere Part des Designprozesses umfasst z.B. „stundenlanges Auto-Fronten zeichnen“, so Marco. „Die Morphologie kann die Maschine übernehmen, dafür braucht man keinen menschlichen Designer.“

Abbildung eines Designprozesses
Bild 2: Abbildung der klassischen Struktur des Designprozesses und des interaktiven Aufbaus.

Basierend auf der Grundidee der Optimierung durch Machine Learning startete Marco zusammen mit Kevin German, im Rahmen der gemeinsamen Bachelorarbeit an der Uni, die Entwicklung des Algorithmus. Ziel war es, eine künstliche Intelligenz (KI) zu trainieren, die selbstständig Design-Vorschläge basierend auf historischen Daten kreiert.

Zuerst hat das Duo versucht, mit 3D Modellen zu arbeiten, die Marco selbst erstellt hatte. Bei diesem Versuch stießen die beiden schnell an ihre Grenzen, da ihnen in der Uni nicht die ausreichende Rechenleistung und Infrastruktur zur Verfügung stand. Ein weiteres Problem waren zudem mangelnde Daten.

In einem zweiten Schritt versuchten sie sich an Bildern, die sie aus verschiedenen Quellen bezogen (Archive, Online etc.). Das hat zwar schon besser funktioniert, aber die Ergebnisse, die der Algorithmus aus diesen Daten generierte, waren mehr Kunst als Industriedesign. Einer seiner Professoren hätte diese Ergebnisse gerne als Kunstprojekt veröffentlicht, erzählt uns Marco. „Es kamen zwar schöne Kompositionen dabei raus, die man sicherlich in ein Museum stellen könnte, aber leider war das nicht das eigentlich Ziel.“


Bild 3: In einem „Picture Book“ zeigt Marco Limm die Ergebnisse der verschiedenen Phasen der Entwicklung des Machine Learning Algorithmus‘.

3-Layer Ansatz für den Machine Learning Algorithmus

Aus diesen ersten beiden gescheiterten Versuchen konnte die Erkenntnis gezogen werden, dass sie eine weniger komplexe, aber auch nicht zu abstrakte Datengrundlage brauchten. Es ging noch einmal zurück in die Recherche-Phase, Bücher wälzen, verschiedene Ansätze prüfen, neue Eindrücke sammeln. Das hatte zur Folge, dass sie im dritten Anlauf mit einem ganz neuen Ansatz starteten. Bei diesem neuen Ansatz unterteilten sie das Design in 3 Layer: Silhouette, Flächen, Grafiken. Die drei Layer, aus denen sich ein Design zusammensetzt, haben sie genutzt, um die Komplexität der Daten zu verringern.


Bild 4:  Auf dieser Zeichnung von Marco Limm sind man eine Auswahl der zahlreichen Entwürfe, die bei dem klassischen Designprozess vonnöten sind.

Mit dem 3-Layer Ansatz konnte Marco einen geeigneten Datensatz anlegen und mit diesen Daten den Algorithmus trainieren. Dabei heraus kamen 40.000 Designs, aus denen sie nun wählen konnten.

Aus diesem Ergebnis erwuchs die nächste Herausforderung: 40.000 Design zu evaluieren stellte keine wirkliche Arbeitserleichterung dar. Die Lösung? Ein genetischer Algorithmus, der aufgrund der Reaktionen der Designer*innen auf verschiedene Design-Vorschläge den individuellen Geschmack erkennt und darauf basierend neue Vorschläge generiert. Genannt haben sie das „Bottle-Tinder“ – denn auch hier swiped man weiter, je nachdem, ob einem das Design gefällt, oder nicht.

Beim „Bottle-Tinder“-Prinzip werden den Designer*innen immer wieder neue Designvorschläge präsentiert, die sie dann bewerten müssen. Nach etwa 15 Minuten kann der Algorithmus den Geschmack der Person extrahieren und anschließend beliebig anwenden.


Bild 5: In diesem Rendering ist das erste von der KI generierte Flaschendesign abgebildet.

Creaition unterwegs auf nationalen und internationalen Messen

Mit diesem Prototypen im Gepäck machte das Projekt creaition auf verschiedenen Messen auf sich aufmerksam und erhielt dort durchweg positives Feedback bekommen. Ihre Kolleg*innen aus der Designbranche sehen in ihrem Produkt ein hohes Potenzial – wer hat schon Lust auf stundenlanges Auto-Fronten zeichnen?

Creaition war u.a. bei folgenden Messen vertreten:

Next steps: Pilotprojekt

Wir von STATWORX unterstützen creaition aktuell bei Suche nach einem geeigneten Partner für ein Pilotprojekt. Ziel des Proof of Concepts ist die Entwicklung neuer Design-Entwürfe basierend auf extrahierter Design-DNA des Auftraggebers.

Konkret bedeutet das, dass der Machine Learning Algorithmus auf Grundlage Ihrer 2D-Daten neu trainiert wird und daraus eine Design-DNA herausfiltert, mit der dann wiederum beliebig viele neue Design-Vorschläge generiert werden können. In der Regel haben Unternehmen, die für diese Art von KI-Optimierung in Frage kommen, bereits eine Fülle an Daten (v.a. 2D-Daten ihrer Produkte), aus denen sie bisher keinen großen Nutzen ziehen. Nutzen Sie also das Potenzial Ihrer Daten und helfen Sie Ihrer Design-Abteilung dabei, repetitive und monotone Arbeitsschritte zu verringern, damit sie sich auf die wesentlichen, kreativen und schöpferischen Arbeiten konzentrieren können.

Sie möchten noch mehr über creaition erfahren? Hier können Sie sich das vollständige Conference-Paper herunterladen, das Marco Limm und seine Co-Autoren (Kevin German, Matthias Wölfel und Silke Helmerdig) für die ArtsIT zu diesem Thema verfasst haben.

Wenn Sie Interesse an einer Zusammenarbeit in diesem Pilotprojekt haben, dann kontaktieren Sie uns gerne über unser Kontaktformular oder schreiben Sie eine Mail an hello@creaition.io.

Auswirkungen von Machine Learning

Die konzeptionellen Grundlagen für Machine Learning (ML) wurden in der zweiten Hälfte des 20. Jahrhunderts entwickelt. Aber Rechenbeschränkungen und Datenknappheit haben die Begeisterung für künstliche Intelligenz (KI) auf die letzten Jahre verschoben. Seitdem sind Computer exponentiell schneller geworden und Cloud-Dienste mit nahezu unbegrenzten Ressourcen entstanden. Der Fortschritt in der Rechenleistung, kombiniert mit der Fülle an Daten, macht Machine Learning Algorithmen heute in vielen Bereichen anwendbar.

KI-Systeme schlagen menschliche Domänenexperten bei komplexen Spielen wie dem Brettspiel Go oder Videospielen wie Dota2. Überraschenderweise können die Algorithmen Wege finden, um die Aufgabe zu lösen, an die menschliche Experten nicht einmal gedacht haben. In diesem Sinne kann der Mensch auch von künstlichen Systemen lernen.

All diese Erfolgsgeschichten müssen in einen Kontext gesetzt werden. ML Algorithmen eignen sich gut für spezifische Aufgaben; jedoch verallgemeinern sie heute noch schlecht.

Eine aktuelle Ausnahme sind riesige Modell in Natural Language Processing – die Verwendung einer menschlichen Sprache (z. B. Englisch) durch einen Computer. Eines der Modelle heißt GPT-3 und hat sich bei mehreren Aufgaben außergewöhnlich gut bewährt. Der Erfolg von GPT-3 beruht unter anderem auf Self-Supervised Learning, ein Ansatz in Machine Learning, den ich später erläutere.

Machine Learning ist ein Zweig der Künstlichen Intelligenz

In den frühen Anfängen der Künstlichen Intelligenz wurden Anwendungen auf regelbasierten Programmen aufgebaut, das heißt, der Mensch hat sein Wissen in den Computer codiert. Dieser Ansatz ist äußerst starr, da nur Szenarien abgedeckt werden, die der Entwickler berücksichtigt hat, und es findet kein Lernen statt. Mit der deutlichen Steigerung der Rechenleistung und der damit einhergehenden Datengenerierung können Algorithmen Aufgaben ohne menschliches Zutun lernen. Die Begriffe Algorithmus und Modell werden hier als Synonyme verwendet.

Der Prozess Wissen aus Daten zu extrahieren, wird als Machine Learning bezeichnet und ist ein Teilbereich der KI. Es gibt verschiedene Machine Learning Modelle, die alle unterschiedliche Ansätze verwenden. Die meisten basieren auf zwei Elementen: Parametern und einer Zielfunktion. Die Zielfunktion gibt einen Wert zurück, der die Leistung des Modells signalisiert, und Parameter kann man sich als Stellschrauben vorstellen. Daher besteht das Ziel darin, die Parameter zu finden, die die bestmögliche Leistung des Modells für einen bestimmten Datensatz ergeben.

Das Format der Daten bestimmt, welche Algorithmen anwendbar sind. Daten können strukturiert oder unstrukturiert sein. Strukturierte Daten sind tabellenartig angeordnet, während unstrukturierte Daten Bilder, Audio oder Text darstellen. Darüber hinaus können Daten gekennzeichnet oder nicht gekennzeichnet sein. Im Fall von gekennzeichneten Daten hat jeder Datenpunkt eine Kennzeichnung (Label). In Abbildung 1 ist beispielsweise jedes Bild im Datensatz mit der Beschreibung des dargestellten Tieres versehen. Nicht gekennzeichnete Daten (unlabeled data) enthalten keine Beschreibung. Wie Sie in Abbildung 1 sehen können, enthält der Datensatz auf der rechten Seite keine Kennzeichnung mehr.

Darstellung von gekennzeichneten und nicht gekennzeichneten Daten anhand von Bildern. Bild 1: Darstellung von gekennzeichneten und nicht gekennzeichneten Daten anhand von Bildern.

Bei der Arbeit mit unstrukturierten Daten gibt es oft keine natürliche Kennzeichnung, die gesammelt werden kann. Normalerweise müssen Menschen alle Beispiele durchgehen und sie mit vordefinierten Labels versehen. Modelle benötigen jedoch viele Daten, um eine Aufgabe zu lernen – ähnlich wie der Mensch, der in seinen ersten Lebensjahren viele Erfahrungen sammelt, bevor ihm das Gehen und Sprechen gelingt. Das hat Fei Fei Li, die ehemalige Direktorin von Stanfords AI Lab, dazu motiviert, eine große Datenbank mit sauber beschrifteten Bildern zu erstellen, das ImageNet. Derzeit umfasst ImageNet mehr als 14 Millionen Bilder mit mehr als 20.000 Kategorien – so finden Sie zum Beispiel mehrere hundert Mal Bilder, die eine Banane zeigen. ImageNet wurde zur größten Datenbank mit beschrifteten Bildern und ist der Ausgangspunkt für die meisten modernen Computer Vision Modelle.

Wir begegnen ML Modellen in unserem täglichen Leben. Einige sind praktisch, wie der Übersetzungsdienst Google Translate; andere machen Spaß, wie Snapchat-Filter. Unsere Interaktion mit künstlicher Intelligenz wird in den nächsten Jahren höchstwahrscheinlich zunehmen. Angesichts der potenziellen Auswirkungen von ML Modellen auf unser zukünftiges Leben möchte ich dir die fünf Zweige von ML und ihre Schlüsselkonzepte vorstellen.

5 Typen von Machine Learning Algorithmen

Supervised Learning

Was ist überwachtes Lernen (Supervised Learning)

Bei Supervised Learning Aufgaben basiert das Training eines Modells auf Daten mit bekannten Labels. Diese Modelle verwenden Daten als Eingabe und liefern eine Vorhersage als Ausgabe. Die Vorhersagen werden dann mit den Kennzeichnungen verglichen, die als Wahrheit gelten. Ziel ist es, die Diskrepanz zwischen Wahrheit und Vorhersage zu minimieren.

Supervised Learning Aufgaben lassen sich in zwei Bereiche unterteilen: Klassifikation und Regression. Klassifikationsprobleme sagen voraus, zu welcher Klasse ein Datenpunkt gehört. Zum Beispiel die Klassifikation eines Bildes – ist ein Hund oder eine Katze zu sehen? Es wird zwischen binärer Klassifikation, bei der nur zwei Klassen beteiligt sind, und Mehrklassenklassifikation mit mehr als zwei Klassen unterschieden. Andererseits sagen Regressionsprobleme eine reellwertige Zahl voraus. Ein typisches Regressionsproblem ist die Absatzprognose, z. B. die Vorhersage, wie viele Produkte im nächsten Monat verkauft werden.

Use Case

Bauern bauen an und liefern verderbliche Waren. Eine der Entscheidungen, die ein Tomatenbauer nach der Ernte treffen muss, ist die Bündelung seines Produkts. Ästhetisch aussehende Tomaten sollten den Endverbrauchern angeboten werden, während Tomaten mit kleinen Schönheitsfehlern an Zwischenproduzenten, z. B. Tomatensaucenhersteller, verkauft werden können. Andererseits sollten ungenießbare Tomaten herausgefiltert und als natürlicher Dünger verwendet werden.

Dies ist ein spezialisierter und sich wiederholender Job, den Machine Learning-Algorithmen leicht automatisieren können. Die Qualität der Tomaten kann mittels Computer Vision klassifiziert werden. Jede Tomate wird von einem Sensor gescannt und von einem Modell ausgewertet. Das Modell ordnet jede Tomate einer bestimmten Gruppe zu.

Bevor solche Modelle in der Produktion eingesetzt werden, müssen sie auf Daten trainiert werden. Input für das Modell wären Bilder von Tomaten mit entsprechenden Labels (z. B. Endverbraucher, Zwischenproduzent, Dünger). Die Ausgabe des Modells wäre die Wahrscheinlichkeit – wie sicher ist sich das Modell bei der Vorhersage. Eine hohe Wahrscheinlichkeit signalisiert, dass das Modell von der Klassifizierung überzeugt ist. In Fällen, in denen das Modell nicht sicher ist, könnte ein menschlicher Experte es sich noch einmal ansehen. Auf diese Weise erfolgt eine Vorfilterung von eindeutigen Fällen, während nicht eindeutige Fälle einzeln ermittelt werden müssen.

Der Einsatz des Modells könnte einen effizienteren Prozess ermöglichen. Darüber hinaus gilt dieser Use Case für zahlreiche Probleme bei der Qualitätskontrolle.

Frameworks

Der Reifegrad von Frameworks für Supervised Learning ist im Vergleich zu anderen Bereichen des Machine Learning hoch. Die meisten relevanten Programmiersprachen haben ein bewährtes Paket für Supervised Learning Aufgaben. Darüber hinaus erleichtern Cloud-Anbieter und KI-Plattformen die Nutzung von Supervised Learning Modellen durch benutzerfreundliche Schnittstellen und Tools.

Überlegungen

Für Supervised Learning Aufgaben sind gekennzeichnete Daten erforderlich. In vielen Fällen ist es teuer, gekennzeichnete Daten zu sammeln. Im obigen Use Case musste beispielsweise mindestens ein menschlicher Experte jede Probe von Hand beschriften. Noch kostspieliger wird es, wenn für die Kennzeichnung umfangreiches Wissen erwartet wird, etwa das Erkennen von Tumoren auf Röntgenbildern. Aus diesem Grund haben sich verschiedene Unternehmen auf die Bereitstellung von Kennzeichnungsdienstleistungen spezialisiert. Sogar die großen Cloud-Anbieter – Microsoft, Amazon und Google – bieten diese Dienste an. Der bekannteste ist Amazon Web Services Mechanical Turk.

Daten sind jedoch reichlich vorhanden – aber oft unbeschriftet. Im Bereich des unüberwachten Lernens (Unsupervised Learning) wurden Algorithmen entwickelt, um auch Daten ohne Kennzeichnung zu nutzen.

Unsupervised Learning

Was ist unüberwachtes Lernen (Unsupervised Learning)?

Unsupervised Learning Algorithmen konzentrieren sich darauf, Probleme zu lösen, ohne von gekennzeichneten Daten abhängig zu sein. Im Gegensatz zum Supervised Learning gibt es keinen Vergleichswert, der die Wahrheit repräsentiert. Die Leistung des Modells wird anhand der Eingabedaten selbst bewertet.

Dieses Feld des Machine Learnings lässt sich in drei Teilbereiche zusammenfassen – Dimensionsreduktion, Clustering und Anomalieerkennung. Diese Teilbereiche werden im Folgenden vorgestellt.

Datensätze können aufgrund der Anzahl der Observationen und der darin enthaltenen Merkmale (Features) enorm sein. Im Allgemeinen sollte die Anzahl der Observationen viel höher sein als die Anzahl der Features, um sicherzustellen, dass Modelle ein Muster in den Daten finden können. Es gibt ein Problem, wenn die Features die Anzahl der Beispiele in den Daten überwiegen.

Dimensionsreduktionsalgorithmen gehen dieses Problem an, indem sie eine Abstraktion des ursprünglichen Datensatzes erstellen und dabei so viele Informationen wie möglich beibehalten. Das bedeutet, dass ein Datensatz mit 100 Features und nur 50 Observationen zu einem neuen Datensatz mit 10 Features und 50 Beispielen komprimiert werden kann. Die neuen Features sind so aufgebaut, dass sie möglichst viel Information beibehalten. Eine kleine Menge an Informationen aus dem ursprünglichen Datensatz wird geopfert, um sicherzustellen, dass ein Modell zuverlässige Vorhersagen liefert.

Bei Clustering-Ansätzen versuchen wir, die Beobachtungen in verschiedene Untergruppen zu unterteilen. Das Ziel besteht darin, Cluster zu erhalten, bei denen Beobachtungen innerhalb von Clustern ähnlich sind, während Beobachtungen in anderen Clustern abweichen.

Jede Beobachtung des Datensatzes kann man sich als Punkt in einem Raum vorstellen. Die erfassten Features bestimmen die Position des Punktes. Betrachtet man zwei Beobachtungen, kann eine Entfernung berechnet werden. Der Abstand ist dann ein Signal dafür, wie ähnlich sich diese beiden Punkte sind.

Clustering-Algorithmen erzeugen zunächst zufällige Cluster und passen diese iterativ an, um die Abstände von Punkten innerhalb eines Clusters zu minimieren. Die resultierenden Cluster enthalten Beobachtungen mit ähnlichen Eigenschaften.

Bei der Anomalieerkennung besteht das Ziel darin, Beobachtungen zu identifizieren, die aufgrund des Datensatzes seltsam erscheinen. Diese Beobachtungen können auch als Ausreißer oder Ausnahmen bezeichnet werden. Ein Beispiel sind betrügerische Bankaktivitäten, bei denen die Zahlung aus einem anderen Land als üblich ausgelöst wurde. Der Versuch wird als Anomalie identifiziert und löst einen Verifizierungsprozess aus.

Use Case

Große Einzelhandelsunternehmen bieten oft Treuekarten an, um Punkte zu sammeln. Nach jedem Einkauf kann die Karte gescannt werden, um Punkte zu sammeln. Monatlich erhält der/die Kunde:in einen Bericht über das Einkaufsverhalten. Welche Produkte hat der Kunde am häufigsten gekauft? Wie hoch ist der Anteil nachhaltiger Produkte im Warenkorb? Der Kunde erhält auch eine Art Rabatt- oder Cashback-Gutschein. Je mehr Punkte ein Kunde sammelt, desto höher ist der Wert des Gutscheins. Dies kann zu einer höheren Kundenbindung und -zufriedenheit führen, da sie für ihr Verhalten belohnt werden. Die gesammelten Daten über das Einkaufsverhalten der Kunden sind sehr wertvoll.

Es ist davon auszugehen, dass es eine gewisse Heterogenität unter den Kunden gibt, da alle ihr Einkaufsverhalten haben. Clustering könnte verwendet werden, um Gruppen mit ähnlichen Präferenzen zu identifizieren. Dies ist ein Problem des unüberwachten Lernens, da die Gruppen vorher unbekannt sind.

Beispielsweise können drei Cluster entstehen. Ein Cluster umfasst Kunden mit vegetarischer Ernährung, Fleischesser und Kunden, die Fleisch und vegetarische Ersatzprodukte mischen. Basierend auf den drei Kundenprofilen können Marketingkampagnen clusterspezifisch angepasst werden.

Clustering der Kunden in drei Gruppen auf der Grundlage ihres Einkaufsverhaltens. Bild 2: Clustering der Kunden in drei Gruppen auf der Grundlage ihres Einkaufsverhaltens.

Frameworks/Maturity

Dimensionsreduktions-, Clustering- und Anomalieerkennungsalgorithmen sind relativ ausgereifte Ansätze und in den meisten Machine Learning Paketen verfügbar.

Überlegungen

Neuere Forschungen legen einen Schwerpunkt auf unüberwachte Methoden. Der Hauptgrund dafür ist, dass eine Fülle von Daten zur Verfügung steht, aber nur ein winziger Teil sind gekennzeichnete Daten. Self-Supervised und Semi-Supervised Learning Ansätze entstanden aus dem Ziel, gekennzeichnete und nicht gekennzeichnete Daten zu kombinieren, um eine Aufgabe zu lernen.

Self-Supervised Learning

Was ist selbstüberwachtes Lernen (Self-Supervised Learning)?

Self-Supervised Learning ist ein neuer Ansatz im Machine Learning, der hauptsächlich in Computer Vision und Natural Language Processing angewendet wird. Diese Felder erfordern große Datensätze, um eine Aufgabe zu erlernen, aber wie bereits erwähnt, ist es teuer, einen sauberen, großen Datensatz zu generieren.

Jeden Tag werden große Mengen nicht gekennzeichneter Daten erstellt – Tweets, Instagram-Posts und vieles mehr. Die Idee des selbstüberwachten Lernens besteht darin, alle verfügbaren Daten zu nutzen.

Die Lernaufgabe wird mit nicht gekennzeichneten Daten zu einem überwachten Problem konstruiert. Der Trick ist, dass die Labels für die überwachte Aufgabe eine Teilmenge des Inputs sind. Mit anderen Worten, die Daten werden so transformiert, dass ein Teil der Eingabe als Label verwendet wird und das Ziel des Modells darin besteht, den fehlenden Teil der Eingabe vorherzusagen. Auf diese Weise überwachen sich die Daten selbst.

Es gibt verschiedene Möglichkeiten, Eingabedaten zu transformieren. Eine einfache ist durch Rotation. Wie in Abbildung 2 dargestellt, wird auf jedes Eingabebild eine Transformation angewendet. Das modifizierte Bild wird für das Modell eingegeben, und die angewendete Drehung ist das vorherzusagende Ziel. Um verschiedene Drehungen für dasselbe Bild vorherzusagen, muss das Modell ein grobes Verständnis der Welt entwickeln – bspw. wo ist der Himmel.

Self Supervised Learning Illustration Bild 3: Illustration des Self-Supervised Learnings unter Verwendung der Drehung des Eingabebildes. Das Modell lernt, die angewendete Rotation vorherzusagen.

Zusammenfassend ist die Vorhersage der Rotation irrelevant; es ist nur ein Mittel zum Zweck. Beim Lösen der Rotationsvorhersageaufgabe lernt das Modell implizit ein allgemein gutes Verständnis von Bildern.

Im Kontext von Sprachmodellen könnte ein erstes Ziel darin bestehen, das nächste Wort im Text vorherzusagen. Durch diese Aufgabe lernt das Modell bereits die Struktur einer Sprache. Der Vorteil ist, dass das Modell ein breites Verständnis erlernt hat, auf dem man weiter aufbauen kann. So fängt man nicht bei jedem Training von Null an.

Use Case

Spracherkennungsmodelle können menschliche Sprache in Text übersetzen. Es wird in vielen Diensten verwendet, vor allem in Heimassistenzsystemen wie Alexa von Amazon.

Im selbstüberwachten Kontext können nicht gekennzeichnete Daten (z.B. Hörbücher) für das Vortraining verwendet werden. Durch eine Hilfsaufgabe lernt das Modell ein initiales Verständnis von Sprache. Nach dem Training können Supervised Learning Techniken angewendet werden, um das Modell auf eine spezifische Aufgabe zu trainieren. Daher kann Self-Supervised Learning verwendet werden, um die Leistung von Supervised Learning-Ansätzen zu verbessern.

Frameworks

Im Internet gibt es zahlreiche mit Self-Supervision vortrainierte Modelle. Diese kann man auf Tensorflow Hub, PyTorch Hub, Hugging Faces und anderen Plattformen herunterladen und nutzen.

Überlegungen

Neuere Arbeiten zeigen vielversprechende Ergebnisse, konzentrieren sich jedoch oft auf einen Bereich. So bringt Self-Supervised Learning nachweisbare Verbesserungen bei der Bildklassifizierung. Die Übertragung des Fortschritts auf die Objekterkennung hat sich jedoch als knifflig erwiesen. Dennoch sind die Ansätze und Verbesserungen spannend.

Aktuell entwickeln wir uns in die Richtung, dass immer weniger Unternehmen in der Lage sind, Self-Supervised Learning Modelle zu trainieren. Dies liegt an den hohen Kosten für Rechenleistung, enormen Datenmengen, die benötigt werden und an der Knappheit von relevantem Wissen. Zudem ist es effizienter, einige wenige Self-Supervised Learning Modelle zu haben anstelle von vielen.

Semi-Supervised Learning

Was ist teilüberwachtes Lernen (Semi-Supervised Learning)?

Supervised und Unsupervised Learning werden im Semi-Supervised Learning kombiniert. Es gibt verschiedene Ansätze für das Semi-Supervised Learning. Normalerweise ist es in mehrere Schritte unterteilt.

Zunächst wird ein Modell Self-Supervised trainiert. Zum Beispiel lernt das Modell ein gutes Verständnis einer Sprache mithilfe von unbeschrifteten Textdaten und einer Hilfsaufgabe (ein Beispiel wäre die Vorhersage des nächsten Wortes im Text). Die für das Gelingen der Hilfsaufgabe verantwortlichen Elemente des Modells können extrahiert werden. Der Rest des Modells enthält ein hohes Verständnis einer Sprache.

Das verkürzte Modell wird dann auf die beschrifteten Daten mit Hilfe von Supervised Learning trainiert. Da das Modell bereits ein gewisses Verständnis einer Sprache erlernt hat, benötigt es keine riesige Menge an gekennzeichneten Daten, um eine andere spezialisierte Aufgabe im Zusammenhang mit dem Sprachverständnis zu erlernen. Semi-Supervised Learning wird hauptsächlich in den Bereichen Computer Vision und Natural Language Processing eingesetzt.

Use Case

Täglich teilen Menschen ihre Gedanken und Meinungen in den sozialen Medien. Diese Kommentare in Textform können für Unternehmen wertvoll sein. Die Verfolgung der Kundenzufriedenheit im Zeitverlauf führt zu einem besseren Verständnis der Kundenerfahrung. Die Stimmungsanalyse, ein Teilgebiet des Natural Language Processing, kann verwendet werden, um die Kundenansichten basierend auf Tweets, Facebook-Kommentaren oder Blog-Posts zu klassifizieren. Bevor die Stimmung anhand von Text klassifiziert werden kann, wird das Modell anhand von Textdokumenten aus Wikipedia, Büchern und vielen anderen Ressourcen vortrainiert. Normalerweise besteht die Aufgabe des Modells darin, das nächste Wort in einem Satz vorherzusagen. Ziel ist es, in einem ersten Schritt den Aufbau einer Sprache zu erlernen, bevor man sich auf eine bestimmte Aufgabe spezialisieren kann. Nach dem Vortraining werden die Modellparameter an einem Datensatz mit Labels feinabgestimmt. In diesem Szenario wird das Modell an einem Datensatz mit Tweets trainiert, die jeweils mit einem Tag versehen sind, je nachdem, ob das Stimmungsbild negativ, neutral oder positiv ist.

Frameworks

Semi-Supervised Learning umfasst alle Ansätze, die Unsupervised und Supervised Learning kombinieren. Daher können Praktiker gut etablierte Frameworks aus beiden Bereichen verwenden.

Überlegungen

Semi-Supervised Learning kombiniert nicht gekennzeichnete und gekennzeichnete Daten, um die Vorhersageleistung des Modells zu erhöhen. Voraussetzung ist jedoch, dass die Größe der unbeschrifteten Daten im Vergleich zu den beschrifteten Daten wesentlich größer ist. Andernfalls könnte nur Supervised Learning verwendet werden.

Reinforcement Learning

Was ist Reinforcement Learning?

Im Reinforcement Learning interagiert ein Agent (ein Modell) mit einer Umgebung. Der Agent beobachtet den Zustand der Umgebung und kann basierend auf seinen Beobachtungen eine Aktion auswählen. Der Agent erhält von der Umgebung ein Feedback. Wenn die Aktion gut war, fällt das Feedback positiv aus und vice versa. Das Ziel des Agenten ist es, seine zukünftige kumulative Belohnung zu maximieren. Mit anderen Worten, es muss für jede Situation die beste Aktion finden.

In vielen Fällen wird die Interaktion des Agenten mit der Umgebung simuliert. Auf diese Weise kann der Agent Millionen von Zuständen erleben und das richtige Verhalten lernen.

Illustration Reinforcement Learning Bild 4: Illustration des Lernprozesses beim Reinforcement Learning.

Use Case

Personalisierte Werbung kann die Effizienz einer neuen Marketingkampagne verbessern. Anzeigen für ein Produkt, beispielsweise ein Auto, werden oft allen Homepage Besuchern gleich angezeigt. Interessanter wäre es Besuchern, die wiederholt die Seite aufsuchen, schrittweise das Produkt schmackhaft zu machen, bevor das finale Angebot vorgestellt wird. Zunächst könnte die Anzeige die Verfügbarkeit günstiger Finanzierungskonditionen beschreiben, dann beim nächsten Besuch eine exzellente Serviceabteilung loben und am Ende den finalen Rabatt präsentieren. Dies kann zu mehr Klicks eines Nutzers und bei guter Umsetzung zu mehr Verkäufen führen.

Im oben beschriebenen Fall würde ein Agent je nach Profil des Benutzers auswählen, welche Anzeige geschaltet werden soll. Das Profil basiert auf den Interessen und Präferenzen des Benutzers, die aus der Online-Aktivität abgeleitet werden. Der Agent passt seine Aktionen an – indem er verschiedene Anzeigen auswählt – basierend auf dem Feedback des Benutzers. In dieser Einstellung erhält der Agent nicht bei jeder Aktion ein Signal, da es eine Weile dauert, bis sich der Nutzer für den Kauf eines Autos entscheidet. Beispielsweise kann die Schaltung einer bestimmten Anzeige das Interesse des Nutzers wecken, aber nicht sofort zu einem Verkauf führen. Dies wird als Kreditzuweisungsproblem bezeichnet. Aber der Agent kann eine Weile warten. Falls eine Folge von Maßnahmen zu einem Verkauf führt, wird die Wahrscheinlichkeit der ergriffenen Maßnahmen bei gleichem Input erhöht. Andernfalls wird der Agent in Zukunft eine neue Strategie fahren.

Frameworks

Im Bereich des Reinforcement Learning existieren verschiedene Ansätze. Daher gibt es kein standardisiertes Framework. Aber gym und baselines – beide entwickelt von OpenAI, einem gemeinnützigen KI-Forschungsunternehmen – etablieren sich als wichtige Ausgangspunkte für Reinforcement Learning-Anwendungen.

Überlegungen

Der Agent lernt auf der Grundlage vieler Interaktionen mit der Umgebung. Diese Interaktionen in Echtzeit durchzuführen, würde lange dauern und ist oft nicht machbar – zum Beispiel kann ein Autopilot in der realen Welt nicht lernen, weil er Menschenleben gefährden könnte. Daher werden Simulationen der realen Welt erstellt, in denen der Agent durch Trial & Error lernen kann. Um einen Agenten erfolgreich zu trainieren, muss die Lücke zwischen Simulation und Realität so klein wie möglich sein.

Neben der Simulation ist die Konzeption der Belohnung entscheidend für die Leistung des Agenten. Bei der Maximierung seiner Belohnung kann der Agent unbeabsichtigtes Verhalten erlernen, das zu höheren Belohnungen führt, aber die Aufgabe nicht löst.

Der Lernprozess des Agenten ist probenineffizient. Das bedeutet, dass er sehr viele Interaktionen braucht, um eine Aufgabe zu lernen.

Reinforcement Learning zeigt in vielen Bereichen vielversprechende Ergebnisse. Allerdings basieren nur wenige reale Anwendungen darauf. Dies könnte sich in ein paar Jahren ändern.

Zusammenfassung

Die Zukunft von Künstlicher Intelligenz

Künstliche Intelligenz hat einen langen Weg zurückgelegt – von regelbasierten Skripten bis hin zu Algorithmen des Machine Learnings, die menschliche Experten schlagen. Das Feld ist in den letzten Jahren stark gewachsen. ML-Modelle werden verwendet, um verschiedene Domänenprobleme anzugehen, und ihr Einfluss auf unser Leben nimmt stetig zu.

Dennoch bleiben wichtige Fragen offen. Um zuverlässigere Modelle zu erstellen, müssen wir uns diesen Fragen stellen.

Ein entscheidender Punkt ist die Messung der Intelligenz. Wir haben noch keine allgemeine Definition von Intelligenz. Die aktuellen Modelle, die wir als künstlich intelligent bezeichnen, lernen, indem sie sich die von uns bereitgestellten Daten merken. Das führt bereits zu erstaunlichen Ergebnissen. Die Einführung einer Intelligenzmetrik und deren Optimierung wird in Zukunft zu weitaus leistungsfähigeren Modellen führen. Es ist spannend, die Fortschritte in der KI zu erleben.

Quellen

  1. „Google AI defeats human Go champion“
  2. „OpenAI Five Defeats Dota 2 World Champions“
  3. https://www.alexirpan.com/2018/02/14/rl-hard.html
  4. Reinforcement Learning, Sutton R. and Barto A., 2018

Fran Peric

Der Anfang der Adventszeit brachte dieses Jahr nicht nur den ersten Schnee in der Rhein-Main Region (Abb. 1), sondern leitete auch bei vielen nach einem Jahr voller turbulenter Ereignisse und endlosen Stunden im Homeoffice die alljährliche Zeit der Besinnlichkeit ein. Obgleich sich die angesprochene Besinnung bei vielen eher euphemistisch äußert, in Form von Geschenk- und Planungsstress oder der alljährlichen Jahresendrallye bei STATWORX, dürfen gerne auch Erinnerungen an gutes Essen, kitschige Musik und gemütliche Abende heraufbeschworen werden.

Abb. 1: Schnee in Rhein-Main
Abb. 1: Für einen kurzen Moment scheint der Weltenbrand durch unsere Lieblingsniederschlagsform erloschen, und die Welt wirkt restlos in unschuldiges und reines Weiß getaucht.
Anm. der Redaktion: Der Autor hatte eine schwierige Woche. Nichtsdestotrotz gestehen wir ein, dass seine Worte ein positives Stimmungsbild inspirieren könnten.

Mit dem Advent bricht bekanntlich auch die Zeit der Weihnachtsplätzchen an. Eine exzellente Gelegenheit, bei meinen STATWORX-Kolleg*innen unter dem Vorwand der Nächstenliebe Sympathie und professionelles Ansehen durch unschuldig wirkende, zuckerhaltige Kalorienbomben inklusive Deep-Learning-Kniff zu erlangen. In Ergänzung zu meinem vorangegangenen Artikel zum Thema Kochen mit Deep Learning, möchte ich in diesem Beitrag eine kleine Web-App vorstellen, mit der sich alternative Zutaten für Rezepte vorschlagen lassen, untermalt von KI-generierten Weihnachtsliedern. Ziel dieser Artikel (und anderer, wie zum Beispiel unsere Super Mario spielende KI) ist es, die Grundlagen hinter den oftmals etwas mystisch wirkenden Deep Learning Methoden anschaulich zu vermitteln. In vielen Gesprächen entstand bei uns der Eindruck, dass durch solch einen Überblick spannende Anwendungs- und Geschäftsfälle wesentlich besser erschlossen werden können, indem man sich zunächst bewusst macht, welche grundsätzlichen Anwendungen mittels Deep Learning erschlossen werden können.

Alternative Zutaten für Rezepte finden mittels Word Embeddings

Schon länger dominieren Anwendungen und Publikationen zum Thema Natural Language Processing die Deep Learning Forschung. Regelmäßig ermöglichen bahnbrechende Ergebnisse neue Anwendungsfälle. Eines der Schlagworte war hier zunächst Word Embeddings mittels Word2Vec und nun brandaktuell Transformer-Modelle und ihr Attention-Mechanismus, wie beispielsweise BERT oder GPT-3.

Zur genaueren Veranschaulichung dieser Methode werden im Folgenden zunächst die Grundlagen von Word Embeddings erläutert. Anschließend wird aufgezeigt, wie diese Methode genutzt wurde, um Zutaten in Rezepten durch andere, möglichst ähnlich-verwendete Lebensmittel auszutauschen. Dabei werden nicht einfach „blind“ Vorschläge gemacht sondern aus ähnlichen, kontextuell verwandten Rezepten Vorschläge erkannt und abgeleitet. Somit kann (hoffentlich) sichergestellt werden, dass das alternative Rezept zur kulinarischen Freude wird und nicht unmittelbar im Mülleimer landet.

Grundlagen von Word Embeddings

Word2Vec ist ein ausgezeichnetes Beispiel, um eine der zentralen Konzepte des Deep Learnings zu veranschaulichen: das Representation Learning. Sehr vereinfacht dem Gehirn nachempfunden, durchlaufen Daten auch in künstlichen neuronalen Netzen mehrere Schichten. Jede Schicht verändert und kombiniert die Daten vorhergehender Schichten dahingehend, dass eine dichtere und abstraktere Repräsentation der Daten entsteht. Diese Ansammlungen an Zahlen, die aus menschlicher Sicht keine intuitive Bedeutung mehr haben, enthalten nicht mehr alle Informationen der Ursprungsdaten sondern nur noch jene, die für das Modell zur Lösung der jeweiligen Aufgabe als relevant eingestuft werden. Beim Training der Modelle wird die Repräsentationen also dahingehend optimiert, die Fehler der Modell-Vorhersage zu minimieren.

Möchte man also Word Embeddings nutzen, um Worte hinsichtlich ihrer Bedeutung zu vergleichen oder Ähnlichkeiten zu erkennen, wird ein Deep Learning Modell zum allgemeinen Sprachverständnis trainiert. Dies beinhaltet meistens Aufgaben, wie die Vorhersage benachbarter Worte oder des nächsten Satzes. Um diese Aufgaben lösen zu können, muss das Modell also die grundsätzliche Verwendung von Worten, insb. im Kontext von anderen Worten erlernen. Da man im Falle unserer Word Embeddings aber nur an den internen Repräsentierung der einzelnen Worte interessiert ist, ist dieses Vorgehen (Abb. 2) eigentlich nur Mittel zum Zweck.

Abb.2: Word2Vec Verfahren zur Vorhersage von benachbarten Worten

Beim Word2Vec Verfahren wird im Training versucht, ausgehend vom mittleren Wort die links und rechts benachbarten Worte vorherzusagen. Wichtig ist, dass die Repräsentierung des mittleren Wortes durch das Umfeld bzw. den Kontext geprägt wird. Treten Worte in ähnlichen Kontexten auf, ähnelt sich ihre numerische Repräsentierung. Daraus erwarten wir beispielsweise, dass die Embeddings von Feldsalat und Radicchio sich wesentlich näher sind (häufiger Kontext: Öl, Zwiebeln, Essig, Schüssel…), als die von Feldsalat und Dosenananas (seltener Kontext: trauriger verkaterter Sonntag im Studium).

Anwendung auf ein konkretes Beispiel: Pätzchen-Rezepte mit Bake2Vec

Wie auch im vorangegangenen Artikel zu diesem Beitrag wurden die Embeddings auf einer großen Ansammlung an Texten, genannt Corpus, trainiert. In diesem Fall ca. eine Million Rezepte aus Büchern und vor allem bekannten (englischen) Rezept-Webseiten, wie von der BBC oder Epicurious.

Hierbei prägen zwei verschiedene Kontexte die Embeddings:

  1. Die Auflistung aller Zutaten eines Gerichts
  2. Die Fließtext-Anleitung zur Zubereitung, also die angeleiteten Schritte im Kochrezept selbst

Nach dem Training entsteht eine Datenbank an Wort- und Embedding-Paaren, die mittels bestimmter Metriken verglichen werden können. Für gewöhnlich wird die Kosinus-Ähnlichkeit zwischen den Embeddings berechnet, womit man einen normierten Wert zwischen 0 und 1 enthält, der sozusagen die Güte einer Zutat als Ersatz einer anderen abbildet.  (Abb. 3)

Abb.3: Screenshot Web-App
Abb. 3: Screenshot aus der Web-App zur Recherche von Alternativzutaten

Für jede Zutat lassen sich Alternativen anzeigen. Beurteilen Sie die Vorschläge im Vergleich zu Ihren eigenen Ideen! Auch können Sie die Zutaten im Textfeld ändern/überschreiben, und sich Vorschläge für diese anzeigen lassen. Hier gehts zur Web-App.

Mit Generativen Modellen Weihnachtslieder generieren

Generative Modelle beweisen schon länger, zu welchen eindrucksvollen Resultaten Deep Learning abseits klassischer Machine Learning Anwendungen, wie Klassifikation und Regression, fähig sind. Anwendungsfälle wie das Generieren von fehlenden Datenpunkten oder das Ausfüllen von verdeckten Flächen in Bildern finden in der Geschäftswelt Anwendung. Künstler*innen und Enthusiasten erstellen dagegen Kunstwerke, Gedichte oder Fotos von nicht-existierenden Gesichtern. Vor 2 Jahren erzielte sogar das erste KI-generierte Porträtgemälde über $400.000 bei einer Auktion.

Neben der bildenden Kunst haben generative Modelle auch in der Musikszene ersten Anklang gefunden. Im folgenden Abschnitt betrachten wir die Generierung von Weihnachtsliedern am Beispiel einfacher Jingles und Ausschnitte wie „Oh Tannenbaum oder „Alle Jahre wieder. Damit schaffen wir zum Wohle der Lesenden und Hörenden einen Mariah Carey- und Michael Bublé-freien Safe Space, dem aber leider auch die George Michaels, Crosbys und Sinatras zum Opfer fallen.

Tensorflow Magenta

Das Magenta Projekt möchte „die Rolle von Machine Learning in kreativen Prozessen“ erforschen und bietet dabei eine Vielzahl an Veröffentlichungen, Programmier-Bibliotheken und Tools zur Generierung von Musik. Die Dance-Punk Band YACHT arbeitete daraufhin mit Google zusammen und erstellte einen Katalog aus den MIDI Tonspuren ihrer bisherigen Lieder, die dann einzeln oder gepaart (z.B. Gitarren- und Bass-Riff zusammen) verwendet wurden, um neue Musik im Stil des bisherigen Songs der Band zu generieren. Ähnlich wurde auch mit den Liedtexten verfahren. Selbst das Album Cover und die Videos im Hintergrund der Konzerte wurden mit Deep Learning Modellen generiert und verfeinert.

Die im nächsten Abschnitt beschriebenen Rekurrenten Neuronale Netze bieten eine etablierte Methode im Umgang mit einspurigen Riffs oder Jingles. Verschiedene Ausführungen und Varianten davon sind im „Magenta-Werkzeugkasten“ als MelodyRNN enthalten.

Rekurrente Modelle

Vor der Einführung von Transformer-Modellen wurden im Bereich NLP größtenteils Rekurrente Neuronale Netze (RNNs) verwendet, die von Natur aus besonders geeignet sind, sequenziellen Daten zu verarbeiten. Dies bedeutet, dass Rekurrente Netze es ermöglichen, Entscheidungen oder Vorhersagen bezüglich aufeinander folgender, abhängiger Datenpunkte zu treffen. Hierzu zählen bspw. aufeinanderfolgende Worte in einem Satz, Werte aus Sensoren im Zeitverlauf, oder eben Noten einer Partitur, die im Zeitverlauf betrachtet eine Melodie ergeben. Am Beispiel einer Wortsequenz ist es also wichtig, dass ein Machine Learning Modell einordnen kann, welche Worte in welcher Abfolge im Text erscheinen.

Um diese Informationen aus den Daten ableiten zu können, pflegen RNNs einen internen Zustand, der zusätzlich zur oben beschriebenen Repräsentation nicht nur vom aktuell betrachteten Wort, sondern auch vom internen Zustand des RNNs bei vorherigen Worten abhängt. (Abb. 4)

Abb. 4: RNN
Abb. 4: RNN Beispiel

Das RNN pflegt einen internen Zustand vorangegangener Inputs. Der neue Zustand ergibt sich aus einer Gewichtung des alten Zustands und des aktuellen Inputs.

Als Output wird in diesem Fall versucht, das folgende Wort vorherzusagen. Das RNN sollte erkennen, dass im Kontext des Wortes Weihnachten eher das Wort „backen“ vorhergesagt werden muss, und nicht etwa „kaufen“.

Um ein generatives Modell zu entwickeln, trainiert man das RNN darauf, für eine gegebene Sequenz an Worten stets das nächste, passende Wort vorherzusagen. Wendet man das Modell anschließend an, präsentiert man eben eine solche Sequenz an Worten als vorgegebenen Input, nimmt den vorhergesagten Output des Modells hinzu, füttert diesen als folgenden Input wieder in das Modell und wiederholt diesen Vorgang beliebig oft. So macht das Modell Vorhersagen auf dessen eigene Vorhersagen und generiert somit einen Text.

Musik generieren

Da es sich bei Noten von Volks- und Weihnachtsliedern auch um eine sequenzielle Abfolge von Daten handelt, lässt sich die zuvor beschriebene Methodik anschaulich auf musikalische Daten übertragen.

Möchte man ein Lied in einem bestimmten Stil oder Genre eines anderen Liedes weiterführen oder generieren, kann man im einfachsten Falle ein von Magenta publiziertes (und vortrainiertes) MelodyRNN verwenden. Dort gibt man die gewünschte Anfangsmelodie als MIDI Datei vor und definiert ggf. noch weitere Parameter wie Länge oder Freiheitsgrade in der Generierung. Anschließend wird das Lied, analog zum Text-Beispiel, Ton für Ton synthetisiert.

Abb. 5: Generierte Musik "oh Tannenbaum"
Abb.5: Kein Vivaldi, dafür aber eine Flasche Primitivo; der musikalisch gänzlich untalentierte Autor schafft es eines Nachts, Noten in einspurige MIDI Dateien ohne Taktwechsel zu exportieren, um sie mit Magenta verarbeiten zu können.

Für den interessierten Lesenden gibt es an dieser Stelle noch einiges zu entdecken! Um den Bogen zum Thema Representation Learning zu schlagen, empfehlen wir einen Blick auf MusicVAE [https://magenta.tensorflow.org/music-vae]. Mit einem Variational Autoencoder lassen sich Embeddings (merke: nicht nur auf Worte beschränkt, sondern auch ganze Texte, Bilder, Lieder,…) erlernen, welche einfach und strukturiert manipulierbar sind. Somit lässt sich beispielsweise eine Komponente eines Embeddings ändern, die das Musikgenre darstellt, aber nicht die Melodie. (Re)konstruiert man anschließend das Embedding, erhält man ein Lied mit der gleichen Melodie, jedoch im Stil einer anderen Musikrichtung.

Beispiele für State-of-the-Art Musikgenerierung finden sich auch in der OpenAI Jukebox, welche sich auch eines VAE-Modells bedient.

Fazit

Bei den in diesem Artikel beschriebenen Methoden muss natürlich meist etwas Auslese oder Feinabstimmung betrieben werden, um die gewünschten Ergebnissen zu erzielen. Im Falle der kreativen Anwendung, wie bei der Band YACHT, wurden tausende, wenn nicht zehntausend Melodien generiert und durchsucht, um zufriedenstellende Resultate zu erhalten. Bei den Plätzchenzutaten hingegen ging es eher um die Exploration von Modell-Varianten und -Parametern, welche dann zu beständig guten Ergebnissen führen.

Der Autor hofft, dass Ihnen der kleine Einblick in Methoden des Natural Language Processing gefallen hat und möchte Sie animieren, die Plätzchen Web-App auszuprobieren, oder diese zu missbrauchen, um sich Alternativen zu deftigen Zutaten oder Gemüse auszugeben.

Bleiben Sie so artig, wie nötig! Frohe Weihnachten! J.

Anmerkungen & Quellen

A) Hallo und danke Mama!

Abb. 6: Plaetzchen
Abb. 6: Eine unvollständige Auswahl der Plätzchen der Familie des Autors.

Während mütterlicherseits jährlich über 20 Sorten gebacken werden, schafft es die Tante nur auf mickrige acht. Die Begeisterung und das Interesse am Kochen und Backen ist im Kindesalter bereits auf den Autor übergesprungen. Im Gegenzug jedoch wundert sich dessen Familie des Öfteren, „was dieses Deep Learning denn genau ist“ und was der Junge auf der Arbeit eigentlich macht. Anwendungsbeispiele wie diese Web-App sind dabei wunderbare Gelegenheiten, Methoden des Deep Learning anschaulich zu erklären, Alltagsbezug zu schaffen und sich für die vielen kommenden fachlichen Herausforderungen zu motivieren!

B) Die Rezepte dieser kleinen Exkursion wurden Chefkoch.de entnommen, zu den Originalen gelangen Sie über die folgenden Links:

 

Jonas Braun

Management Summary

In modernen Unternehmen fallen im Tagesgeschäft an vielen Stellen Informationen in Textform an: Je nach Businesskontext können dies Rechnungen sein, oder auch Emails, Kundeneingaben (wie Rezensionen oder Anfragen), Produktbeschreibungen, Erklärungen, FAQs sowie Bewerbungen. Diese Informationsquellen blieben bis vor kurzem weitestgehend dem Menschen vorbehalten, da das maschinelle, inhaltliche Verstehen von Text ein technologisch herausforderndes Problem darstellt.
Aufgrund jüngster Errungenschaften im Bereich Deep Learning können nun eine Reihe unterschiedlicher NLP („Natural Language Processing“) Tasks mit erstaunlicher Güte gelöst werden.
Erfahren Sie in diesem Beitrag anhand von fünf praxisnahen Beispielen, wie NLP Use Cases diverse Businessprobleme lösen und so für Effizienz und Innovation sorgen.

Einführung

Natural Language Processing (NLP) ist zweifelslos ein Gebiet, dem in jüngster Vergangenheit besondere Aufmerksamkeit im Big Data-Umfeld zugekommen ist. So hat sich das von Google gemessene Interesse an dem Thema in den letzten drei Jahren mehr als verdoppelt. Daran ist erkennbar, dass innovative NLP-Technologien längst nicht mehr nur ein Thema für die Big Player, wie Apple, Google oder Amazon, ist. Vielmehr ist eine generelle Demokratisierung der Technologie zu beobachten. Einer der Gründe dafür ist sicherlich, dass nach einer Schätzung von IBM etwa 80% der „weltweiten Informationen“ nicht in strukturierten Datenbanken vorliegen, sondern in unstrukturierter, natürlicher Sprache. NLP wird zukünftig eine Schlüsselrolle einnehmen, wenn es darum geht, diese Informationen nutzbar zu machen. Damit wird der erfolgreiche Einsatz von NLP-Technologien zu einem der Erfolgsfaktoren für die Digitalisierung in Unternehmen werden.

Damit Sie sich ein Bild davon machen können, welche Möglichkeiten NLP heutzutage im Businesskontext öffnet, werden Ihnen im Folgenden fünf praxisnahe Anwendungsfälle vorgestellt und die dahinterstehende Lösungen erklärt.

Was ist NLP? – Ein kurzer Überblick

Als ein Forschungsthema, das bereits in den 50er Jahren Linguisten und Informatiker beschäftigte, fristete NLP im 20sten Jahrhundert auf der Anwendungsseite ein kaum sichtbares Dasein.

Der zentrale Grund dafür lag in der Verfügbarkeit der notwendigen Trainingsdaten. Zwar ist generell die Verfügbarkeit von unstrukturierten Daten, in Form von Texten, insbesondere mit dem Aufstieg des Internets exponentiell gestiegen, jedoch fehlte es weiterhin an geeigneten Daten für das Modelltraining. Dies lässt sich damit begründen, dass die frühen NLP Modelle zumeist überwacht trainiert werden mussten (sogenanntes Supervised Learning). Das Supervised Learning setzt jedoch voraus, dass Trainingsdaten mit einer dedizierten Zielvariable versehen werden müssen. Dies bedeutet, dass z.B. bei einer Textklassifikation der Textkorpus vor dem Modelltraining manuell durch Menschen annotiert werden muss.

Dies änderte sich Ende der 2010er Jahre, als eine neue Modellgeneration künstlicher neuronaler Netzwerke zu einem Paradigmenwechsel führte. Diese sogenannten „Language Models“ werden auf Grundlage riesiger Textkorpora von Facebook, Google und Co. (vor-)trainiert, indem einzelne Wörter in den Texten zufällig maskiert und im Verlauf des Trainings vorhergesagt werden. Es handelt sich dabei um das sogenannte selbstüberwachte Lernen (Self-Supervised Learning), das nicht länger eine separate Zielvariable voraussetzt. Im Zuge des Trainings erlernen diese Modelle ein kontextuelles Verständnis von Texten.

Vorteil dieses Vorgehens ist, dass ein- und dasselbe Modell mit Hilfe des erlernten kontextuellen Verständnisses für eine Vielzahl unterschiedlicher Downstream-Tasks (z.B. Textklassifizierung, Sentiment Analysis, Named Entity Recognition) nachjustiert werden kann. Dieser Vorgang wird als Transfer Learning bezeichnet. In der Praxis lassen sich diese vortrainierten Modelle herunterladen, sodass nur die Feinjustierung für die spezifische Anwendung durch zusätzliche Daten selbst gemacht werden muss. Folglich lassen sich mittlerweile mit wenig Entwicklungsaufwand performante NLP-Anwendungen entwickeln.

Um mehr über Language Models (insbesondere die sogenannten Transformer Modelle wie „BERT“, bzw. „roBERTa“, u.ä.) sowie Trends und Hemmnisse im Bereich NLP zu erfahren, lesen Sie hier den Beitrag zum Thema NLP-Trends von unserem Kollegen Dominique Lade.

Die 5 Use Cases

Textklassifizierung im Rekrutierungsprozess

Ein medizinisches Forschungsinstitut möchte seinen Rekrutierungsprozess von Studienteilnehmer*innen effizienter gestalten.

Für das Testen eines neuen Medikaments werden unterschiedliche, untereinander abhängige Anforderungen an die infrage kommende Personen gestellt (z.B. Alter, allg. Gesundheitszustand, Vorhandensein/Abwesenheit von Vorerkrankungen, Medikationen, genetische Dispositionen etc.). Das Prüfen all dieser Anforderungen ist mit einem großen Zeitaufwand verbunden. Üblicherweise dauert das Sichten und Beurteilen relevanter Informationen etwa eine Stunde pro potenziellen Studienteilnehmenden. Hauptgrund dafür ist, dass die klinischen Notizen Informationen über Patienten enthalten, die über strukturierte Daten wie Laborwerte und Medikamente hinausgehen: Auch unstrukturierter Informationen sind in den medizinischen Berichten, Arztbriefen, und Entlassungsberichten o.ä. in Textform zu finden. Insbesondere das Auswerten letzterer Daten bedarf viel Lesezeit und ist daher mit großem Aufwand verbunden. Um den Prozess zu beschleunigen, entwickelt das Forschungsinstitut ein Machine Learning Modell, das eine Vorauswahl von vielversprechenden Kandidaten trifft, sodass die Experten*innen lediglich die vorgeschlagene Personengruppe validieren müssen.

Die NLP Lösung

Aus methodischer Sicht handelt es sich bei diesem Problem um eine sogenannte Textklassifikation. Dabei wird basierend auf einem Text, eine Prognose für eine zuvor definierte Zielvariable erstellt. Um das Modell zu trainieren, ist es – wie im Supervised Learning üblich – notwendig, die Daten, in diesem Fall also die Arztdokumente, mit der Zielvariable zu annotieren. Da es hier ein Klassifikationsproblem zu lösen gilt (geeignete oder ungeeignete Studienteilnehmer*in), beurteilen die Experten*innen für einige Personen im Pool die Eignung für die Studie manuell. Ist eine Person geeignet, wird sie mit einer Eins gekennzeichnet (=positiver Fall), ansonsten mit einer Null (=negativer Fall). Anhand dieser Trainingsbeispiele kann das Modell nun Zusammenhänge zwischen den medizinischen Dokumenten der Personen und ihrer Eignung lernen.

Um der Komplexität des Problems Herr zu werden, wird ein entsprechend komplexes Modell namens ClinicalBERT verwendet. Dabei handelt es sich um ein Language Modell, das auf BERT (Bidirectional Encoder Representations from Transformers) basiert, und zusätzlich auf einem Datensatz von klinischen Texten trainiert wurde. Somit ist ClinicalBERT in der Lage, sogenannte Repräsentationen von sämtlichen medizinischen Dokumentationen für jede Person zu generieren. In einem letzten Schritt wird das neuronale Netzwerk von ClinicalBERT durch eine taskspezifische Komponente ergänzt. In diesem Fall handelt es sich um eine binäre Klassifikation: Zu jeder Person soll eine Eignungswahrscheinlichkeit ausgegeben werden. Durch einen entsprechenden linearen Layer wird die hochdimensionale Textdokumentation schlussendlich in eine einzige Zahl, die Eignungswahrscheinlichkeit, überführt. In einem Gradientenverfahren lernt das Modell nun anhand der Trainingsbeispiele die Eignungswahrscheinlichkeiten.

Weitere Anwendungsszenarien von Textklassifikation

Textklassifikation findet häufig in der Form von Sentiment Analysis statt. Dabei geht es darum, Texte in vordefinierte Gefühlskategorien (z.B. negativ/positiv) einzuordnen. Diese Informationen sind insbesondere in der Finanzwelt oder beim Social Media Monitoring wichtig. Darüber hinaus kann Textklassifikation in verschiedenen Kontexten verwendet werden, in denen es darum geht, Dokumente nach ihrem Typ zu sortieren (z.B. Rechnungen, Briefe, Mahnungen…).

Named Entity Recognition zur Verbesserung der Usability einer Nachrichtenseite

Ein Verlagshaus bietet seinen Leser*innen auf einer Nachrichtenseite eine Vielzahl von Artikeln über diverse Themen an. Im Zuge von Optimierungsmaßnahmen möchte man ein besseres Recommender-System implementieren, sodass zu jedem Artikel weitere passende (ergänzende oder ähnliche) Artikel vorgeschlagen werden. Außerdem möchte man die Suchfunktion auf der Landingpage verbessern, damit der Kunde oder die Kundin schnell den Artikel findet, der gesucht ist.
Um für diese Zwecke eine gute Datengrundlage zu schaffen, entscheidet sich der Verlag dazu, mit Named Entity Recognition den Texten automatisierte Tags zuzuordnen, anhand derer sowohl das Recommender-System als auch die Suchfunktion verbessert werden können. Nach erfolgreicher Implementierung wird auf deutlich mehr vorgeschlagene Artikel geklickt und die Suchfunktion ist wesentlich komfortabler geworden. Im Resultat verbringen die Leser*innen signifikant mehr Zeit auf der Seite.

Die NLP Lösung

Um das Problem zu lösen, ist es wichtig, die Funktionsweise von NER zu verstehen:

Bei NER geht es darum, Worte oder ganze Satzglieder inhaltlichen Kategorien zuzuordnen. So kann man „Peter“ beispielsweise als Person identifizieren, „Frankfurt am Main“ ist ein Ort und „24.12.2020“ ist eine Zeitangabe. Offensichtlich gibt es aber auch deutlich kompliziertere Fälle. Dazu vergleichen Sie die folgenden Satzpaare:

  1. „Früher spazierte Emma im Park immer an der schönen Bank aus Holz vorbei.“   (Bank = Sitzbank)
  2. „Gestern eilte sie noch zur Bank, um das nötige Bargeld abzuheben.“ (Bank = Geldinstitut)

Für den Menschen ist vollkommen offensichtlich, dass das Wort „Bank“ in den beiden Sätzen eine jeweils andere Bedeutungen hat. Diese scheinbar einfache Unterscheidung ist für den Computer allerdings alles andere als trivial. Ein Entity Recognition Modell könnte die beiden Sätze wie folgt kennzeichnen:

  1. „[Früher] (Zeitangabe) spazierte [Emma] (Person) im Park immer an der schönen [Bank] (Sitzgelegenheit) aus Holz vorbei.“
  2. „[Gestern] (Zeitangabe) eilte [sie] (Person/Pronomen) noch zur [Bank] (Geldinstitut), um das nötige Bargeld abzuheben.“  

In der Vergangenheit hätte man zur Lösung des obigen NER-Problems zu regelbasierten Algorithmen gegriffen, doch auch hier setzt sich der Machine Learning Ansatz durch:

Das vorliegende Multiclass-Klassifizierungsproblem der Entitätsbestimmung wird erneut mithilfe des BERT-Modells angegangen. Zusätzlich wird das Modell auf einem annotierten Datensatz trainiert, in dem die Entitäten manuell identifiziert sind. Die umfangreichste öffentlich zugängliche Datenbank in englischer Sprache ist die Groningen Meaning Bank (GMB). Nach erfolgreichem Training ist das Modell in der Lage, aus dem Kontext, der sich aus dem Satz ergibt, auch bisher unbekannte Wörter korrekt zu bestimmen. So erkennt das Modell, dass nach Präpositionen wie „in, bei, nach…“ ein Ort folgt, aber auch komplexere Kontexte werden in Bezug auf die Entitätsbestimmung herangezogen.

Weitere Anwendungsszenarien von NER:

NER ist als klassische Information Retrieval-Task für viele andere NER-Tasks, wie zum Beispiel Chatbots und Frage-Antwort Systeme, zentral. Darüber hinaus wird NER häufig zur Textkatalogisierung verwendet, bei der der Typ des Textes anhand von stichhaltigen, erkannten Entitäten bestimmt wird.

Ein Chatbot für ein Fernbusunternehmen

Ein Fernbusunternehmen möchte seine Erreichbarkeit erhöhen und darum die Kommunikationswege mit dem Kunden ausbauen. Neben seiner Homepage und seiner App möchte das Unternehmen einen dritten Weg zum Kunden, nämlich einen Whatsapp-Chatbot, anbieten. Die Zielvorstellung ist, dass man in der Konversation mit dem Chatbot gewisse Aktionen wie das Suchen, Buchen und Stornieren von Fahrten ausführen kann. Außerdem soll mit dem Chatbot ein zuverlässiger Weg geschaffen werden, die Fahrgäste über Verspätungen zu informieren.

Mit der Einführung des Chatbots können nicht nur bestehende Fahrgäste leichter erreicht werden, sondern auch Kontakt zu neuen Kunden*innen aufgebaut werden, die noch keine App installiert haben.

Die NLP Lösung

Abhängig von den Anforderungen, die an den Chatbot gestellten werden, wählt man zwischen verschiedenen Chatbot Architekturen aus.

Über die Jahre sind im Wesentlichen vier Chatbot-Paradigmen erprobt worden: In einer ersten Generation wurde die Anfrage auf bekannte Muster geprüft und entsprechend angepasste vorgefertigte Antworten ausgegeben („pattern matching“). Etwas ausgefeilter ist das sogenannte „grounding“, bei der durch Named Entity Recognition (s.o.) aus Wissensbibliotheken (z.B. Wikipedia) extrahierte Informationen in einem Netzwerk organisiert werden. Ein solches Netzwerk hat den Vorteil, dass nicht nur eingetragenes Wissen abgerufen werden kann, sondern, dass auch nicht registriertes Wissen durch die Netzwerkstruktur inferiert werden kann. Beim „searching“ werden direkt Fragen-Antwortpaare aus dem Konversationsverlauf (oder aus davor registrierten Logs) zum Suchen einer passenden Antwort herangezogen. Die Anwendung von Machine Learning Modellen ist der bewährteste Ansatz, um dynamisch passende Antworten zu generieren („generative models“).

Um einen modernen Chatbot mit klar eingrenzbaren Kompetenzen für das Fernbusunternehmen zu implementieren, empfiehlt es sich, auf bestehende Frameworks wie Google Dialogflow zurückzugreifen. Hierbei handelt es sich um eine Plattform, mit der sich Chatbots konfigurieren lassen, die die Elemente aller zuvor gennannten Chatbot-Paradigmen besitzen. Dazu übergibt man Parameter wie Intends, Entitäten und Actions.

Ein Intend („Benutzerabsicht“) ist beispielsweise die Fahrplanauskunft. Indem man verschiedene Beispielphrasen („Wie komme ich am … von … nach … “, „Wann fährt der nächste Bus von … nach …“) an ein Language Model übergibt, gelingt es dem Chatbot auch ungesehene Inputsätze dem richtigen Intend zuzuordnen (vgl. Textklassifikation).

Weiterhin werden die verschiedenen Reiseorte und Zeitangaben als Entitäten definiert. Wird nun vom Chatbot ein Intend mit passenden Entitäten erfasst (vgl. NER), dann kann eine Action, in diesem Fall eine Datenbankabfrage, ausgelöst werden. Schlussendlich wird eine Intend-Answer mit den relevanten Informationen ausgegeben, die an sämtliche vom Benutzer angegebene Informationen im Chatverlauf angepasst ist („stateful“).

Weitere Anwendungsszenarien von Chatbots:

Es gibt vielfältige Einsatzmöglichkeiten im Kundenservice – je nach Komplexität des Szenarios von der automatischen Vorbereitung (z.B. Sortierung) eines Kundenauftrags hin zur kompletten Abwicklung einer Kundenerfahrung.

Ein Question-Answering-System als Voice Assistant für technische Fragen zum Automobil

 Ein Automobilhersteller stellt fest, dass viele seiner Kunden*innen nicht gut mit den Handbüchern, die den Autos beiliegt, zurechtkommt. Häufig wird zu lange nach der relevanten Information gesucht oder sie wird gar nicht gefunden. Daher wird beschlossen, ergänzend zum statischen Handbuch auch einen Voice Assistant anzubieten, der auf technische Fragen präzise Antworten gibt. Zukünftig können die Fahrer*innen bequem mit ihrer Mittelkonsole sprechen, wenn sie ihr Fahrzeug warten wollen oder technische Auskunft wünschen.

Die NLP Lösung

Mit Frage-Antwort-Systemen wird sich schon seit Jahrzehnten auseinandergesetzt wird, stehen sie doch in gewisser Hinsicht an der Vorfront der künstlichen Intelligenz. Ein Frage-Antwort-System, das unter Berücksichtigung aller vorliegenden Daten immer eine korrekte Antwort fände, könnte man auch als „General AI“ bezeichnen. Eine Hauptschwierigkeit auf dem Weg zur General AI ist, dass das Gebiet, über das das System informiert sein muss, unbegrenzt ist. Demgegenüber liefern Frage-Antwort-Systeme gute Ergebnisse, wenn das Gebiet klar eingegrenzt ist, wie es beim Automobilassistenten der Fall ist. Grundsätzlich gilt: Je spezifischer das Gebiet, desto bessere Ergebnisse können erwartet werden.

Für die Implementierung des Frage-Antwort-Systems werden strukturierte Daten, wie technische Spezifikationen der Komponenten und Kennzahlen des Modells, aber auch unstrukturierte Daten, wie Handlungsanweisungen, aus dem Handbuch herangezogen. Sämtliche Daten werden in einem Vorbereitungsschritt mithilfe anderer NLP-Techniken (Klassifikation, NER) in Frage-Antwort-Form gebracht. Diese Daten werden einer Version von BERT übergeben, die bereits auf einem großen Frage-Antwort-Datensatz („SQuAD“) vortrainiert wurde. Das Modell ist damit in der Lage, souverän bereits eingespeiste Fragen zu beantworten, aber auch „educated guesses“ für ungesehene Fragen abzugeben.

Weitere Anwendungsszenarien von Frage-Antwort-Systemen:

Mithilfe von Frage-Antwort-Systemen können unternehmensinterne Suchmaschinen um Funktionalitäten erweitert werden. Im E-Commerce können auf Basis von Artikelbeschreibungen und Rezensionen automatisiert Antworten auf Sachfragen gegeben werden.

Automatische Textzusammenfassungen (Textgenerierung) von Schadensbeschreibungen für eine Sachversicherung

Eine Versicherung möchte die Effizienz ihrer Schadensregulierungsabteilung erhöhen. Es wurde festgestellt, dass es bei einigen Schadensreklamationen vom Kunden zu internen Zuständigkeitskonflikten kommt. Grund dafür ist, dass diese Schäden von Kund*innen zumeist über mehrere Seiten beschrieben werden und so eine erhöhte Einarbeitungszeit benötigt wird, um beurteilen zu können, ob man den Fall bearbeiten soll. So passiert es häufig, dass eine Schadensbeschreibung komplett gelesen werden muss, um zu verstehen, dass man den Schaden selbst nicht zu bearbeiten hat. Nun soll ein System Abhilfe schaffen, das automatisierte Zusammenfassungen generiert. Die Sachbearbeiter*innen können in Folge der Implementierung nun deutlich schneller über die Zuständigkeit entscheiden.

Die NLP Lösung

Grundsätzlich kann man beim Probelm der Textzusammenfassung zwischen zwei verschiedenen Ansätzen differenzieren: Bei der Extraction werden aus dem Inputtext die wichtigsten Sätze identifiziert, die dann im einfachsten Fall als Zusammenfassung verwendet werden. Dem gegenüber steht die Abstraction, bei der ein Text durch ein Modell in einen neu generierten Zusammenfassungstext überführt wird. Der zweite Ansatz ist deutlich komplexer, da hier Paraphrasierung, Generalisierung oder das Einbeziehen von weiterführendem Wissen möglich ist. Daher birgt dieser Ansatz auch ein größeres Potenzial, sinnvolle Zusammenfassungen generieren zu können, ist allerdings auch fehleranfälliger. Moderne Algorithmen zur Textzusammenfassung verfolgen den zweiten Ansatz, oder aber eine Kombination aus beiden Ansätzen.

Zur Lösung des Versicherungs-Use-Cases wird ein sogenanntes Sequence-to-Sequence-Modell verwendet, welches einer Wortsequenz (der Schadensbeschreibung) einer anderen Wortsequenz (der Zusammenfassung) zuordnet. Hierbei handelt es sich üblicherweise um ein rekurrentes neuronales Netzwerk (RNN), das auf Grundlage von Textzusammenfassungs-Paaren trainiert wird. Der Trainingsprozess ist so gestaltet, dass die Wahrscheinlichkeit für das nächste Wort abhängig von den letzten Worten (und zusätzlich einem „inner state“ des Modells), modelliert wird. Gleichsam schreibt das Modell effektiv die Zusammenfassung „von links nach rechts“, indem sukzessiv das nächste Wort vorhergesagt wird. Ein alternativer Ansatz sieht vor, den Input vom Language Model BERT numerisch encodieren zu lassen und auf Basis dieser Zahlenrepräsentation einen GPT-Decoder den Text autoregressiv zusammenfassen zu lassen. Mithilfe von Modellparametern kann in beiden Fällen angepasst werden, wie lang die Zusammenfassung etwa sein soll.

Weitere Anwendungsszenarien von Sprachgenerierung:

Ein solches Szenario ist an vielen Stellen denkbar: Das automatisierte Schreiben von Berichten, die Generierung von Texten auf der Grundlage der Analyse von Einzelhandelsverkaufsdaten, die Zusammenfassung von elektronischen Krankenakten oder die Erstellung von textlichen Wettervorhersagen aus Wetterdaten sind denkbare Anwendungen. Darüber hinaus kommt es auch bei anderen NLP Anwendungsfällen wie Chatbots und Q&A-Systemen zur Sprachgenerierung.

Ausblick

Vielleicht haben Sie beim Durchlesen dieser Anwendungsbeispiele von Textklassifikation, Chatbots, Frage-Antwort-Systemen, NER und Textzusammenfassungen den Eindruck gewonnen, dass es auch in Ihrem Unternehmen viele Prozesse gibt, die sich mit NLP-Lösungen beschleunigen ließen.

Tatsächlich ist NLP nicht nur ein spannendes Forschungsfeld, sondern auch eine Technologie, deren Anwendbarkeit im Businessumfeld stetig wächst.

NLP wird in Zukunft nicht nur ein Fundament einer datengetriebenen Unternehmenskultur werden, sondern birgt schon jetzt durch direkte Anwendung ein riesiges Innovationspotenzial, in das es sich zu investieren lohnt.

Bei STATWORX haben wir bereits jahrelange Erfahrung in der Entwicklung von maßgeschneiderten NLP-Lösungen. Hier finden die zwei unserer Case Studies zum Thema NLP: Social Media Recruiting mit NLP & Supplier Recommendation Tool. Wir stehen Ihnen gerne für eine individuelle Beratung zu diesem und vielen weiteren Themen zur Verfügung.

 

Felix Plagge

Management Summary

In modernen Unternehmen fallen im Tagesgeschäft an vielen Stellen Informationen in Textform an: Je nach Businesskontext können dies Rechnungen sein, oder auch Emails, Kundeneingaben (wie Rezensionen oder Anfragen), Produktbeschreibungen, Erklärungen, FAQs sowie Bewerbungen. Diese Informationsquellen blieben bis vor kurzem weitestgehend dem Menschen vorbehalten, da das maschinelle, inhaltliche Verstehen von Text ein technologisch herausforderndes Problem darstellt.
Aufgrund jüngster Errungenschaften im Bereich Deep Learning können nun eine Reihe unterschiedlicher NLP („Natural Language Processing“) Tasks mit erstaunlicher Güte gelöst werden.
Erfahren Sie in diesem Beitrag anhand von fünf praxisnahen Beispielen, wie NLP Use Cases diverse Businessprobleme lösen und so für Effizienz und Innovation sorgen.

Einführung

Natural Language Processing (NLP) ist zweifelslos ein Gebiet, dem in jüngster Vergangenheit besondere Aufmerksamkeit im Big Data-Umfeld zugekommen ist. So hat sich das von Google gemessene Interesse an dem Thema in den letzten drei Jahren mehr als verdoppelt. Daran ist erkennbar, dass innovative NLP-Technologien längst nicht mehr nur ein Thema für die Big Player, wie Apple, Google oder Amazon, ist. Vielmehr ist eine generelle Demokratisierung der Technologie zu beobachten. Einer der Gründe dafür ist sicherlich, dass nach einer Schätzung von IBM etwa 80% der „weltweiten Informationen“ nicht in strukturierten Datenbanken vorliegen, sondern in unstrukturierter, natürlicher Sprache. NLP wird zukünftig eine Schlüsselrolle einnehmen, wenn es darum geht, diese Informationen nutzbar zu machen. Damit wird der erfolgreiche Einsatz von NLP-Technologien zu einem der Erfolgsfaktoren für die Digitalisierung in Unternehmen werden.

Damit Sie sich ein Bild davon machen können, welche Möglichkeiten NLP heutzutage im Businesskontext öffnet, werden Ihnen im Folgenden fünf praxisnahe Anwendungsfälle vorgestellt und die dahinterstehende Lösungen erklärt.

Was ist NLP? – Ein kurzer Überblick

Als ein Forschungsthema, das bereits in den 50er Jahren Linguisten und Informatiker beschäftigte, fristete NLP im 20sten Jahrhundert auf der Anwendungsseite ein kaum sichtbares Dasein.

Der zentrale Grund dafür lag in der Verfügbarkeit der notwendigen Trainingsdaten. Zwar ist generell die Verfügbarkeit von unstrukturierten Daten, in Form von Texten, insbesondere mit dem Aufstieg des Internets exponentiell gestiegen, jedoch fehlte es weiterhin an geeigneten Daten für das Modelltraining. Dies lässt sich damit begründen, dass die frühen NLP Modelle zumeist überwacht trainiert werden mussten (sogenanntes Supervised Learning). Das Supervised Learning setzt jedoch voraus, dass Trainingsdaten mit einer dedizierten Zielvariable versehen werden müssen. Dies bedeutet, dass z.B. bei einer Textklassifikation der Textkorpus vor dem Modelltraining manuell durch Menschen annotiert werden muss.

Dies änderte sich Ende der 2010er Jahre, als eine neue Modellgeneration künstlicher neuronaler Netzwerke zu einem Paradigmenwechsel führte. Diese sogenannten „Language Models“ werden auf Grundlage riesiger Textkorpora von Facebook, Google und Co. (vor-)trainiert, indem einzelne Wörter in den Texten zufällig maskiert und im Verlauf des Trainings vorhergesagt werden. Es handelt sich dabei um das sogenannte selbstüberwachte Lernen (Self-Supervised Learning), das nicht länger eine separate Zielvariable voraussetzt. Im Zuge des Trainings erlernen diese Modelle ein kontextuelles Verständnis von Texten.

Vorteil dieses Vorgehens ist, dass ein- und dasselbe Modell mit Hilfe des erlernten kontextuellen Verständnisses für eine Vielzahl unterschiedlicher Downstream-Tasks (z.B. Textklassifizierung, Sentiment Analysis, Named Entity Recognition) nachjustiert werden kann. Dieser Vorgang wird als Transfer Learning bezeichnet. In der Praxis lassen sich diese vortrainierten Modelle herunterladen, sodass nur die Feinjustierung für die spezifische Anwendung durch zusätzliche Daten selbst gemacht werden muss. Folglich lassen sich mittlerweile mit wenig Entwicklungsaufwand performante NLP-Anwendungen entwickeln.

Um mehr über Language Models (insbesondere die sogenannten Transformer Modelle wie „BERT“, bzw. „roBERTa“, u.ä.) sowie Trends und Hemmnisse im Bereich NLP zu erfahren, lesen Sie hier den Beitrag zum Thema NLP-Trends von unserem Kollegen Dominique Lade.

Die 5 Use Cases

Textklassifizierung im Rekrutierungsprozess

Ein medizinisches Forschungsinstitut möchte seinen Rekrutierungsprozess von Studienteilnehmer*innen effizienter gestalten.

Für das Testen eines neuen Medikaments werden unterschiedliche, untereinander abhängige Anforderungen an die infrage kommende Personen gestellt (z.B. Alter, allg. Gesundheitszustand, Vorhandensein/Abwesenheit von Vorerkrankungen, Medikationen, genetische Dispositionen etc.). Das Prüfen all dieser Anforderungen ist mit einem großen Zeitaufwand verbunden. Üblicherweise dauert das Sichten und Beurteilen relevanter Informationen etwa eine Stunde pro potenziellen Studienteilnehmenden. Hauptgrund dafür ist, dass die klinischen Notizen Informationen über Patienten enthalten, die über strukturierte Daten wie Laborwerte und Medikamente hinausgehen: Auch unstrukturierter Informationen sind in den medizinischen Berichten, Arztbriefen, und Entlassungsberichten o.ä. in Textform zu finden. Insbesondere das Auswerten letzterer Daten bedarf viel Lesezeit und ist daher mit großem Aufwand verbunden. Um den Prozess zu beschleunigen, entwickelt das Forschungsinstitut ein Machine Learning Modell, das eine Vorauswahl von vielversprechenden Kandidaten trifft, sodass die Experten*innen lediglich die vorgeschlagene Personengruppe validieren müssen.

Die NLP Lösung

Aus methodischer Sicht handelt es sich bei diesem Problem um eine sogenannte Textklassifikation. Dabei wird basierend auf einem Text, eine Prognose für eine zuvor definierte Zielvariable erstellt. Um das Modell zu trainieren, ist es – wie im Supervised Learning üblich – notwendig, die Daten, in diesem Fall also die Arztdokumente, mit der Zielvariable zu annotieren. Da es hier ein Klassifikationsproblem zu lösen gilt (geeignete oder ungeeignete Studienteilnehmer*in), beurteilen die Experten*innen für einige Personen im Pool die Eignung für die Studie manuell. Ist eine Person geeignet, wird sie mit einer Eins gekennzeichnet (=positiver Fall), ansonsten mit einer Null (=negativer Fall). Anhand dieser Trainingsbeispiele kann das Modell nun Zusammenhänge zwischen den medizinischen Dokumenten der Personen und ihrer Eignung lernen.

Um der Komplexität des Problems Herr zu werden, wird ein entsprechend komplexes Modell namens ClinicalBERT verwendet. Dabei handelt es sich um ein Language Modell, das auf BERT (Bidirectional Encoder Representations from Transformers) basiert, und zusätzlich auf einem Datensatz von klinischen Texten trainiert wurde. Somit ist ClinicalBERT in der Lage, sogenannte Repräsentationen von sämtlichen medizinischen Dokumentationen für jede Person zu generieren. In einem letzten Schritt wird das neuronale Netzwerk von ClinicalBERT durch eine taskspezifische Komponente ergänzt. In diesem Fall handelt es sich um eine binäre Klassifikation: Zu jeder Person soll eine Eignungswahrscheinlichkeit ausgegeben werden. Durch einen entsprechenden linearen Layer wird die hochdimensionale Textdokumentation schlussendlich in eine einzige Zahl, die Eignungswahrscheinlichkeit, überführt. In einem Gradientenverfahren lernt das Modell nun anhand der Trainingsbeispiele die Eignungswahrscheinlichkeiten.

Weitere Anwendungsszenarien von Textklassifikation

Textklassifikation findet häufig in der Form von Sentiment Analysis statt. Dabei geht es darum, Texte in vordefinierte Gefühlskategorien (z.B. negativ/positiv) einzuordnen. Diese Informationen sind insbesondere in der Finanzwelt oder beim Social Media Monitoring wichtig. Darüber hinaus kann Textklassifikation in verschiedenen Kontexten verwendet werden, in denen es darum geht, Dokumente nach ihrem Typ zu sortieren (z.B. Rechnungen, Briefe, Mahnungen…).

Named Entity Recognition zur Verbesserung der Usability einer Nachrichtenseite

Ein Verlagshaus bietet seinen Leser*innen auf einer Nachrichtenseite eine Vielzahl von Artikeln über diverse Themen an. Im Zuge von Optimierungsmaßnahmen möchte man ein besseres Recommender-System implementieren, sodass zu jedem Artikel weitere passende (ergänzende oder ähnliche) Artikel vorgeschlagen werden. Außerdem möchte man die Suchfunktion auf der Landingpage verbessern, damit der Kunde oder die Kundin schnell den Artikel findet, der gesucht ist.
Um für diese Zwecke eine gute Datengrundlage zu schaffen, entscheidet sich der Verlag dazu, mit Named Entity Recognition den Texten automatisierte Tags zuzuordnen, anhand derer sowohl das Recommender-System als auch die Suchfunktion verbessert werden können. Nach erfolgreicher Implementierung wird auf deutlich mehr vorgeschlagene Artikel geklickt und die Suchfunktion ist wesentlich komfortabler geworden. Im Resultat verbringen die Leser*innen signifikant mehr Zeit auf der Seite.

Die NLP Lösung

Um das Problem zu lösen, ist es wichtig, die Funktionsweise von NER zu verstehen:

Bei NER geht es darum, Worte oder ganze Satzglieder inhaltlichen Kategorien zuzuordnen. So kann man „Peter“ beispielsweise als Person identifizieren, „Frankfurt am Main“ ist ein Ort und „24.12.2020“ ist eine Zeitangabe. Offensichtlich gibt es aber auch deutlich kompliziertere Fälle. Dazu vergleichen Sie die folgenden Satzpaare:

  1. „Früher spazierte Emma im Park immer an der schönen Bank aus Holz vorbei.“   (Bank = Sitzbank)
  2. „Gestern eilte sie noch zur Bank, um das nötige Bargeld abzuheben.“ (Bank = Geldinstitut)

Für den Menschen ist vollkommen offensichtlich, dass das Wort „Bank“ in den beiden Sätzen eine jeweils andere Bedeutungen hat. Diese scheinbar einfache Unterscheidung ist für den Computer allerdings alles andere als trivial. Ein Entity Recognition Modell könnte die beiden Sätze wie folgt kennzeichnen:

  1. „[Früher] (Zeitangabe) spazierte [Emma] (Person) im Park immer an der schönen [Bank] (Sitzgelegenheit) aus Holz vorbei.“
  2. „[Gestern] (Zeitangabe) eilte [sie] (Person/Pronomen) noch zur [Bank] (Geldinstitut), um das nötige Bargeld abzuheben.“  

In der Vergangenheit hätte man zur Lösung des obigen NER-Problems zu regelbasierten Algorithmen gegriffen, doch auch hier setzt sich der Machine Learning Ansatz durch:

Das vorliegende Multiclass-Klassifizierungsproblem der Entitätsbestimmung wird erneut mithilfe des BERT-Modells angegangen. Zusätzlich wird das Modell auf einem annotierten Datensatz trainiert, in dem die Entitäten manuell identifiziert sind. Die umfangreichste öffentlich zugängliche Datenbank in englischer Sprache ist die Groningen Meaning Bank (GMB). Nach erfolgreichem Training ist das Modell in der Lage, aus dem Kontext, der sich aus dem Satz ergibt, auch bisher unbekannte Wörter korrekt zu bestimmen. So erkennt das Modell, dass nach Präpositionen wie „in, bei, nach…“ ein Ort folgt, aber auch komplexere Kontexte werden in Bezug auf die Entitätsbestimmung herangezogen.

Weitere Anwendungsszenarien von NER:

NER ist als klassische Information Retrieval-Task für viele andere NER-Tasks, wie zum Beispiel Chatbots und Frage-Antwort Systeme, zentral. Darüber hinaus wird NER häufig zur Textkatalogisierung verwendet, bei der der Typ des Textes anhand von stichhaltigen, erkannten Entitäten bestimmt wird.

Ein Chatbot für ein Fernbusunternehmen

Ein Fernbusunternehmen möchte seine Erreichbarkeit erhöhen und darum die Kommunikationswege mit dem Kunden ausbauen. Neben seiner Homepage und seiner App möchte das Unternehmen einen dritten Weg zum Kunden, nämlich einen Whatsapp-Chatbot, anbieten. Die Zielvorstellung ist, dass man in der Konversation mit dem Chatbot gewisse Aktionen wie das Suchen, Buchen und Stornieren von Fahrten ausführen kann. Außerdem soll mit dem Chatbot ein zuverlässiger Weg geschaffen werden, die Fahrgäste über Verspätungen zu informieren.

Mit der Einführung des Chatbots können nicht nur bestehende Fahrgäste leichter erreicht werden, sondern auch Kontakt zu neuen Kunden*innen aufgebaut werden, die noch keine App installiert haben.

Die NLP Lösung

Abhängig von den Anforderungen, die an den Chatbot gestellten werden, wählt man zwischen verschiedenen Chatbot Architekturen aus.

Über die Jahre sind im Wesentlichen vier Chatbot-Paradigmen erprobt worden: In einer ersten Generation wurde die Anfrage auf bekannte Muster geprüft und entsprechend angepasste vorgefertigte Antworten ausgegeben („pattern matching“). Etwas ausgefeilter ist das sogenannte „grounding“, bei der durch Named Entity Recognition (s.o.) aus Wissensbibliotheken (z.B. Wikipedia) extrahierte Informationen in einem Netzwerk organisiert werden. Ein solches Netzwerk hat den Vorteil, dass nicht nur eingetragenes Wissen abgerufen werden kann, sondern, dass auch nicht registriertes Wissen durch die Netzwerkstruktur inferiert werden kann. Beim „searching“ werden direkt Fragen-Antwortpaare aus dem Konversationsverlauf (oder aus davor registrierten Logs) zum Suchen einer passenden Antwort herangezogen. Die Anwendung von Machine Learning Modellen ist der bewährteste Ansatz, um dynamisch passende Antworten zu generieren („generative models“).

Um einen modernen Chatbot mit klar eingrenzbaren Kompetenzen für das Fernbusunternehmen zu implementieren, empfiehlt es sich, auf bestehende Frameworks wie Google Dialogflow zurückzugreifen. Hierbei handelt es sich um eine Plattform, mit der sich Chatbots konfigurieren lassen, die die Elemente aller zuvor gennannten Chatbot-Paradigmen besitzen. Dazu übergibt man Parameter wie Intends, Entitäten und Actions.

Ein Intend („Benutzerabsicht“) ist beispielsweise die Fahrplanauskunft. Indem man verschiedene Beispielphrasen („Wie komme ich am … von … nach … “, „Wann fährt der nächste Bus von … nach …“) an ein Language Model übergibt, gelingt es dem Chatbot auch ungesehene Inputsätze dem richtigen Intend zuzuordnen (vgl. Textklassifikation).

Weiterhin werden die verschiedenen Reiseorte und Zeitangaben als Entitäten definiert. Wird nun vom Chatbot ein Intend mit passenden Entitäten erfasst (vgl. NER), dann kann eine Action, in diesem Fall eine Datenbankabfrage, ausgelöst werden. Schlussendlich wird eine Intend-Answer mit den relevanten Informationen ausgegeben, die an sämtliche vom Benutzer angegebene Informationen im Chatverlauf angepasst ist („stateful“).

Weitere Anwendungsszenarien von Chatbots:

Es gibt vielfältige Einsatzmöglichkeiten im Kundenservice – je nach Komplexität des Szenarios von der automatischen Vorbereitung (z.B. Sortierung) eines Kundenauftrags hin zur kompletten Abwicklung einer Kundenerfahrung.

Ein Question-Answering-System als Voice Assistant für technische Fragen zum Automobil

 Ein Automobilhersteller stellt fest, dass viele seiner Kunden*innen nicht gut mit den Handbüchern, die den Autos beiliegt, zurechtkommt. Häufig wird zu lange nach der relevanten Information gesucht oder sie wird gar nicht gefunden. Daher wird beschlossen, ergänzend zum statischen Handbuch auch einen Voice Assistant anzubieten, der auf technische Fragen präzise Antworten gibt. Zukünftig können die Fahrer*innen bequem mit ihrer Mittelkonsole sprechen, wenn sie ihr Fahrzeug warten wollen oder technische Auskunft wünschen.

Die NLP Lösung

Mit Frage-Antwort-Systemen wird sich schon seit Jahrzehnten auseinandergesetzt wird, stehen sie doch in gewisser Hinsicht an der Vorfront der künstlichen Intelligenz. Ein Frage-Antwort-System, das unter Berücksichtigung aller vorliegenden Daten immer eine korrekte Antwort fände, könnte man auch als „General AI“ bezeichnen. Eine Hauptschwierigkeit auf dem Weg zur General AI ist, dass das Gebiet, über das das System informiert sein muss, unbegrenzt ist. Demgegenüber liefern Frage-Antwort-Systeme gute Ergebnisse, wenn das Gebiet klar eingegrenzt ist, wie es beim Automobilassistenten der Fall ist. Grundsätzlich gilt: Je spezifischer das Gebiet, desto bessere Ergebnisse können erwartet werden.

Für die Implementierung des Frage-Antwort-Systems werden strukturierte Daten, wie technische Spezifikationen der Komponenten und Kennzahlen des Modells, aber auch unstrukturierte Daten, wie Handlungsanweisungen, aus dem Handbuch herangezogen. Sämtliche Daten werden in einem Vorbereitungsschritt mithilfe anderer NLP-Techniken (Klassifikation, NER) in Frage-Antwort-Form gebracht. Diese Daten werden einer Version von BERT übergeben, die bereits auf einem großen Frage-Antwort-Datensatz („SQuAD“) vortrainiert wurde. Das Modell ist damit in der Lage, souverän bereits eingespeiste Fragen zu beantworten, aber auch „educated guesses“ für ungesehene Fragen abzugeben.

Weitere Anwendungsszenarien von Frage-Antwort-Systemen:

Mithilfe von Frage-Antwort-Systemen können unternehmensinterne Suchmaschinen um Funktionalitäten erweitert werden. Im E-Commerce können auf Basis von Artikelbeschreibungen und Rezensionen automatisiert Antworten auf Sachfragen gegeben werden.

Automatische Textzusammenfassungen (Textgenerierung) von Schadensbeschreibungen für eine Sachversicherung

Eine Versicherung möchte die Effizienz ihrer Schadensregulierungsabteilung erhöhen. Es wurde festgestellt, dass es bei einigen Schadensreklamationen vom Kunden zu internen Zuständigkeitskonflikten kommt. Grund dafür ist, dass diese Schäden von Kund*innen zumeist über mehrere Seiten beschrieben werden und so eine erhöhte Einarbeitungszeit benötigt wird, um beurteilen zu können, ob man den Fall bearbeiten soll. So passiert es häufig, dass eine Schadensbeschreibung komplett gelesen werden muss, um zu verstehen, dass man den Schaden selbst nicht zu bearbeiten hat. Nun soll ein System Abhilfe schaffen, das automatisierte Zusammenfassungen generiert. Die Sachbearbeiter*innen können in Folge der Implementierung nun deutlich schneller über die Zuständigkeit entscheiden.

Die NLP Lösung

Grundsätzlich kann man beim Probelm der Textzusammenfassung zwischen zwei verschiedenen Ansätzen differenzieren: Bei der Extraction werden aus dem Inputtext die wichtigsten Sätze identifiziert, die dann im einfachsten Fall als Zusammenfassung verwendet werden. Dem gegenüber steht die Abstraction, bei der ein Text durch ein Modell in einen neu generierten Zusammenfassungstext überführt wird. Der zweite Ansatz ist deutlich komplexer, da hier Paraphrasierung, Generalisierung oder das Einbeziehen von weiterführendem Wissen möglich ist. Daher birgt dieser Ansatz auch ein größeres Potenzial, sinnvolle Zusammenfassungen generieren zu können, ist allerdings auch fehleranfälliger. Moderne Algorithmen zur Textzusammenfassung verfolgen den zweiten Ansatz, oder aber eine Kombination aus beiden Ansätzen.

Zur Lösung des Versicherungs-Use-Cases wird ein sogenanntes Sequence-to-Sequence-Modell verwendet, welches einer Wortsequenz (der Schadensbeschreibung) einer anderen Wortsequenz (der Zusammenfassung) zuordnet. Hierbei handelt es sich üblicherweise um ein rekurrentes neuronales Netzwerk (RNN), das auf Grundlage von Textzusammenfassungs-Paaren trainiert wird. Der Trainingsprozess ist so gestaltet, dass die Wahrscheinlichkeit für das nächste Wort abhängig von den letzten Worten (und zusätzlich einem „inner state“ des Modells), modelliert wird. Gleichsam schreibt das Modell effektiv die Zusammenfassung „von links nach rechts“, indem sukzessiv das nächste Wort vorhergesagt wird. Ein alternativer Ansatz sieht vor, den Input vom Language Model BERT numerisch encodieren zu lassen und auf Basis dieser Zahlenrepräsentation einen GPT-Decoder den Text autoregressiv zusammenfassen zu lassen. Mithilfe von Modellparametern kann in beiden Fällen angepasst werden, wie lang die Zusammenfassung etwa sein soll.

Weitere Anwendungsszenarien von Sprachgenerierung:

Ein solches Szenario ist an vielen Stellen denkbar: Das automatisierte Schreiben von Berichten, die Generierung von Texten auf der Grundlage der Analyse von Einzelhandelsverkaufsdaten, die Zusammenfassung von elektronischen Krankenakten oder die Erstellung von textlichen Wettervorhersagen aus Wetterdaten sind denkbare Anwendungen. Darüber hinaus kommt es auch bei anderen NLP Anwendungsfällen wie Chatbots und Q&A-Systemen zur Sprachgenerierung.

Ausblick

Vielleicht haben Sie beim Durchlesen dieser Anwendungsbeispiele von Textklassifikation, Chatbots, Frage-Antwort-Systemen, NER und Textzusammenfassungen den Eindruck gewonnen, dass es auch in Ihrem Unternehmen viele Prozesse gibt, die sich mit NLP-Lösungen beschleunigen ließen.

Tatsächlich ist NLP nicht nur ein spannendes Forschungsfeld, sondern auch eine Technologie, deren Anwendbarkeit im Businessumfeld stetig wächst.

NLP wird in Zukunft nicht nur ein Fundament einer datengetriebenen Unternehmenskultur werden, sondern birgt schon jetzt durch direkte Anwendung ein riesiges Innovationspotenzial, in das es sich zu investieren lohnt.

Bei STATWORX haben wir bereits jahrelange Erfahrung in der Entwicklung von maßgeschneiderten NLP-Lösungen. Hier finden die zwei unserer Case Studies zum Thema NLP: Social Media Recruiting mit NLP & Supplier Recommendation Tool. Wir stehen Ihnen gerne für eine individuelle Beratung zu diesem und vielen weiteren Themen zur Verfügung.

 

Felix Plagge