Warum Data Science und KI-Initiativen scheitern – eine Reflektion zu nicht-technischen Faktoren

Data Science
Human-centered AI
Machine Learning
Strategy

22. September 2021

Team statworx

Einleitung

Jeder Data-Science- und KI-Experte wird Ihnen sagen: Reale Data Science und KI-Initiativen bringen verschiedene Herausforderungen mit sich, auf die weder praktische Programmierwettbewerbe noch theoretische Vorlesungen vorbereiten können. Und manchmal – erschreckend oft [1, 2] – führen diese Probleme in der Praxis dazu, dass vielversprechende KI-Projekte oder ganze KI-Initiativen scheitern. Seit geraumer Zeit wird eine rege Diskussion über die eher technischen Fallstricke und mögliche Lösungen geführt. Zu den bekannteren Problemen gehören z. B. isolierte Daten, schlechte Datenqualität, zu unerfahrene oder unterbesetzte DS & KI-Teams, unzureichende Infrastruktur für das Training und die Bereitstellung von Modellen. Ein weiteres Problem ist, dass zu viele Lösungen aufgrund organisatorischer Probleme nie in die Produktion überführt werden.

Erst in letzter Zeit hat sich der Fokus des Diskurses mehr auf strategische Fragen verlagert. Meiner Meinung nach wird diesen Aspekten jedoch immer noch nicht die Aufmerksamkeit zuteil, die sie verdienen.

Deshalb möchte ich in diesem Beitrag meine Meinung zu den wichtigsten (nicht-technischen) Gründen für das Scheitern von DS & KI-Initiativen darlegen. Darüber hinaus werde ich Ihnen verschiedene Ansätze zur Lösung dieser Probleme vorstellen. Ich bin Data & Strategy Consultant bei statworx und ich bin sicher, dass dieser Artikel eher subjektiv ist. Er spiegelt meine persönlichen Erfahrungen mit den Problemen und Lösungen wider, auf die ich gestoßen bin.

Problem Nr. 1: Mangelnde Verknüpfung von Projektumfang und tatsächlichem Business-Problem Problem 1

Ein Problem, das viel häufiger auftritt, als man denken würde, ist die Fehlanpassung der entwickelten Data Science und KI-Lösungen an die tatsächlichen Geschäftsbedürfnisse. Das fertige Produkt erfüllt vielleicht genau die Aufgabe, die das DS- und KI-Team lösen wollte, aber die Anwender:innen suchen eventuell nach einer Lösung für eine ähnliche, aber deutlich andere Aufgabe.

Zu wenig Austausch durch indirekte Kommunikationskanäle oder das Fehlen einer gemeinsamen Sprache und eines gemeinsamen Referenzrahmens führt oft zu grundlegenden Missverständnissen. Das Problem ist, dass ironischerweise nur eine extrem detaillierte, effektive Kommunikation solche subtilen Probleme aufdecken kann.

Die Einbeziehung zu weniger oder selektiver Perspektiven kann zu einem bösen Erwachen führen

In anderen Fällen unterscheiden sich einzelne Teilprozesse oder die Arbeitsweisen einzelner Nutzenden sehr stark. Oft sind sie so unterschiedlich, dass eine Lösung, die für einen der Anwender:innen/Prozesse von großem Nutzen ist, für alle anderen kaum Vorteile bringt (die Entwicklung von Lösungsvarianten ist zwar manchmal eine Option, aber bei weitem nicht so kosteneffizient).

Wenn Sie Glück haben, stellen Sie dies bereits zu Beginn eines Projekts bei der Erhebung der Anforderungen fest. Wenn man Pech hat, kommt das böse Erwachen erst beim breiteren Nutzertest oder gar bei der Einführung, wenn sich herausstellt, dass die Nutzer:innen oder Expert:innen, die die bisherige Entwicklung beeinflusst haben, keinen allgemeingültigen Input geliefert haben und das entwickelte Werkzeug daher nicht allgemein einsetzbar ist.

Wie Sie diesem Problem entgegenwirken können:

Führen Sie ein strukturiertes und gründliches Requirements Engineering durch. Nehmen Sie sich die Zeit, mit so vielen Expert:innen und Nutzer:innen wie möglich zu sprechen, und versuchen Sie, alle impliziten Annahmen so explizit wie möglich zu machen. Obwohl das Requirements Engineering aus dem Wasserfall-Paradigma stammt, kann es leicht für die agile Entwicklung angepasst werden. Die ermittelten Anforderungen dürfen einfach nicht als endgültige Produktmerkmale verstanden werden, sondern als Elemente für Ihr anfängliches Backlog, die ständig (neu) bewertet und (neu) priorisiert werden müssen.

Definieren Sie unbedingt Erfolgsmessungen. Tun Sie dies vor Projektbeginn, am besten in Form von objektiv quantifizierbaren KPIs und Benchmarks. Dies trägt wesentlich dazu bei, das Geschäftsproblem bzw. den Geschäftswert, der der angestrebten Lösung zugrunde liegt, zu ermitteln.

Erstellen Sie, wann immer möglich und so schnell wie möglich, Prototypen, Mock-ups oder sogar Storyboards. Präsentieren Sie diese Lösungsentwürfe so vielen Testnutzern wie möglich. Diese Methoden erleichtern das Einholen von offenem und präzisem Nutzerfeedback, das in die weitere Entwicklung einfließt. Achten Sie darauf, dass Sie eine für die Gesamtheit der Nutzer repräsentative Stichprobe einbeziehen.

Problem Nr. 2: Effizienz- und Ressourcenverluste durch nicht strukturierte Data Science- und KI-Maßnahmen Problem 2

Dezentralisierte Data Science- & KI-Teams entwickeln ihre Anwendungsfälle oft mit wenig bis gar keinem Austausch oder Abgleich zwischen den aktuellen Anwendungsfällen und Backlogs der Teams. Dies kann dazu führen, dass verschiedene Teams versehentlich und unbemerkt (Teile) der gleichen (oder sehr ähnlichen) Lösung entwickeln.

In den meisten Fällen wird, wenn eine solche Situation entdeckt wird, eine der redundanten DS & KI-Lösungen eingestellt oder es werden keine zukünftigen Mittel für die weitere Entwicklung oder Wartung bereitgestellt. So oder so, die redundante Entwicklung von Anwendungsfällen führt immer zu einer direkten Verschwendung von Zeit und anderen Ressourcen ohne oder mit nur minimalem Zusatznutzen.

Problematisch ist auch die fehlende Abstimmung des Use Case Portfolios eines Unternehmens auf die allgemeine Geschäfts- oder KI-Strategie. Dies kann hohe Opportunitätskosten verursachen: Anwendungsfälle, die nicht zur allgemeinen KI-Vision beitragen, können unnötigerweise wertvolle Ressourcen blockieren. Außerdem werden potenzielle Synergien zwischen strategisch wichtigeren Anwendungsfällen (Use Cases) möglicherweise nicht voll ausgeschöpft. Und schließlich könnte der Aufbau von Kompetenzen in Bereichen erfolgen, die von geringer oder gar keiner strategischen Bedeutung sind.

Wie Sie diesem Problem entgegenwirken können:

Kommunikation ist der Schlüssel. Deshalb sollte es immer eine Reihe von Möglichkeiten für die Data-Science-Expert:innen innerhalb eines Unternehmens geben, sich zu vernetzen und ihre Erfahrungen und Best Practices auszutauschen – insbesondere bei dezentralen DS & KI-Teams. Damit dies funktioniert, ist es wichtig, eine Arbeitsatmosphäre der Zusammenarbeit zu schaffen. Der freie Austausch von Erfolgen und Misserfolgen und damit die interne Verbreitung von Kompetenzen kann nur ohne Konkurrenzdenken gelingen.

Eine weitere Möglichkeit, das Problem zu entschärfen, ist die Einrichtung eines zentralen Ausschusses, der mit der Verwaltung des DS und KI Use Case Portfolios der Organisation betraut ist. Diesem Ausschuss sollten Vertreter:innen aller (dezentralen) Data Science und KI-Abteilungen sowie der Geschäftsleitung angehören. Gemeinsam überwacht der Ausschuss die Abstimmung von Use Cases und der KI-Strategie, um Redundanzen zu vermeiden und Synergien voll auszuschöpfen.

Problem Nr. 3: Unrealistisch hohe Erwartungen an den Erfolg von Data Science und KI Problem 3

Es mag paradox klingen, aber ein zu großer Optimismus in Bezug auf die Möglichkeiten und Fähigkeiten von Data Science und KI kann dem Erfolg abträglich sein. Denn zu optimistische Erwartungen führen oft dazu, dass die Anforderungen unterschätzt werden, wie z. B. die für die Entwicklung benötigte Zeit oder der Umfang und die Qualität der benötigten Datenbasis.

Gleichzeitig sind die Erwartungen in Bezug auf die Modellgenauigkeit oft zu hoch, ohne dass man die Grenzen des Modells und die grundlegenden Mechanismen von Machine Learning kennt. Diese Unerfahrenheit kann dazu führen, dass viele wichtige Tatsachen nicht erkannt werden, einschließlich, aber nicht beschränkt auf die folgenden Punkte: die unvermeidliche Extrapolation historischer Muster auf die Zukunft; die Tatsache, dass externe Paradigmenwechsel oder Schocks die Generalisierbarkeit und Leistung von Modellen gefährden; die Komplexität der Harmonisierung von Vorhersagen mathematisch nicht verwandter Modelle; die geringe Interpretierbarkeit naiver Modelle oder die Dynamik der Modellspezifikationen aufgrund von Umschulungen.

DS & KI sind einfach keine Wunderwaffe, und zu hohe Erwartungen können dazu führen, dass die Begeisterung in tiefe Ablehnung umschlägt. Die anfänglichen Erwartungen werden fast zwangsläufig nicht erfüllt und weichen daher oft einer tiefgreifenden und undifferenzierten Ablehnung von DS & KI. Dies kann in der Folge dazu führen, dass weniger auffällige, aber nützliche Anwendungsfälle keine Unterstützung mehr finden.

Wie Sie diesem Problem entgegenwirken können:

Versuchen Sie in Ihrer Kommunikation mit Stakeholdern stets realistische Perspektiven zu vermitteln. Achten Sie darauf, eindeutige Botschaften und objektive KPIs zu verwenden, um Erwartungen zu steuern und Bedenken so offen wie möglich anzusprechen.

Die Weiterbildung der Stakeholder und des Managements in den Grundlagen von Machine Learning und KI versetzt sie in die Lage, realistischere Einschätzungen und damit sinnvollere Entscheidungen zu treffen. Technisch fundiertes Wissen ist oft nicht notwendig. Konzeptuelles Fachwissen auf einem relativ hohen Abstraktionsniveau ist ausreichend (und glücklicherweise viel leichter zu erlangen).

Schließlich sollte, wann immer möglich, ein PoC vor einem vollwertigen Projekt durchgeführt werden. Dies ermöglicht es, empirische Hinweise auf die Durchführbarkeit des Use Cases zu sammeln und hilft bei der realistischen Einschätzung der erwarteten Leistung, die anhand relevanter (vordefinierter!) KPIs gemessen wird. Wichtig ist es auch, die Ergebnisse solcher Tests ernst zu nehmen. Bei einer negativen Prognose sollte nie einfach davon ausgegangen werden, dass sich mit mehr Zeit und Aufwand alle Probleme des PoC in Luft auflösen werden.

Problem Nr. 4: Ressentiments und grundsätzliche Ablehnung von Data Science und KI Problem 4

Eine unsichtbare, aber nicht zu unterschätzende Hürde liegt in den Köpfen der Menschen. Dies gilt sowohl für die Belegschaft als auch für das Management. Oft werden vielversprechende Data Science und KI-Initiativen aufgrund von tief verwurzelten, aber undifferenzierten Vorbehalten ausgebremst. Das richtige Mindset ist entscheidend.

Obwohl DS und KI in aller Munde sind, fehlt es in vielen Unternehmen noch an echtem Management-Engagement. Häufig werden zwar Lippenbekenntnisse zu DS & KI abgegeben und erhebliche Mittel investiert, aber die Vorbehalte gegenüber KI bleiben bestehen.

Begründet wird dies oft mit den inhärenten Verzerrungen und Unsicherheiten von KI-Modellen und ihrer geringen direkten Interpretierbarkeit. Hinzu kommt manchmal eine generelle Abneigung, Erkenntnisse zu akzeptieren, die nicht mit der eigenen Intuition übereinstimmen. Die Tatsache, dass die menschliche Intuition oft viel stärkeren – und im Gegensatz zu KI-Modellen nicht quantifizierbaren – Verzerrungen unterliegt, wird in der Regel ignoriert.

Data Science & KI-Initiativen brauchen die Akzeptanz und Unterstützung der Belegschaft

Dies führt dazu, dass (Entscheidungs-)Prozesse und Organisationsstrukturen (z.B. Rollen, Verantwortlichkeiten) nicht so angepasst werden, dass DS & KI-Lösungen ihren (vollen) Nutzen entfalten können. Dies wäre aber notwendig, denn Data Science & KI ist nicht einfach eine weitere Softwarelösung, die sich nahtlos in bestehende Strukturen integrieren lässt.

DS & KI ist eine disruptive Technologie, die unweigerlich ganze Branchen und Organisationen umgestalten wird. Unternehmen, die sich diesem Wandel verweigern, werden auf lange Sicht wahrscheinlich genau an diesem Paradigmenwechsel scheitern. Die Ablehnung des Wandels beginnt bei scheinbaren Kleinigkeiten, wie der Umstellung des Projektmanagements von der Wasserfallmethode auf eine agile, iterative Entwicklung. Ungeachtet der allgemein positiven Aufnahme bestimmter Veränderungsmaßnahmen wird manchmal eine völlig irrationale Ablehnung der Reform bestehender (noch) funktionierender Prozesse festgestellt. Dabei wäre genau das notwendig, um - zugegebenermaßen erst nach einer Phase der Neujustierung - langfristig wettbewerbsfähig zu sein.

Während Vision, Strategie und Strukturen von oben nach unten verändert werden müssen, kann das operative Tagesgeschäft nur von unten nach oben, durch die Mitarbeitenden, revolutioniert werden. Das Engagement des Managements und das beste Werkzeug der Welt sind nutzlos, wenn die Endnutzer:innen nicht in der Lage oder willens sind, es anzunehmen. Die allgemeine Unsicherheit über die langfristige KI-Roadmap und die Angst, durch Maschinen ersetzt zu werden, schüren Ängste, die dazu führen, dass DS & KI-Lösungen nicht in den Arbeitsalltag integriert werden. Dies ist natürlich mehr als problematisch, da nur die (richtige) Anwendung von KI-Lösungen einen Mehrwert schafft.

Wie Sie diesem Problem entgegenwirken können:

Es überrascht nicht, dass ein solides Change Management der beste Ansatz ist, um die KI-feindliche Denkweise zu entschärfen. Dies sollte nicht nur ein nachträglicher Gedanke, sondern ein integraler Bestandteil jeder DS & KI-Initiative und es sollten Verantwortlichkeiten für diese Aufgabe zugewiesen werden. Eine frühzeitige, umfassende, detaillierte und klare Kommunikation ist unerlässlich. Welche Schritte werden voraussichtlich wann und wie genau umgesetzt? Denken Sie daran, dass es schwer ist, einmal verlorenes Vertrauen wiederzugewinnen. Daher sollten alle Unklarheiten in der Planung angesprochen werden. Entscheidend ist es, bei allen Beteiligten ein Grundverständnis für die Sache zu schaffen und die Notwendigkeit der Veränderung zu verdeutlichen (z.B. weil sonst die Wettbewerbsfähigkeit gefährdet ist, Erfolgsgeschichten oder Misserfolge der Konkurrenz). Darüber hinaus ist der Dialog mit den Betroffenen von großer Bedeutung. Feedback sollte frühzeitig eingeholt und nach Möglichkeit umgesetzt werden. Bedenken sollten immer gehört und respektiert werden, auch wenn sie nicht berücksichtigt werden können. Falsche Versprechungen sind jedoch strikt zu vermeiden; stattdessen sollte man versuchen, die Vorteile von DS & KI in den Vordergrund zu stellen.

Neben der Einsicht in die Notwendigkeit von Veränderungen ist auch die grundsätzliche Fähigkeit zur Veränderung wichtig. Die Angst vor dem Unbekannten oder Unverständlichen ist uns Menschen inhärent. Daher kann Bildung – nur auf dem für die jeweilige Rolle notwendigen Abstraktions- und Tiefenniveau – einen großen Unterschied machen. Entsprechende Schulungsmaßnahmen sind keine einmalige Angelegenheit; der Aufbau von aktuellem Wissen und die Ausbildung im Bereich Data Science & KI müssen langfristig sichergestellt werden. Die allgemeine Datenkompetenz der Belegschaft muss ebenso sichergestellt werden, wie die Auf- oder Umschulung von technischen Expert:innen. Die Mitarbeitenden müssen eine realistische Chance erhalten, neue und attraktivere Beschäftigungsmöglichkeiten zu erhalten, indem sie sich weiterbilden und sich mit DS & KI beschäftigen. Das wahrscheinlichste Ergebnis sollte niemals sein, dass sie durch DS & KI ihren alten Arbeitsplatz (teilweise) verlieren, sondern muss als Chance und nicht als Gefahr wahrgenommen werden; Data Science & KI müssen Perspektiven schaffen und dürfen sie nicht verderben.

Übernehmen oder adaptieren Sie die Best Practices von DS & KI-Führungskräften in Bezug auf die Definition von Rollen- und Kompetenzprofilen, die Anpassung von Organisationsstrukturen und Wertschöpfungsprozessen. Bewährte Ansätze können als Blaupause für die Reformierung Ihrer Organisation dienen und so sicherstellen, dass Sie auch in Zukunft wettbewerbsfähig bleiben.

Schlussbemerkungen

Wie Sie vielleicht bemerkt haben, bietet dieser Blogbeitrag keine einfachen Lösungen. Das liegt daran, dass die Probleme, um die es hier geht, komplex und mehrdimensional sind. Dieser Artikel hat high-level Ansätze zur Entschärfung der angesprochenen Probleme geliefert, aber es muss betont werden, dass diese Probleme einen ganzheitlichen Lösungsansatz erfordern. Dies erfordert eine klare KI-Vision und eine daraus abgeleitete solide KI-Strategie, nach der die Vielzahl der notwendigen Maßnahmen koordiniert und gesteuert werden kann.

Deshalb muss ich betonen, dass wir das Stadium, in dem experimentelle und unstrukturierte Data Science und KI-Initiativen erfolgreich sein können, längst verlassen haben. DS & KI darf nicht als technisches Thema behandelt werden, das ausschließlich in Fachabteilungen stattfindet. Es ist an der Zeit, KI als strategisches Thema anzugehen. Wie bei der digitalen Revolution werden nur Organisationen, in denen KI das Tagesgeschäft und die allgemeine Geschäftsstrategie vollständig durchdringt und reformiert, langfristig erfolgreich sein. Wie oben beschrieben, birgt dies zweifelsohne viele Fallstricke, stellt aber auch eine unglaubliche Chance dar.

Wenn Sie bereit sind, diese Veränderungen zu integrieren, aber nicht wissen, wo Sie anfangen sollen, helfen wir von STATWORX Ihnen gerne. Besuchen Sie unsere Website und erfahren Sie mehr über unser Angebot im Bereich AI Strategy!