Herausforderung
Das Städel Museum gilt als älteste und renommierteste Museumsstiftung in Deutschland. Um seinen Bildungsauftrag auch jenseits der physischen Grenzen zu erfüllen, bietet es verschiedene Formate der digitalen Kunstvermittlung an. Das Herzstück ist die Digitale Sammlung, dessen inhaltliche Kuration und insbesondere kontinuierliche Weiterentwicklung umfangreiche Aufwände erforderlich macht. Einer der notwendigen Schritte ist die bislang manuelle Verschlagwortung von Kunstwerken. Die Schlagworte sind Grundlage für die digitale Suchfunktion und sind Teil der vollumfänglichen Erfassung der Kunstwerke. Die besondere Herausforderung besteht dabei in der sehr hohen Anzahl an potenziellen Schlagworten (>30,000), die für ein Kunstwerk in Betracht kommen, und den notwendigen Fachkenntnissen zur Zuordnung dieser.
Ansatz
Zur Vorhersage von Schlagworten für Kunstwerke wurde von uns ein Deep Learning Modell entwickelt. Da vergleichsweise wenig Bilddaten zur Modellerstellung vorlagen, wurde ein Transfer-Learning-Ansatz verfolgt. Dabei wurde das Modell zunächst auf einen anderen Datensatz mit generischen Bildern vortrainiert und dann im Anschluss auf den eigentlichen Datensatz angepasst. So konnte die notwendige Genauigkeit bei der Vorhersage von Schlagwörtern erreicht werden:
- Automatisierte Vorschläge von Schlagwörtern für knapp 25,000 Bilder
- Vorhersage von Schlagworten in 7 Kategorien
- Kunstwerke von über 2000 Künstler:innen, 38 Genres und über 42 Epochen
Zur Analyse des Modells wurde zusätzlich eine interaktive Applikation entwickelt, mit der die Modellperformance dargestellt sowie Erklärungen für die Vorhersagen ausgegeben werden können (Explainable AI). Für das Modell-Training sowie Bereitstellung der Applikation wurde eine „Serverless“-Architektur in der Google Cloud Plattform verwendet.
Ergebnis
Das entwickelte KI-Modell inklusive der Applikation für die visuelle Darstellung der Ergebnisse kann zukünftig vom Städel Museum als Ansatz für eine Verschlagwortung genutzt werden. Die Expert:innen erhalten vollautomatisiert Vorschläge für passende Schlagworte und können diese bestätigen, ergänzen oder korrigieren. Dies unterstützt die bisherige manuelle Arbeit und wirft spannende Forschungsfragen zur subjektiven versus evozierten Wahrnehmung der Kunst auf.
Was das Städel dazu sagt:
„Wir haben mit statworx an einem Projekt zur emotionalen Verschlagwortung am Beispiel der Digitalen Sammlung des Städel Museums gearbeitet. Für statworx war es ein neuer Anwendungsfall und für uns, als Museum, ein neues Austesten von KI für die digitale Kunstvermittlung. In nur wenigen Wochen hat statworx ein Modell für unsere Anwendung gebaut. Wir haben in dem Projekt großes Engagement und Ideenreichtum erfahren sowie ein übergeordnetes Verständnis für unseren Bedarf. Wir danken dem Team für die tolle Zusammenarbeit und sind gespannt, wie es weiter geht.“
– Ulrike Fladerer, Team Digitale Sammlung, Städel Museum