Herausforderung
Das Städel Museum gilt als älteste und renommierteste Museumsstiftung in Deutschland. Um seinen Bildungsauftrag auch jenseits der physischen Grenzen zu erfüllen, bietet es verschiedene Formate der digitalen Kunstvermittlung an. Das Herzstück ist die Digitale Sammlung, dessen Kuration und kontinuierliche Weiterentwicklung umfangreiche Aufwände erforderlich macht. Eine der Herausforderungen besteht in der schwierigen Lesbarkeit von Handschriften in Skizzenbüchern und auf Handzeichnungen, die bisher manuell erfasst werden mussten. Dies verlangsamt den Prozess der Digitalisierung.
Ansatz
Als KI-Experten kennen wir die unterschiedlichen Möglichkeiten, die künstliche Intelligenz bei der Digitalisierung von Inhalten und Prozessen bietet. Deshalb haben wir zusammen mit dem Städel Museum eine Lösung entwickelt, die zuverlässig auch schwer lesbare Handschriften automatisiert erkennen kann. Durch die Nutzung der Google Vision API konnten wir mit wenig Entwicklungsaufwand schnell überzeugende Ergebnisse liefern:
- Erkennung von Handschriften in hunderten Bildern in weniger als 30s
- OCR mit anschließendem Post-Processing der Texte
- Lokalisierung der Texte inklusive Bounding-Boxes
Zur optimalen Integration der entwickelten Lösung in den Arbeitsablauf der Abteilung Digitale Sammlung wurde zudem eine skalierbare Verarbeitungs-Pipeline in der Google Cloud Plattform implementiert. Dank der verwendeten „Serverless“-Architektur skaliert die Lösung kosteneffizient mit der Nutzung.
Ergebnis
Die entwickelte KI-basierte Lösung unterstützt die menschliche Arbeit, indem Handschriften in Skizzenbüchern lokalisiert und mit Hilfe von OCR in maschinenlesbaren Text übersetzt werden. Die Expert:innen des Städel Museum erhalten damit einen präzisen Unterstützungsansatz bei ihrer Arbeit. Dadurch können zukünftig Skizzenbücher und Handzeichnungen deutlich schneller durch Transkriptionen angereichert werden. Die Transkriptionen ermöglichen zum Beispiel die maschinelle Durchsuchung nach Schlagwörtern.
Was das Städel dazu sagt:
„Im Rahmen unserer musealen Tätigkeit stehen wir immer wieder vor der Herausforderung der Lesbarkeit von Handschriften. statworx hat sich in einem Projekt mit unserem Sammlungsbestand der Handzeichnungen, Skizzenbücher und Druckgrafiken beschäftigt und mit Hilfe der Google Vision API eine OCR- Erkennung von Handschriften umgesetzt. Besonderes Augenmerk lag dabei auf der Unterscheidung einer Handschrift von einer Schraffur im Kunstwerk. Dafür hat das Team eine effiziente Lösung entwickelt. So konnte bei Handschriften eine gute Lesbarkeit erreicht werden.“
– Ulrike Fladerer, Team Digitale Sammlung, Städel Museum