Interdisziplinärer Ansatz zur Objekterkennung und Analyse

in geisteswissenschaftlichen Bilddatensätzen

Kunstwerke sehen bedeutet, kompositorische Eigenheiten, dargestellte Objekte und formale Eigenschaften wahrzunehmen. Das Bild wird dabei sowohl in seiner Gesamtheit als auch in Einzelteilen erfasst. Das Auge ist das wesentliche Instrument des Kunsthistorikers, der in komparativer Weise Bilder studiert und analysiert. Kleinere Bildermengen können so im Hinblick auf Ähnlichkeiten und Unterschiede ausgewertet werden. Schwierigkeiten bergen vor allem große Sammlungen, wie sie zahlreiche Digitalisierungsprojekte in den letzten Jahren produziert haben.

Projektsteckbrief

Ansprechpartner:

Universität Heidelberg
Computer Vision Group
Heidelberg Collaboratory for Image Processing
Prof. Dr. Björn Ommer
+49 6221/54-14806 / cvsec@iwr.uni-heidelberg.de / https://hci.iwr.uni-heidelberg.de/Staff/bommer/
Dr. Sabine Lang
+49 6221/54-14811 / sabine.lang@iwr.uni-heidelberg.de

Allein im September 2016 veröffentlichte das Museum of Modern Art (New York) eine erhebliche Menge an Installationsfotografien und andere archivische Dokumente für 3.652 Ausstellungen im Zeitraum von 1929 bis 1989. Für Wissenschaftler und Kunstliebhaber bietet das Archiv nicht nur eine einmalige Chance, die Ausstellungspraxis des MoMA zu studieren, sondern es stellt der Forschung eine neue, große Datenmenge zur Verfügung. Das MoMA-Projekt ist dabei nur die Spitze des Eisbergs. Der einfache, schnelle und ortsunabhängige Zugang zu digitalen Daten hebt zwar die Exklusivität von Kunst auf, konfrontiert den Benutzer aber auch mit einer großen Menge an Bildern, die ihn nicht zuletzt fragen lassen: Was suche ich eigentlich und wie finde ich das, was ich suche? Die Beantwortung dieser Frage führte in den vergangenen Jahren zur Verschränkung von Informatik und Kunstgeschichte, da erstere effiziente Methoden zur Datenauswertung liefert.

Abb.1: Die Abbildung zeigt ein Beispiel einer durchgeführten Evaluation am Datensatz ,antike Sarkophage’. Zu sehen sind die vom Algorithmus gefundenen Ergebnisse zum Thema ,Gefangennahme Petri’.

Innerhalb der Computer Vision Group des Heidelberg Laboratory for Image Processing der Universität Heidelberg ist ein interdisziplinäres Projekt zwischen den beiden Disziplinen angesiedelt, das sich der Objekterkennung und Analyse kunsthistorischer Bilddatensätze widmet. Computer-gestützte Verfahren werden auf Sammlungen angewandt und unterstützen die Kunstgeschichte im Wesentlichen in der Evaluation großer Datenmengen, indem sie Ähnlichkeiten zwischen Kunstwerken und somit Beziehungen zwischen Künstlern oder Werkstätten offenlegen. Informatiker und Kunsthistoriker arbeiten Seite an Seite, sodass ein direkter und reger Austausch zwischen den Disziplinen stattfindet, von welchem beide Seiten erheblich profitieren. Das Projekt widmet sich grundlegenden Fragen des Bildverstehens in kunsthistorischen Datensätzen sowie unterschiedlichen Ansätzen des maschinellen Lernens und automatischen Sehens. Bildzusammenhänge konnten aufgrund von festgelegten Objekten erkannt und dabei visuelle Ähnlichkeiten berechnet werden. Eine webbasierte Testumgebung, die innerhalb des Projekts entwickelt wurde, ermöglicht dabei die Auswertung und Analyse von großen Bildsammlungen und sucht darin nach wiederkehrenden Objekten. Der Fokus verlagerte sich schließlich von der Objekterkennung auf die ganzheitliche Analyse von Bildern; Algorithmen wurden nun eingesetzt, um ganze Szenen, Kompositionen, Gattungen oder Stile zu verstehen.

Abb. 2: Die Abbildung zeigt die Suche nach einer steinernen Zange innerhalb des mittelalterlichen Baustellen-Datensatzes. Das Ergebnis demonstriert, dass der Algorithmus auch kleinteilige Objekte findet.

Bisherige Arbeiten des Projekts umfassten die Auswertung unterschiedlicher Datensätze: Der Sachsenspiegel, ein mittelalterliches Rechtsbuch, wurde auotmatisch analysiert und kunsthistorisch evaluiert. Die Eike von Repgow zugeschriebene Bilderhandschrift existiert in vier Versionen, die nach ihrem jeweiligen Aufenthaltsort benannt wurden (Heidelberg, Dresden, Wolfenbüttel und Oldenburg). Die Suche nach, zum Beispiel, sich wiederholenden Gesten oder Objekten offenbarte Ähnlichkeiten wie auch Abweichungen in den einzelnen Schriften. Weitere kunsthistorische Korpora wurden analysiert, darunter nazarenische Kopien von J.A. Ramboux (1790-1866), frühneuzeitliche Architektur und Traktate oder Kreuzigungsdarstellungen. Dadurch konnte die Leistungsfähigkeit der Algorithmen für verschiedene Fragestellungen und Suchanfragen getestet und evaluiert werden.

Zukünftig sollen auch Bewegtbilder, Posen und Beziehungen zwischen Objekt und einzelnen Teilen (wie sie zum Beispiel in Skulpturen vorkommen) untersucht werden. Als Grundlage hierfür dienen Tests, die auf einer Bildersammlung zu olympischen Sportarten durchgeführt wurden. Convolutional Neural Networks wurden zum automatischen, unüberwachten Auffinden von visuellen Ähnlichkeiten eingesetzt, sodass zueinander besonders ähnliche Gruppen gebildet werden konnten.