Zeitzeugen in XR

Fünf Fragen an Oliver Schreer, Heinrich-Hertz-Institut (HHI)

Die Zeitzeugenschaft des Holocaust geht ihrem Ende entgegen. Nur noch wenige Überlebende der NS-Herrschaft können eigene Erfahrungen teilen oder von ihnen bekannten Menschen berichten, die im Holocaust ermordet wurden.

Die Technologie des volumetrischen Videos ermöglicht virtuelle Begegnungen mit Zeitzeugen. Sie vermag die Gräueltaten des Nationalsozialismus für nachfolgende Generationen eindrücklich festzuhalten und leistet so einen wertvollen Beitrag zur deutschen und europäischen Erinnerungskultur. Einen Eindruck davon kann man im NS Dokumentationszentrum in München bekommen. Vom 24.06.2021 bis zum 14.11.2021 zeigt das NS Dokumentationszentrum die Sonderausstellung „Ende der Zeitzeugenschaft?“. Teil dieser Ausstellung ist der volumetrische Zeitzeugenbericht von Ernst Grube, den die UFA das Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI, gemeinsam produziert haben.

Wir haben mit Oliver Schreer vom HHI über dieses Projekt „Ernst Grube – Das Vermächtnis“ gesprochen und ihm folgende fünf Fragen gestellt:

1.Wie ist es zu diesem Projekt mit Ernst Grube gekommen? Bist Du auf Ernst Grube zugegangen oder ist er auf Euch aufmerksam geworden?

Auf der Jahrestagung der Fraunhofer Gesellschaft im Frühjahr 2019, wo ich mit meinen Kollegen I. Feldmann und P. Kauff den Fraunhoferpreis für die 3D Human Body Reconstruction-Technologie entgegennehmen durfte, hatte ich den Use Case „Bewahrung von Zeitzeugen“ vorgestellt. Mein Vater hatte mich dann auf seinen Freund Ernst Grube aufmerksam gemacht. Zur gleichen Zeit hatte Ernst Feiler, damals noch Director Technology der UFA GmbH, eine ähnliche Idee und das Projekt war geboren. Ich erzählte Ernst Grube von dem Projekt und er war sofort aufgeschlossen sich auf das Abenteuer „Volumetrisches Video“ einzulassen.

2.Was erwartet die Besucher:innen im NS Dokumentationszentrum, die sich den volumetrischen Zeitzeugenbericht ansehen wollen? Wer ist der nette junge Mann an der Seite von Ernst Grube und was ist seine Rolle? Wie interagieren die beiden mit den Betrachter:innen? Wer war an dem Projekt alles beteiligt?

Die gesamte VR Experience hat einen Umfang von ca. 50 min und besteht aus 6 Episoden des Lebens von Ernst Grube während der Nazidiktatur. Dafür wurden bereits im September 2019 die Aufnahmen mit Ernst Grube und dem Schüler in der Volucap GmbH in Potsdam-Babelsberg gemacht. So liegen nun 80 TeraByte an Videodaten für die Berechnung der volumetrischen Videos vor. Aufgrund der Pandemie ist es der UFA und dem Fraunhofer HHI nun möglich einen ersten Proof-of-Concept von 3:30 min dieser VR Experience der Öffentlichkeit zu zeigen. 

Die Betrachter:in nimmt an einem Gespräch zwischen Ernst Grube und dem Schüler im Garten des jüdischen Kinderheims in München teil. Wir entschieden uns für einen Schüler als Gegenpart, um so der jungen Genration eine Identifikationsfigur anzubieten. Die Betrachter:in kann um die beiden Protagonisten herumgehen und dem Gespräch persönlich aber passiv beiwohnen.

3. Kannst du uns die Technologie erklären, mit der Ihr Ernst Grube aufgenommen habt, was daran das Besondere ist, wie viele Daten ihr produziert und wie ihr sie verarbeitet habt?   

Die Technologie des volumetrische Videos basiert auf der Erfassung einer Person mit vielen Kameras aus allen Blickrichtungen. Mittels Computervision Verfahren werden dann für jedes Frame ein 3D Modell berechnet, sodass eine dynamische Mesh-sequenz resultiert. Mit diesem hoch-realistischen dynamischen Rekonstruktionsverfahren ist es möglich, Gesichtsausdrücke, Emotionen und Bewegung von Kleidung zu erfassen, die mit klassischen Animationstechniken in dieser Weise nicht modelliert werden können.

4. Arbeitet ihr mit weiteren Zeitzeugen?

Das Thema „Bewahrung von Zeitzeugnissen“ bekommt aufgrund des zunehmend hohen Alters der Holocaust Zeitzeug:innen einen immmer höheren Stellenwert. Eine Präsentation von Zeitzeug:innen mittels volumetrsischem Video in einer VR Experience sehe ich als eine sehr interessante Ergänzung zu vielen anderen Medienformaten. Dennoch sind wir am Fraunhofer HHI aber auch andere Institutionen interessiert und bestrebt noch weitere Zeitzeug:innen volumetrisch zu erfassen. Deshalb bin ich sehr froh, dass wir im Mai 2021 in Zusammenarbeit mit Prof. Anja Ballis und Prof. Markus Gloe von der Ludwig-Maximilian Universität eine weitere Aufnahme mit Frau Eva Umlauf machen konnten. Eva Umlauf ist wohl die jüngste Überlende des Konzentrationslagers Auschwitz. Gemiensam bemühen wir uns um Fördermittel, um diese VR Projekt dann auch abschließen zu können.

5. Welche Fragen wirft diese neue Technologie für den Umgang mit Zeitzeug:innen auf?

 Die Präsentation von Zeitzeugen in einer Virtual Reality Experience muss sorgfältig durchdacht sein, denn es ist die Würde dieser Menschen und der historische Auftrag zu beachten. So stellt sich auch die Frage, ob die Betrachter:in die Zeitzeug:in passiv oder vielleicht sogar aktiv erlebt. Wir arbeiten bereits an Verfahren, die es ermöglichen den Kopf und Körperposen nachträglich derart zu verändern, dass die volumetrisch dargestellte Zeitzeug:in die Betrachter:in immer ansieht und damit Blickkontakt erreicht wird. In dem Projekt LediZ der Ludwig-Maximilian-Universität sucht ein KI-Verfahren zu einer gestellten Frage die passende Videoantwort der Zeitzeug:in aus einem Pool von 1500 aufgenommenen Fragen aus. Durch Gesichtsanimation und Sprachsynthese von volumetrischen Charakteren kann dies auch in einer VR Experience in 3D umgesetzt werden. Es stellt sich aber sofort die Frage, wie weit wir neue Inhalte generieren dürfen, denn mit solchen Techniken können natürlich der Zeitzeug:in auch andere Worte in den Mund gelegt werden. Diese Frage ist jedoch in Zeiten von Fake News für 2D Videomaterial bereits hochaktuell.