WHO OWNS THE TRUTH

Mixed Reality Projekte beim Ars Electronica Festival

Das diesjährige Ars Electronica Festival wurde zum Thema Who owns the truth ausgerichtet. Dabei stellt sich die Frage, wie einerseits Realität und andererseits die Wahrheit im Zeichen von Künstlicher Intelligenz neu verhandelt werden.

Die Hauptstandorte waren dieses Jahr wieder die PostCity gleich am Hauptbahnhof bzw. das Ars Electronica Center und eine Reihe von Standorten bzw. Museen in der Innenstadt.

Im Beitrag werden eine Reihe von Positionen mit dem Schwerpunkt auf Mixed Reality Technologien vorgestellt. Die präsentierten Mixed Reality Konzepte waren sowohl ästhetisch-konzeptionell als auch Hardware-technologisch durchaus vielseitig und innovativ. 

Die Themen Natur/Nachhaltigkeit, Körper<->Technologie sowie Konflikt<->Frieden waren quer durch das Festival als thematische Ankerpunkte zu sehen. Der Festivalkatalog ist über die Website abzurufen.

Die Arbeit ConstellationXR – Towards Planetary Healing (Willam A. Mayton, XReality Center TNS, 8th Wall) steht für Dialog und Kreativität als Lösung für ecogrief und soziale Isolation. Planetary Healing wird in diesem Sinne als Hope, Empathy, Awe and Love (HEAL) verstanden. Farbenfroh und strahlend mit violett leuchtenden XR-Partikeln flirrt der Turm als Hoffnungssymbol vor uns im Kameramodus.  Die Arbeit ist eine Variation von The New Babel, welche bereits am NY Timesquare als monumentale AR-Skulptur in Annäherung an universale Menschenrechte zu sehen war.  

Die Themen Körper und Künstliche Intelligenz, letztendlich auch Kontrollverlust bzgl. Datenströmen und menschlicher Repräsentation werden in der interaktiven Installation ReconFIGURE adressiert (ZHdK, Immersive Arts Space (unter Leitung von Prof. Chris Salter), Florian Bruggesser & Team).  Die Besucher:innen können sich im Projekt auch selbst scannen und als Avatar ad hoc via machine learning generieren lassen (Neuronal volumetric Capture, NEVO). Diese werden schließlich als Teil schwebender Körper im Fluss bzw. Sog im schwarzen Datenraum mit anderen 3D-Scans eingeblendet. “Anhand der Transformation von Körpern durch immer weniger nachvollziehbare KI-Systeme, untersucht reconFIGURE, wie wir die Wahrheit zwischen unserem eigenen Bild und dem von Maschinen neu interpretierten Bild verhandeln werden” (Zitat von der Internetseite).
Die KI-basierten Avatare werden auch als Stofftiere im Aquarium beschrieben – diese Metaphern sind sicher wertvoll auch in Bildungskontexten zu Medien-/Kunstpädagogik mit Blick auf KI weiterzuentwickeln.

Die Konzepte Tanz und Mixed Reality waren sehr vielfältig vertreten. Das Projekt The Mirage Replicas 2.0 (Yen-Tzu Chang) nähert sich Generationenunterschieden und entsprechenden Kulturen, sowie der Transformation von Wissen im Zeichen von KI neben traditionellen kulturell verankerten Varianten. Das autobiographische Projekt wird auch von einer Reihe von philosophischen Fragen beleuchtet u.a. Heterotopien nach Michelle Foucault und Storytelling im Raum entsprechend als Verhandeln von Normen. Die Performance mit der Tanzperformance im Zentrum und einem mobilen Screen mit Trackingfunktion erzeugt im Mariendom eine ganz besonders intensive raumgreifende Atmopshäre. In sanften Projektionen auf Stoffbahnen und Motion Capturing, z.t. KI-generierten Sounds wurden eine Reihe von Schnittstellen zwischen taiwanesischer Kultur in The Mirage Replicas 2.0 verwoben.

Im Projekt Love Vibes wird Tanzen in VR zu einem trippy Erlebnis mit dem Hinterlassen bunter Spuren und Silhouetten der anderen Teilnehmenden. Schön ist die Kollektivinteraktion, die so sonst eher in SocialVR und noch selten in gemeinsamer Nutzung von VR umgesetzt wird.

Ein bis dato in Mixed Reality selten vertretenes Thema konnte im Projekt Missing 10 hours (Fanny Fazakas) adressiert werden – sexueller Übergriff und der Bystander Effekt. Im Konzept werden einerseits Clubszenen fiktiv dargestellt und auch aus persönlichen Erlebnissen heraus berichtet. Die Ästhetik im Comicstil mit grellen Lila-Orangetönen ist durchaus beeindruckend als Virtual Reality Experience umgesetzt. 

Die Frage nach der Konstruktion von Realität bzw. Identität wird als Teil der Conditio Humana wird in der Arbeit Vibrant Self (Alba Triana) erschlossen. Als natürliches Wesen im soziokulturellen Kontext und dem persönlichen Konstrukt des individuums werden Realitäten immer wieder neu konstruiert. In Vibrant Self hören Besucher:innen Sounds/Stimmen u.a. auch zu postkolonialen Fragen am Beispiel von Kolumbien via Brain-Computer-Interface und analoger Übersetzung in Laserprojektion und visualisieren so die individuellen Stimmungen als Spuren der Identitätskonstruktion. (Diese Arbeit ist im Lentos Museum noch bis zum 27.09. zu sehen.)

Multisensorische Virtual Reality mit dem Ziel inklusiver Desiderata wurde in Swirling Senses eingelöst (Thomas Tucker/Tohm Judson/Virginia Tech). Als multisensorische und kollektive Erfahrung – von Duft über Haptik – tauchen Besucher:innen in VR-headsets auch in blau-flirrende Welten. Figuren/Theaterwelten verbinden sich hier mit multisensorischer VR.

Formen partizipativer Mixed Reality wurden in einer Reihe von Mixed Reality Formaten als Projektion eröffnet. Im Projekt Space Messengers (Agnes Chavez, STEMArts, OMAI, Space Messengers Collective) wurden in transdisziplinären Teams auch gemeinsam mit Jugendbotschafter:innen und Wissenschaftler:innen das Nachdenken über unsere Identität als planetare Bürger:innen und entsprechende Verantwortug angeregt. Im Projektverlauf wurde Mixed Reality auch als HeadsetVR exploriert – die Technologie wurde als starker Motivator für das Eintauchen in die Thematik bzw. den Auftrag der Verantwortung als planetare Bürger:innen eingeordnet. Die projektive Installation auf dem Ars Electronica Festival zeigt NASA-Space Bild/Soundmaterial und Projektergebnisse als Textbotschaften – die Silhouetten von Besucher:innen verschmelzen via Bodytracking.

Das Projekt Data-Verse Taipei (2ENTER 貳進 , Chen Cheng-Wei、Chiu-Chieh-Yi、Chuang En-Chi、Liou Ji-Rong) eröffnet ebenso Formen der Partizipation via Mixed Reality.

Lokale Datenströme (Taipei) werden neben der Bildsprache des Web als virtuelle Landschaft transformiert. Im Chat treten Besucher:innen in den Dialog und schreiben sich in das Mixed Reality Projekt ein. Ein Screenshot dieses Interaktionsmoments wird anschließend individuell abgerufen. Eine Headset-Version – auch mit Avataren – wurde als Projektvariation von Data-Verse Taipei entwickelt. Das Projekt kann als postdigitales Kunstprojekt in Mixed Reality durch die Reflexion medienkultureller Transformation auch im Zeichen der Pandemie und des Metaverse gelesen werden. Weitere Informationen sind hier zu finden.

Im Projekt From the Mainsquare (Pedro Harres (BR/DE) – das Projekt war bereits im März dieses Jahres bei der Veranstaltung Resi Digital: Neue Sinnlichkeit in München zu erleben) tauchen wir in einen gezeichneten Schauplatz mit harmonischem ersten Eindruck – und erstaunlicher Wendung befeuert von sozialen Konflikten.

“Encircling a central square, a new town emerges in all its diversity. A crossroad of stories, buildings, hopes, and conflicts. People nurture sympathy and care for their equals, but also animosity towards those who are different. It doesn’t take long for an “us versus them” atmosphere to take over. From The Main Square is an interactive VR experience that invites the viewer to witness the rise and fall of a divided society; how it blossoms only to become a danger to itself.”

Die Interaktion via Lupe und Einblicke in Miniatur-storytelling als quasi Wimmelbild in Virtual Reality ist in From the Mainsquare ganz besonders innovativ gelöst.

Besonders beeindruckend waren auch die Projekte von u19  (u19-Create Your World) und großflächige Ausstellung in PostCity. Neben einer Reihe von Film/Stop Motionprojekten wurden Projekte mit Einbezug von Augmented Reality Meet me Meta (Meisterschule für Kommunikationsdesign Linz, Artivive) in der Reflektion von Freund:innenschaft und Socialmedia als Comictransformation NEXTCOMIC präsentiert.

Mixed Reality wird schließlich auch bzgl. Archiven digitaler Kunst neu elaboriert. Im Projekt Expanding The archive of Digital Art werden Lehre und Forschung zu Medienkunst verbunden. In AR[t]chive – Augmented Reality Experience for a Digital Art tauchen wir in einen Augmented Reality basierten Archiv- und BIldungsraum. Mehr Infos zum Projekt auch in der Veröffentlichung von Tiago Martins, Christa Sommerer, Laurent Mignonneau (2022).

Alles in allem sind die präsentierten Mixed Reality Projekte auf dem diesjährigen Ars Electronica Festival durchaus innovativ und thematisch vielseitig. Die Frage des diesjährigen Ars Electronica Festivals WHO OWNS THE TRUTH wird ganz vielschichtig eingelöst und insbesondere auch partizipativ neu erschlossen.