Training & Education

Fünf Fragen an Daniel Pohl


immerGallery 3D Camera Update

Heute haben wir mit Daniel Pohl, dem Gründer der immerVR GmbH gesprochen, über seinen Werdegang, sein Projekt immerGallery und das letzte Update, das eine 3D Kamera aus der Meta Quest 3 macht. Los geht’s. Viel Spass beim Lesen!

Daniel Pohl, CEO und Gründer von immerVR GmbH

1 Daniel, von Erlangen bis zum Silicon Valley, hast Du gelernt, geforscht und mit der immerGallery Dein aktuelles Produkt entwickelt. Erzähl uns doch bitte ein bisschen von Deiner Motivation, Dich mit Games, KI und VR auseinanderzusetzen und was Du alles schon erlebt und geschafft hast!

Computerspiele fand ich schon als Fünfjähriger am Sinclair ZX81 sehr spannend. Mein Vater hatte damals ein Programmierhandbuch für dessen Programmiersprache Basic, wo ich schon früh Beispielscode aus dem Buch abgetippt habe. Damals natürlich noch ohne alles zu verstehen, aber alleine das Ändern der Durchlaufzahl einer Schleife und die Auswirkungen auf dem Fernseher zu betrachten, hat mich schon damals fasziniert. Vorgespult: Informatik-Studium an der Uni-Erlangen mit Schwerpunkt Computergrafik. Dort hatte ich das Glück zusammen mit Prof. Marc Stamminger und Prof. Philipp Slusallek der Uni Saarland während meiner Abschlussarbeiten eine grafische Neuprogrammierung von den Spielen Quake 3 und Quake 4 mit Ray Tracing (Quellcode war damals noch nicht zugänglich) machen zu können unter Verwendung der saarländischen Programmierbibiliothek OpenRT. Fast 15 Jahre nach diesen initialen Forschungen im Bereich Ray Tracing und Computerspiele kam 2018 die erste GPU mit Ray Tracing auf den Markt. Heute ist die Technik für interaktives Rendering mit Ray Tracing in Grafikchips nicht mehr wegzudenken.

Intels Hausmesse IDF in 2007: Vorstellung von Quake 4: Ray Traced mit damaligem Intel CTO Justin Rattner

Während des Studiums habe ich auch mit Freude an “AI in Games” teilgenommen, wo wir unter Dozent Dr. Martin Klarner eine KI sowohl für Quake 3 als auch das Spiel Age of Mythology entwickelt haben. Meine erste Inspiration für Virtual Reality habe ich aus dem Film “Der Rasenmäher Mann”, wo einer der Darsteller vollimmersiv mit einem Ganzkörperanzug in Virtual Reality ist. Das will ich später auch mal haben, dachte ich mir damals. Meine eigene erste VR-Erfahrung war dann 2012 zusammen mit Oculus-Gründer Palmer Luckey nahe der gamescom in Köln. Ich durfte das Klebeband-Oculus-Rift mit der damaligen Doom 3 BFG VR Demo ausprobieren und war vollends begeistert. Obwohl die Grafik nicht fotorealistisch war, war ich voll immersiv in der Szene drin. Ab dem Moment wollte ich primär in diesem Sektor arbeiten. In Gesprächen mit meinem damaligen Arbeitgeber Intel, wo ich zuvor drei Jahre im Hauptquartier in Silicon Valley war, später mehrere Jahre in Saarbrücken und vier Jahre in der Drohnengruppe bei München, wurde es mir ermöglicht an dem Thema zu forschen. Als Ergebnis davon gibt es verschiedene Publikationen, von denen heute viele meiner Forschungsarbeiten Standard in VR geworden sind. Zum Beispiel:

  • 2014 Chromatic Distortion Compensation über Meshes (effizientes Verfahren zur Behebung von Linsenverzerrungen in VR-Headsets)
  • 2014 – 2016 Fixed Foveated Rendering (unter anderem Namen veröffentlicht)
  • 2016 ein nach außen-zeigendes Display an einem HMD wie aktuell aus Apple Vision Pro bekannt
  • 2017 Foveated Compression für Streaming wie im Dezember 2023 in dem Produkt Steam Link realisiert

Des Weiteren bin ich Erfinder mit ca. 70 angemeldeten Patenten aus verschiedenen Bereichen wie Computergrafik, Computer Vision, AI und Virtual Reality.

2021 habe ich gespannt viele Online-Vorträge von BayStartUp verfolgt, bei denen es um das Thema Firmengründung ging. Im Oktober 2021 war es dann soweit und ich habe meine eigene Firma, die immerVR GmbH gegründet. Wir sind komplett selbstfinanziert. Wir haben vier internationale Patente mit essentiellen technischen Neuerungen im Bereich der immersiven Medien angemeldet und unser Produkt, die App immerGallery, veröffentlicht.


2. Stell uns doch bitte mal die immerGallery vor. Was ist die Idee und was kann man damit alles machen?

immerGallery ist eine App, die man auf den Meta Quest Plattformen nutzen kann. Es geht dabei darum, immersive Medien, in unserem speziellen Fall immersive Fotos (reguläres 2D/3D, 180° 2D/3D, 360° 2D/3D, zylindrische Panoramen) bestmöglich und einfach zu betrachten. Um darin auch immersive Geschichten zu erzählen, ist es möglich sowohl Hintergrundmusik als auch eigene Voice-Overs hinzuzufügen. Wir haben verschiedene Special Effects, die interaktiv gerendert werden, z.B. Schnee, Regen, herbstliche Blätter und mehr. Medial gesehen bildet dies einen Mittelweg zwischen rein statischen Fotos und komplett dynamischen Videos. Bei VR-Fotos ist oft die Auflösung und Qualität sehr hoch, der Speicherverbrauch verhältnismäßig gering und man bekommt beim Betrachten keine Motion Sickness. Dafür hat man aber keine Dynamik und keine Tonspuren. Bei VR-Videos ist in der Praxis leider oft die Qualität nicht so hoch, wie man es sich wünschen würde: zu starke Kompression, zu niedrige Auflösung, zu wenig Bildrate (30 fps). Manche Ersteller von VR-Videos machen Kamerafahrten und Drehungen, die schnell Motion Sickness verursachen können. Der Hauptvorteil im VR-Video liegt in der vollen dynamischen Darstellung. Der Mittelweg, der die besten Komponenten aus dem Bildbereich und dem Videobereich nimmt, ist dann kombiniert die VR-Slideshow: hochqualitative Bilder, Audio für Hintergrundmusik und Voice-Overs, dynamische Special Effects und das alles ohne sich nach der Benutzung Motion Sick zu fühlen.

Screenshot aus der App immerGallery. Sind die GPS-Koordinaten des Fotos bekannt, so kann man sich den Ort näher auf einer interaktiven Karte ansehen.


3.  Kann man auch eigene Fotos hochladen?
Die VR-Fotos, die wir für alle zugänglich machen, werden momentan von uns gefiltert. Damit können wir sicherstellen, dass es eine hohe Qualität der Bilder gibt und ggf. Aufnahmen, die Eye Strain verursachen, z.B. rotierte Fotos oder falsch fokussierte Fotos nicht an alle User verteilt werden. Wir haben allerdings auch einen integrierten Browser, in den man beliebige Web-Adressen zu .zip-Dateien eingeben kann. Das Archiv mit Fotos und ggf. Audio wird dann heruntergeladen und automatisch entpackt. Da tippen in VR wenig Spaß macht, kann man auch bekannte URL-Shortenern nutzen oder über Pastebin mehrere Dowload-URLs als Feed sammeln und direkt in immerGallery abrufen. Damit kann jeder seine eigene immersive Galerie selbst hosten (z.B. Dropbox) und über die URL an seine Freunde verteilen.


4.  Und nun zum neuen Update: das macht eine 3D-Kamera aus der VR-Brille. Wie geht das?

Die Meta Quest 3 hat vorne zwei Farbkameras, ungefähr im menschlichen Augenabstand, für den Passthrough-Modus für Mixed Reality. Die zwei Kameras können einen 3D-Stream erzeugen, den man in der Quest aufnehmen kann. Das geht erstmal auch ohne eine App mit dem, was Meta aktuell an Menüfunktionen bietet. Allerdings ist es bei 3D-Content sehr wichtig, dass dieser in Bezug auf Drehungen korrekt ausgerichtet ist. Hätte man bei der Aufnahme eine Roll-Rotation, also wenn z.B. das Headset nach links oder rechts gekippt wäre, so wird das spätere Betrachten in VR schnell zum Motion-Sickness-Simulator, da die reale Kopforientierung des HMD-Users nicht mehr mit der ursprünglichen Kamera übereinstimmt. Ähnlich ist es auch bei Pitch-Rotationen, also Hoch- und Runterneigen der 3D-Kamera bzw. des Headsets. Zwar hat man hier etwas mehr Freiheiten, aber im allgemeinen Fall ist auch hier eine neutrale Position zu empfehlen. Da niemand seine genaue Kopforientierung einfach so bei der Benutzung eines VR-Headsets kennt, haben wir einen speziellen Modus eingebaut, der eine elektronische Wasserwaage anzeigt. Damit kann man sicherstellen, dass die Aufnahmen richtig oder zumindest möglichst gut ausgerichtet sind. Wir haben auch einen alterierenden Modus, wo die Wasserwaage eine gewisse Zeit gezeigt wird, verschwindet und wieder gezeigt wird. Das eignet sich sehr gut, wenn man später Screenshots als 3D-Fotos aus dem Video extrahieren möchte, wo man sicher weiß, dass die Rotationen neutral waren. Diesen manuellen Schritt bieten wir bald auch vollautomatisch auf der Quest 3 an, ohne, dass man manuell Screenshots am PC erstellen muss.

Neben der immersiven VR-Bildbetrachtung hilft immerGallery auch auf der Meta Quest 3 eigene, korrekt ausgerichtete 3D-Fotos und -Videos zu erzeugen.


5. Was sind deine nächsten Ideen, hast Du weitere Updates geplant oder gar ein neues Projekt? Letzte Worte zum Abschluss?

immerGallery wird weiterwachsen. Wir haben bereits unsere Rewards, eine Art Belohnung, wenn man die App regelmäßig nutzt. Jede Woche gibt es eine neue, kostenlose Galerie. Hat man alle vier in einem Monat erhalten, so bekommt man auch die etwas umfangreichere Monatsgalerie dazu. Damit sind wir weltweit die einzige Plattform, die regelmäßig hochqualitative 3D-Fotogalerien in VR veröffentlicht. Da gibt es spannende Touren nach Kolkata in Indien, Trier, Malta, dem Elsass, Osaka in Japan, fränkische Osterbrunnen, Besuche auf dem Oktoberfest und vieles mehr.

An Funktionalität planen wir auch eine immerGallery Pro Version mit eingearbeitetem Feedback, das wir von unseren industriellen Nutzern erhalten haben, die unsere App im Bereich Industriedesign, Möblierung von Wohnungen und Küchen, Architektur, Städteplanung, Visualisierung von Drohnenpanoramen und mehr nutzen. Auch im Bereich Social VR in immerGallery wird es demnächst mehr Neuigkeiten geben.

Ansonsten sind wir auch im Bereich der Forschung tätig und Kooperieren mit Prof. Sebastian von Mammen von der Uni Würzburg, Games Engineering. Wir werden bald mehr Details über unsere Forschungsergebnisse veröffentlichen. 

Ich möchte gerne jeden, der eine Meta Quest 1/2/3/Pro hat, einladen sich unsere über 80 Beispielsbilder mit Hintergrundmusik, Voice-Overs und Special Effects in der kostenlosen immerGallery Demo oder immerGallery Vollversion anzuschauen, um sich selbst einen Eindruck davon zu machen, was momentan mit hochimmersiven VR-Slideshows schon möglich ist.

Wir freuen uns auch, wenn ihr uns bei Facebook, X , YouTube, LinkedIn, Instagram, TikTok oder in unserem Email-Newsletter folgt.

Und hier ist unser YouTube-Trailer immerGallery.



Über den Autor

Geschrieben von:

Rubriken

Internationale Kooperationen Kategorie-Icon

Internationale Kooperationen

Artikel ansehen
Kunst & Kultur Kategorie-Icon

Kunst & Kultur

Artikel ansehen
LAB im Forum der Zukunft Kategorie-Icon

LAB im Forum der Zukunft

Artikel ansehen
Meetings & Social Kategorie-Icon

Meetings & Social

Artikel ansehen
Training & Education Kategorie-Icon

Training & Education

Artikel ansehen
Wirtschaft Kategorie-Icon

Wirtschaft

Artikel ansehen
Wissenschaft Kategorie-Icon

Wissenschaft

Artikel ansehen