FÜNF FRAGEN AN SEBASTIAN KRÜGER UND SEIN TEAM BEI SIEMENS HEALTHINEERS

CINEMATIC REALITY BEI SIEMENS HEALTHINEERS

Think out of the box! Was passiert, wenn man Cinematic Rendering in einem großen Unternehmen einsetzt, um Erkenntnisse im gesundheitlichen Bereich zu kommunizieren? Welche Kompetenzen braucht es dafür? Wir haben mit Sebastian Krüger und seinem Team bei Siemens Healthineers gesprochen.

Wie lange gibt es Siemens Healthineers, was ist das Ziel und welche Rolle spielen dabei XR-Technologien?
Die Wurzeln unserer Firma gehen bis ins Jahr 1847 zurück. Im Jahre 2016 hat sich der Name Siemens Healthineers etabliert. Unter den 48.000 Mitarbeitenden gibt es einige, die sich mit XR-Technologien auseinandersetzen.
Dabei sind die Anwendungsfelder vielfältig: Produktpräsentation, Computergestütztes Design, Service & Maintenance für medizinische Geräte, Ausbildung & Training und nicht zu vergessen die Unterstützung von medizinscher Diagnose sowie von Planung und Durchführung von Interventionen.

Wie seid Ihr auf die Idee gekommen, Eure Inhalte für die Hololens mittels Cinematic Rendering zu bearbeiten?
Wir als kleines Team der Softwareabteilung arbeiteten 2016 an Performanceoptimierungen für Cinematic Rendering. Dabei entstanden bald Ideen, die sehr hohe Framerates ermöglichten – ohne dafür Renderingqualität zu opfern. Ein Proof-of-Concept für die Hololens 1 war schnell entwickelt. Schon damals zeigte sich, dass die zugrundeliegende Idee aufging: die Immersion, dass die Nutzer:innen ein echtes Objekt betrachten profitiert enorm von der Verbindung von fotorealistischem Rendering und stereoskopischer Darstellung als Hologramm im Raum. Die dazugehörige intuitive und natürliche Interaktion mit diesen Objekten wurde dann mit dem Erscheinen der Hololens 2 von uns implementiert.

Welche Vorteile für die Kunden hat dieses Verfahren? Welche Interaktionen habt Ihr entwickelt? Wie ist das Feedback der Kunden?
Das Feedback unserer Kunden ist durchweg sehr positiv. Die Verbesserung des Verständnisses für komplexe Anatomie, welche Cinematic Rendering allein bietet [1], wird in Verbindung mit der Hololens offenbar noch weiter gesteigert. Zum Beispiel erlaubt es Kunden 3D Drucke in ihrem Workflow gewinnbringend zu ersetzen. Und das sogar ohne die Zeit für die Vorarbeiten mit zu betrachten [2].
Wir sprechen bei Cinematic Reality immer noch über eine Research Application, welche nicht für die klinische Verwendung freigegeben ist. Jedoch erreichen uns sehr häufig Anfragen von klinischen Partnern, die diese Lösung gern für ihre Anwendungszwecke testen würden.
Für uns ist Cinematic Reality vor allem ein Proof-of-Concept, dass man fotorealistische Rendering von medizinischen Volumendaten auf der XR Geräten mit hoher Qualität und User Experience zeigen kann. Daher haben wir bisher nur sehr allgemeine Interaktionen implementiert: Rotation, Bewegung, Skalierung und das Cropping. Letzteres ist vor allem bei Volumendaten ein sehr eindrucks- und wirkungsvolles Werkzeug.

Welche Kompetenzen bei Euch im Team waren erforderlich für den Erfolg dieses Projektes und was waren Eure größten Herausforderungen, die es zu überwinden gab?
Das Projekt wurde durch die erfolgreiche Zusammenarbeit von Expert:innen verschiedener Teams zum Erfolg. Entwicklung von Visualisierungsalgorithmen, User-Experience, Applikationsentwicklung, Marketing und klinisches Kollaborationsmanagement wurde durch unser kleines, organisationsübergreifendes Team abgedeckt. Die größte Herausforderung war die damalige Verfügbarkeit von Frameworks zur Ansteuerung der Hololens 2. Durch die enge Zusammenarbeit mit Microsoft hatten wir zwar zeitig Zugang, konnten jedoch nicht auf vorhanden Erkenntnisse und Erfahrungen zurückgreifen. Auch Hersteller bekannter Middle-Ware für die schnelle Entwicklung solcher Projekte waren nicht weiter als wir. Damals waren wir gezwungen viele Funktionalitäten selbst zu implementieren, die heutzutage fix und fertig verfügbar sind.

Was plant Ihr als nächstes? Werdet Ihr dieses Projekt noch ausbauen oder startet Ihr ein neues oder beides?
Für Research Applikationen können wir zur Verfügbarkeit und Weiterentwicklungen nichts versprechen. Aus Sicht unseres Innovationsteams gibt es jedoch sehr viele Themen die wir angehen wollen. Hierzu wollen wir auf Cinematic Reality aufbauen. Unsere Kunden haben uns auch ein recht klares Bild davon vermittelt, in welche Richtung sie sich eine Weiterentwicklung wünschen. Auch scheinen die möglichen Anwendungsgebiete immer noch nicht vollständig erschlossen. Und wir als Enthusiasten für XR-Technologien möchten alles dafür tun, mit ihnen weiter an diesen Themen arbeiten zu können. Jede Entwicklung hin zu einem Produkt möchten wir auch sehr gern unterstützen – sind uns aber auch darüber im Klaren, dass die Mühlen im stark regulierten Umfeld der Medizinprodukte langsamer und vorsichtiger mahlen.

[1] https://pubmed.ncbi.nlm.nih.gov/31141115/
[2] https://www.frontiersin.org/articles/10.3389/fcvm.2021.633611/full

Cinematic Reality is for education and communication. Not for diagnostic use. The application is still under development. Its future availability cannot be guaranteed.