Fünf Fragen an Prof. Dr. Daniel Roth

Prof. Dr. Daniel Roth ist Assistant Professor for Human-Centered Computing and Extended Reality am Department of Artificial Intelligence in Biomedical Engineering an der Friedrich-Alexander-Universität Erlangen-Nürnberg und Leiter des HEX Labs.

Er entwickelt mit seinem Team KI-basierte Assistenzsysteme für prozessbegleitende Gesundheitsanwendungen.

Das Projekt KARVIMIO soll die Nutzung von Instrumenten im OP-Saal vereinfachen.

^{Bild: FAU/Georg Pöhlein}

Wir haben mit Prof. Dr. Daniel Roth über das Projekt gesprochen:

Was war der ursprüngliche Auslöser an KI-basierten AR Visualisierungen von Bedienungsanleitungen für den OP-Saal zu forschen bzw. sie entwickeln zu lassen?

Das Projekt wurde durch den Austausch unseres Teams mit Chirurgen der LMU (Sebastian Andreß und Simon Weidert) im Rahmen der Medical Augmented Reality Summer School (MARSS) motiviert, die mein geschätzter Kollege Prof. Nassir Navab gemeinsam mit international führenden Kolleginnen aus dem Forschungsfeld regelmäßig veranstaltet. Ziel in der Fokusgruppe war es hier ein faktisches „Real-World“ Problem zu lösen und zur Digitalisierung der Vorgänge im OP und der Pflege generell beizutragen. Die Idee gewann einen tollen Preis der Jury und erhielt sehr viel positive Resonanz. Aus einem Konzept wurde dann ein größeres Projekt und alle waren mit viel Engagement dabei, insbesondere auch unsere DoktorandInnen Hannah Schieber und Constantin Kleinbeck.

Aus technologischer Perspektive fallen einem viele dieser Probleme auf, wenn man den Klinikalltag beobachtet. Wir können hier durch Forschung und Entwicklung helfen, die Patientensicherheit und -versorgung zu verbessern. Das ist für uns die größte Motivation. Essenziell dabei ist der interdisziplinäre Austausch zwischen Medizin und Technologie auch in der Forschung.

Auf Basis welcher Überlegungen wurden die KPI festgelegt und gab es für die genannten Zielvorgaben eine spezielle Motivation oder theoretische Überlegungen?

Wir haben uns primär an abgeschätzten Zeitersparnissen orientiert, die wir aus verwandter Literatur ableiten konnten und welche gleichzeitig eine anspruchsvolle Zielsetzung darstellen. Generell erhoffen wir uns, dass das System nicht nur im Notfall sondern auch präventiv während des Prozesses zum Einsatz kommen kann. Dennoch bleiben die angestrebten KPIs eine Abschätzung, die wir am Ende des Projekts vorerst nur experimentell, mit kontrollierten Studien, nachweisen könnten. Beispielsweise durch Testungen im Labor gegen eine Kontrollbedingung in real-getreuen Szenarien.

Wie realistisch sind die Komplikationen bei einer Sim-Operation nachzustellen?

Im Projekt verfolgen wir dazu unterschiedliche Ansätze. Es ist klar, dass weder Patientensicherheit noch Eingriff an sich in irgendeiner Weise beeinträchtigt werden dürfen.  Zum einen werden wir dies mit simulierten Bedingungen versuchen. Zum anderen planen wir erste Studien im OP, indem parallel zum Eingriff im Hintergrund eine Fachkraft die gleichen Assistenzvorgänge durchführt wie die tatsächliche OTA, jedoch komplett ohne Einfluss auf den Eingriff und somit ohne Auswirkungen auf die Patientensicherheit. Alle Studien sind natürlich noch in Planung und müssen im Detail ausgearbeitet werden. Zusammen mit Laborstudien wollen wir hier über verschiedenste Methodische Ansätze bestmöglich evaluieren und den Einsatz in realgetreuen Szenarien erproben.

Gibt es im Rahmen der WHO-Kriterien bei den Handbüchern der Hersteller einen allgemeinen Aufbau, durch den Inhalte relativ einfach in AR übertragen werden können oder unterscheiden sich diese stark? Welche / Wie viele Medizintechnik Hersteller sind im Rahmen des Forschungsprojektes involviert?

Die WHO weist diesbezüglich in Ihrem Globalen Aktionsplan für Patientensicherheit 2021-2030 auf die Notwendigkeit hin, dass Handbücher am Einsatzort verfügbar sein müssen und das Mitarbeiter sachgemäße Schulungen für Instrumente und deren Upgrades erhalten. Die Idee hier AR zu nutzen ist nicht im Bericht vermerkt. Das ist vermutlich an dieser Stelle auch nicht die Aufgabe der WHO hier zu spezifizieren, diese Aufgabe ist in der Forschung und Entwicklung gut aufgehoben und wir hoffen durch das Projekt diesbezüglich auch weitere Erkenntnisse zu gewinnen. Handbücher lassen sich sicher nicht 1:1 von Druck/PDF in AR Augmentierungen übertragen. Aber in Bezug auf AR Inhalte haben wir viel mehr Möglichkeiten, beispielsweise Dynamiken zu augmentieren oder Informationen unmittelbar am echten Objekt darzustellen. Auch hier wollen wir beforschen, welche didaktischen Konzepte bzw. Metaphern für die Visualisierung sich besonders eignen.

Wir haben mit Medability ein KMU im Projekt, mit dem wir uns die Entwicklungsarbeit teilen und welches als aktiver Projektpartner mit im Projekt agiert. Mit dem LMU Klinikum arbeiten wir zudem mit direkten Anwendern und das Institut für Arbeit und Technik unterstütz das Projekt insbesondere im Bereich der ELSI Fragestellungen. Hinzu kommen noch mehrere Firmen, Netzwerkpartner und Kliniken wie das Universitätsklinikum Erlangen, die sich mit dem Projekt assoziiert haben und auf unterschiedliche Arten mit dem Projekt interagieren. Wir freuen uns insbesondere, dass die Idee hier auf absolut positive Resonanz in der Industrie gestoßen ist. Das ist für uns nicht nur motivierend, sondern informiert auch die Entwicklung durch entsprechende Rückmeldungen. Beispielsweise planen wir gerade Ende Januar den ersten Workshop gemeinsam mit assoziierten Partnern, Anwendern und Stakeholdern aus der Industrie. Für das Projekt ist es essenziell partizipativ zu arbeiten.

Aktuell wird als AR Brille die Hololens 2 bzw. Technologien von Microsoft verwendet? Gibt es noch andere Hersteller, welche zur Umsetzung nach aktuellem Stand in Frage kämen und braucht man für Haptic Feedback etwas wie Senseglove?

Es gibt natürlich diverse Geräte andere Hersteller, die wir im Blick haben und während des Projektes soll unter anderem auch die Generalisierbarkeit des Systems geprüft werden. Hier spielen nicht nur die Spezifikationen für den AR-Bereich eine Rolle, sondern natürlich auch und insbesondere medizintechnische Kriterien (z.B. etwaige Sterilität, Arbeitsschutz, Ergonomie, etc.). Welches Gerät schlussendlich für so eine Anwendung genutzt werden kann wird daher durch verschiedene Kriterien beeinflusst, auch das wollen wir unter die Lupe nehmen.

Senseglove für die Haptic ist prinzipiell keine schlechte Idee! Allerdings sind die Einschränkungen die aktuell noch mit dem Input durch Datenhandschuhe einhergehen, z.B. die Einbußen im Bereich der Filigranarbeit, zu hoch. Man kann aber den Blick in die Zukunft durchaus wagen und aus dem Einsatz neuer Sensorik ergeben sich wieder andere Möglichkeiten für die Interaktion mit dem System. Datenhandschuhe bzw. haptische Handschuhe sind aber für uns im Projekt für diesen Anwendungsfall noch kein konkreter Untersuchungsgegenstand. Dennoch: Die Technologie wird sich stetig weiterentwickeln und Hersteller wie Kinfinity arbeiten an sehr leichten und durchaus ergonomischen/tragbaren Modellen, ggf. auch unter einem Latex Handschuh.

Das Projekt KARVIMIO wird gefördert vom Bundesministerium für Bildung und Forschung. Projektträger ist die VDI/VDE Innovation + Technik GmbH. Verbundkoordinator ist die Friedrich-Alexander-Universität Erlangen-Nürnberg in Kooperation mit Medability GmbH München, dem Klinikum der Universität München und der Westfälischen Hochschule Gelsenkirchen.