Digitale Bildung: Schreiben und Zeichnen in XR

Der XR HUB Bavaria begleitet an seinem Standort in Würzburg Forschungsprojekte zu Einsatzmöglichkeiten von XR im Bildungsbereich. Sie fokussieren die Wissensvermittlung an Lernende und die digitale Ausbildung von Lehrenden. In den Projekten werden neue multimodale XR-Interaktionsmethoden menschzentriert entwickelt und evaluiert.

Der XR HUB in Würzburg verbindet neue, immersive Technologien mit pädagogischen, didaktischen Konzepten, um digitales, situiertes und handlungsorientiertes Lehren und Lernen zu fördern. Wir stellen hier ein Leuchtturmprojekt vor, das aus gemeinsamer Förderung mit dem BMBF hervorgegangen ist.

Schreiben und Zeichnen per Hand sind wichtige Fähigkeiten der menschlichen Kommunikation, um Informationen zu speichern und zu teilen. Hierfür verwenden Menschen oft analoge Stifte und Papier oder digitale Tablets (z.B. Apple iPad). Aufgrund der begrenzten Verfügbarkeit von Schreibgeräten in Virtual, Augmented oder Mixed Reality (VR, AR, MR, kurz XR) können Privatpersonen ihre im Handel erworbene Hardware (z.B. Oculus Rift S oder Oculus Quest 2) nicht für diesen Zweck nutzen.

Um diese Einschränkung zu überwinden, wurden in der Vergangenheit diverse wissenschaftliche Prototypen vorgestellt. Jedoch erfordern diese kostenintensive professionelle Trackingsysteme (z.B. OptiTrack Motion Tracking System), selbstgebaute Mikrocontroller und/oder 3D-Druck.

Um die Anforderungen von zusätzlichen Tracking-Systemen, Mikrocontrollern und 3D-Druck zu überwinden, wurde am Lehrstuhl für Mensch-Computer Interaktion der Universität Würzburg eine kostengünstige und technisch einfache Lösung entwickelt, die es Privatpersonen ermöglicht, ihre bestehende Hardware in voll-funktionsfähige XR Styluses umzuwandeln.

Die entwickelte Lösung mit dem Namen Off-The-Shelf Stylus (OTSS) ist ein frei-verfügbares Framework für 2D-Interaktion (in 3D), Schreiben und Zeichnen in XR. In der realen Welt schreiben Menschen auf physischen Oberflächen und profitieren dabei von dem sogenannten passiv-haptischen Feedback (z.B. Papier auf einem Tisch oder einem Whiteboard). Um dieses Feedback auch in XR zu ermöglichen, stellt OTSS eine Technik vor, um virtuelle Schreibflächen auf physischen Oberflächen darzustellen.

Die frei-verfügbare Referenzimplementierung für die Oculus Rift S mit Oculus Touch Controllern kann auf der Internetseite des Lehrstuhls herunter geladen werden.

Diese Forschung wird durch das Bundesministerium für Bildung und Forschung gefördert (BMBF-Projekt: ViLeArn; Förderkennzeichen: 16DHB2111). Das Projekt ViLeArn entwickelt und erforscht situierte virtuelle Lernumgebungen, die auf Präsenz und sozialer Interaktion basieren. Ziel ist die Förderung von Kompetenzen und die Steigerung des Lernerfolgs unter besonderer Berücksichtigung von Verfügbarkeit, Partizipation und Inklusivität. ViLeArn erforscht und entwickelt die dafür notwendigen Basistechnologien in enger interdisziplinärer Zusammenarbeit zwischen Mediendidaktik, Mensch-Computer-Interaktion und Informatik (Universität Würzburg) und mit einer konsequent begleitenden empirischen Usability- und Wirksamkeitsprüfung.

Mehr Informationen finden Sie unter http://hci.uni-wuerzburg.de/projects/vilearn/