Hintergrund und Zielsetzung

XR-Trainings (Extended Reality) auf individuelle Bedürfnisse und spezifische Arbeitsumgebungen zuzuschneiden, erfordert in der Regel Programmierkenntnisse sowie Fachwissen zur Erstellung virtueller 3D-Umgebungen. Da viele Organisationen nicht über Personal mit entsprechenden Kenntnissen verfügen, tun sie sich schwer, XR-Schulungen zu entwickeln, die auf ihre Arbeitsumgebungen, Geräte und Abläufe abgestimmt sind.

IN+SIGHT nimmt sich dieses Problems an. Wir suchen nach Lösungen, die es Domänenexpert*innen – also Personen, die ihren Arbeitsplatz und die jeweiligen Schulungsanforderungen bestens kennen – ermöglichen, ohne tiefergehendes Hintergrundwissen zu XR-Technologien selbst immersive Trainings zu erstellen.

Vorgehensweise

Das Hauptziel des Projekts ist es, einen Prozess zu entwickeln, der es Menschen mit wenig Erfahrung in der 3D-Entwicklung ermöglicht, XR-Trainingsumgebungen selbst zu erstellen und sie an ihre spezifischen Anwendungsfälle und Arbeitsbereiche anzupassen.

Der Ablauf sieht wie folgt aus: Personen, die mit den Anforderungen und Bedürfnissen ihrer Arbeitsumgebung vertraut sind, zeichnen das Arbeitsumfeld mit einem Smartphone auf und erklären währenddessen, welche Objekte wichtig sind, wie typische Arbeitsabläufe aussehen und worauf man achten muss, um Risiken zu minimieren. Danach werden aus den Aufnahmen digitale Zwillinge erstellt, also fotorealistische 3D-Darstellungen von Räumen, Maschinen, Objekten oder Außenbereichen, die mit Fachwissen und Lerninhalten angereichert sind.

Der gesamte Prozess setzt sich aus drei Teilschritten zusammen:

1. Erfassen (Capture): Eine Domänenexpert*in nimmt ihre Arbeitsumgebung mit einem Smartphone auf und spricht, wenn nötig, Erklärungen ein.
2. Erstellen (Author): Aus der Aufnahme wird eine fotorealistische 3D-Umgebung erstellt. Trainer*innen prüfen die erfassten Inhalte, schlagen Verbesserungen vor, fügen Dokumente hinzu und definieren Lernaktivitäten, die in dieser Umgebung durchgeführt werden sollen.
3. Lernen (Learn): Die erstellte virtuelle Lernumgebung kann über ein Smartphone, einen Computer oder ein immersives XR-Headset erkundet werden. Anwenderinnen und Auszubildende können Informationen abrufen, einem vorgegebenen Lernpfad folgen, Aufgaben bearbeiten oder Fragen beantworten. So können Mitarbeiter*innen ohne großes Risiko in die korrekte Verwendung von Geräten und Anlagen sowie in Arbeitsabläufe eingeführt werden. Auch bereits erworbenes Wissen kann überprüft werden.

Methoden und Schlüsseltechnologien

IN+SIGHT kombiniert 3D Gaussian Splatting (3DGS), Künstliche Intelligenz und webbasierte XR-Technologien in einem Workflow, der speziell für Nutzer*innen ohne professionelle Kenntnisse in der 3D-Entwicklung konzipiert ist.

Eine Smartphone-App führt die Anwender*innen durch den Aufnahmeprozess und leitet sie dabei an, eine reale Umgebung aus allen erforderlichen Perspektiven aufzunehmen. Die aufgenommenen visuellen Daten werden anschließend mithilfe von 3D Gaussian Splatting (3DGS) verarbeitet und bereinigt und danach in eine 3D-Darstellung umgewandelt.

Ein Authoring-Tool ermöglicht es Trainerinnen, Transkripte zu korrigieren, Informationen aus bestehenden Dokumenten einzubinden, wichtige Orte zu markieren sowie Quizze oder geführte Lernpfade zu erstellen. Die Kontrolle über die Inhalte bleibt dabei stets in den Händen der Trainer*innen. Künstliche Intelligenz und Large Language Models (LLMs) unterstützen sie aber bei der Verarbeitung gesprochener Erläuterungen und von Informationen aus Dokumenten.

Spatial AI hilft dem System zu erkennen, an welcher Stelle sich die Anwender*innen innerhalb der virtuellen Umgebung befinden. Dadurch kann die KI bei ihren Antworten den Kontext und den aktuell betrachteten Bereich der Umgebung berücksichtigen.

Die Werkzeuge werden gemeinsam mit Projektpartnern aus verschiedenen Berufsfeldern entwickelt und getestet. Diese bringen reale Schulungsszenarien aus ihrem Arbeitsalltag mit und geben Feedback zu den Tools im Rahmen eines iterativen, nutzer*innenzentrierten Entwicklungsprozesses.

Ergebnisse

IN+SIGHT entwickelt einen Prototypen eines XR Tools, der in realen Schulungsszenarien und mit künftigen Anwenderinnen getestet wird. So untersuchen wir, wie benutzer*innenfreundlich das Tool ist und welche Erfahrungen Trainer*innen und Auszubildende damit machen. Etablierte Evaluationsmethoden zeigen uns außerdem, wie groß der Lernerfolg ist und wie gut das erworbene Wissen verinnerlicht wird. Eine weitere zentrale Forschungsfrage ist, wie räumlich verknüpfte Erklärungen und Dokumente Organisationen dabei unterstützen können, Spezialwissen zu bewahren und weiterzugeben.

Am Ende des Projekts liegt der Prototyps eines Tool vor, der es  Domänenexpert*innen erlaubt, eigenständig, ohne Unterstützung professioneller 3D-Entwicklerinnen bedürfnisgerecht zugeschnittene immersive Trainingsumgebungen zu bauen.