Die Anpassung der Auflösung in der virtuellen Realität (VR) ist eine komplexe, aber entscheidende Technik, um die Leistung bei der Darstellung von 3D-Szenen zu optimieren. Ein zentraler Aspekt ist das sogenannte "Level-of-Detail" (LOD)-Management, das die Detailgenauigkeit von Objekten in einer Szene anpasst, basierend auf ihrer Nähe zur virtuellen Kamera und ihrer Wichtigkeit für die Gesamtwahrnehmung des Benutzers. Traditionell wird die LOD in VR-Systemen durch feste foveierte Darstellung (FFR) oder dynamische foveierte Darstellung (DFR) gehandhabt. Beide Ansätze zielen darauf ab, den Rendering-Aufwand zu reduzieren, indem die Auflösung je nach Blickrichtung des Benutzers variabel ist. Dies ist besonders bei VR-Headsets (HMDs) wie dem Oculus Quest 2 von Bedeutung, das FFR verwendet, um die Systemressourcen effizient zu nutzen.

Das Prinzip der foveierten Darstellung beruht auf der Tatsache, dass das menschliche Auge nur einen kleinen Bereich im Zentrum des Sichtfelds in hoher Auflösung wahrnehmen kann. Die Ränder des Sichtfeldes sind viel weniger detailliert. Bei der festen foveierten Darstellung wird die Auflösung innerhalb der Szenerie dynamisch angepasst, wobei Objekte in der Mitte des Sichtfelds in hoher Auflösung und Objekte am Rand in niedrigerer Auflösung gerendert werden. Dies reduziert den Rechenaufwand erheblich, während die Wahrnehmung des Benutzers nicht wesentlich beeinträchtigt wird, da er nur den zentralen Bereich in hoher Auflösung benötigt.

Im Gegensatz dazu erfordert die dynamische foveierte Darstellung (DFR) ein zusätzliches Maß an Komplexität. Hier wird die Auflösung von Objekten nicht nur durch ihre Position im Sichtfeld, sondern auch durch die Augenbewegungen des Benutzers bestimmt. Ein HMD mit Eye-Tracking ermöglicht es, die Blickrichtung des Benutzers genau zu verfolgen, sodass die Szene in Echtzeit neu gerendert wird, um die Auflösung dort zu erhöhen, wo der Benutzer hinschaut. Dies bedeutet, dass nicht nur die zentrale Vision scharf bleibt, sondern auch die Objekte, auf die der Benutzer tatsächlich blickt, in der höchstmöglichen Auflösung dargestellt werden. Im Vergleich zur festen foveierten Darstellung bietet DFR eine deutlich realistischere Benutzererfahrung und ermöglicht eine höhere Interaktivität, da es dynamisch auf die Augenbewegungen des Nutzers reagiert.

Ein weiteres wichtiges Konzept im Zusammenhang mit LOD-Management ist die adaptive LOD-Verwaltung, die für die Gewährleistung einer stabilen Bildrate in Szenen mit variierender Komplexität von entscheidender Bedeutung ist. Insbesondere bei virtuellen Rundgängen oder in Architekturvisualisierungen, wo die Anzahl der Polygone in einer Szene je nach Kamerawinkel stark schwanken kann, ist es notwendig, eine Methode zu haben, die die Rendering-Leistung konstant hält. Hier kommen adaptive LOD-Ansätze ins Spiel, die darauf abzielen, das Rendering effizient zu steuern, indem sie die Komplexität der dargestellten Objekte an die verfügbaren Rechenressourcen anpassen. Diese Ansätze sorgen dafür, dass die Gesamtzeit für das Rendern einer Szene nicht überschritten wird, indem sie weniger wichtige Objekte in niedrigerer Auflösung darstellen oder ganz ausblenden, während die wertvolleren Objekte priorisiert werden.

Die adaptive LOD-Verwaltung garantiert, dass jede sichtbare Szeneeinheit basierend auf ihrem „Wert“ und den „Kosten“ des Renderns behandelt wird. Der „Wert“ eines Objekts hängt davon ab, wie nah es zur virtuellen Kamera ist und welche Bedeutung es für die Wahrnehmung der Szene hat. Die „Kosten“ des Renderns beziehen sich auf die Zeit und Rechenressourcen, die benötigt werden, um ein Objekt in der Szene darzustellen. Durch diese Priorisierung wird die Bildrate optimiert und die visuelle Qualität aufrechterhalten, auch in Szenen mit stark unterschiedlicher geometrischer Komplexität.

Ein Beispiel für diese adaptive Verwaltung ist die Anwendung von Raytracing in VR. Raytracing ist bekannt dafür, besonders realistische Lichteffekte zu erzeugen, stellt jedoch hohe Anforderungen an die Rechenleistung. Besonders im Zusammenhang mit VR ist es daher wichtig, den Rechenaufwand effizient zu steuern. Forscher haben gezeigt, dass es möglich ist, ray-traced Szenen mit einer Vielzahl von Subsampling-Punkten in der zentralen Fovea des Sichtfeldes zu rendern, während die Randbereiche nur mit einer geringen Anzahl von Strahlen bearbeitet werden. Diese Technik, die auch als foveiertes Raytracing bezeichnet wird, kann selbst auf handelsüblichem Hardware eine hohe Bildrate erzielen, indem sie den Rechenaufwand für weniger relevante Szenenbereiche reduziert. Es wurde nachgewiesen, dass diese Methode in einem hybriden OpenGL-CUDA-Pipeline-System die Bildrate erheblich steigern kann, was in einem verbesserten VR-Erlebnis resultiert.

Ein besonders wichtiger Aspekt, der bei der Verwendung von Raytracing und adaptiven LOD-Ansätzen beachtet werden muss, ist die Notwendigkeit der „temporal pixel reusability“. Dies bedeutet, dass bei langsamen oder keine Kopfbewegungen die Farbwerte der Pixel aus früheren Frames wiederverwendet werden können. Dies spart sowohl Rechenressourcen als auch Zeit, da nicht jeder Frame von Grund auf neu berechnet werden muss. Diese Technik trägt nicht nur zur Reduzierung der Rechenlast bei, sondern sorgt auch für ein flüssigeres Erlebnis für den Benutzer.

Es ist auch wichtig zu erkennen, dass adaptive LOD-Methoden nicht nur für die Steigerung der Bildrate von Bedeutung sind, sondern auch für die Verbesserung der Realismus der virtuellen Umgebung. Durch die dynamische Anpassung der Auflösung und der Render-Techniken an die tatsächlichen Bedürfnisse des Benutzers wird die wahrgenommene Qualität einer Szene erheblich erhöht, was zu einer immersiveren Erfahrung führt. In der Zukunft wird es zunehmend wichtig sein, diese adaptiven Methoden auf allen Plattformen zu implementieren, um die beste Leistung mit minimalem Rechenaufwand zu erreichen, insbesondere in anspruchsvollen VR-Anwendungen wie Architekturvisualisierungen oder interaktiven 3D-Walkthroughs.

Wie Mixed-Reality-Flugsimulatoren das Training im Vergleich zu VR-Systemen verbessern

Mixed-Reality-Flugsimulatoren (MR) bieten eine neue Dimension des Trainings, die weit über die Möglichkeiten von Virtual-Reality-Systemen (VR) hinausgeht. Während VR-Flugsimulatoren in den letzten Jahren zunehmend an Bedeutung gewonnen haben, bieten MR-Flugsimulatoren durch ihre Fähigkeit, echte und virtuelle Elemente zu kombinieren, spezifische Vorteile für das Pilotentraining. Ein prominentes Beispiel für solch einen MR-Head-Mounted-Display (HMD) ist das XTAL 3 NEO HMD, das mit einer beeindruckenden Auflösung von 8k und einem weiten Sichtfeld von 180° ausgestattet ist. Im Vergleich dazu erreichen kommerzielle HMDs wie das Quest 3 nur eine Auflösung von 4k und ein Sichtfeld von 110°. Das XTAL 3 NEO zeichnet sich zusätzlich durch eine Augenverfolgungstechnologie aus, die es ermöglicht, die Blickdaten des Auszubildenden zu analysieren und dessen Bewusstseinszustand sowie die Leistung zu dokumentieren.

Das Prinzip der Chroma-Key-Technologie, die für die Integration virtueller Szenen in die reale Umgebung genutzt wird, ist ein weiteres herausragendes Merkmal. Hierbei wird ein grüner Bildschirm verwendet, um den realen Blickwinkel des Piloten mit der simulierten virtuellen Umgebung zu kombinieren. Diese Technik ermöglicht eine nahtlose Einfügung der VR-Szene hinter dem Cockpit, wodurch die Innenansicht des Cockpits erhalten bleibt, während gleichzeitig die virtuelle Außenwelt angezeigt wird. Diese Echtzeit-Verschmelzung von realer und virtueller Welt ist entscheidend, um ein realistisches und immersives Trainingserlebnis zu schaffen.

Trotz der zahlreichen Vorteile von MR-Simulatoren gibt es auch wesentliche Einschränkungen, die vor allem mit den hohen Kosten und der Notwendigkeit für leistungsstarke Desktop-Computer verbunden sind, die für die minimalen Latenzzeiten und die hohe Grafikanforderungen erforderlich sind. Zudem erfordert die Nutzung von MR-Simulatoren eine physische Nachbildung des Cockpits, was die Kosten und den Platzbedarf weiter erhöht. Die Tethered-Verbindung zwischen dem HMD und dem Desktop-System stellt ebenfalls eine Einschränkung hinsichtlich der Bewegungsfreiheit dar, auch wenn diese in bestimmten Trainingsumgebungen wie in einem festen Pilotenstuhl, der keine Bewegungsfreiheit erfordert, weniger problematisch ist.

MR-Flugsimulatoren ermöglichen zudem eine Tandem-Schulung von Pilot und Copilot, wobei beide Personen in der realen Umgebung miteinander kommunizieren können. Dies unterscheidet sich von VR-basierten Systemen, bei denen jeder Auszubildende in einer vollständig virtuellen Welt arbeitet und die Interaktion zwischen den beiden Akteuren auf Avatare beschränkt ist. Diese Funktion stellt einen erheblichen Vorteil dar, insbesondere in Szenarien, in denen Teamarbeit und Kommunikation zwischen Pilot und Copilot entscheidend sind.

Eine Studie zur Übertragung von Trainingsleistungen, die die Wirksamkeit von VR- und MR-Flugsimulatoren verglich, zeigte, dass VR-Systeme bei fortgeschrittenen und schnellen Flugmanövern wie Dogfights und schnellen Kursänderungen an ihre Grenzen stoßen. Die visuelle Verarbeitung und das propriozeptive Feedback bei schnellen Manövern in MR-Systemen sind noch nicht vollständig optimiert, was zu sensorischen Konflikten führen kann. Aufgrund der fehlenden Bewegungsplattformen, die für eine vollständige körperliche Simulation der Flugmanöver erforderlich sind, bieten VR- und MR-Simulatoren sich eher für grundlegendere Ausbildungsaufgaben wie Instrumentenfamiliarisierung oder Level-Flug unter klaren Himmelverhältnissen an, wo die visuelle Veränderung minimal ist.

Ein bedeutender Vorteil von MR-Simulatoren, der in der Forschung zunehmend an Bedeutung gewinnt, ist die Reduktion von Cybersickness, einer Erkrankung, die durch die Unstimmigkeit zwischen visuellen Eindrücken und dem Fehlen von körperlichen Bewegungen ausgelöst wird. In einer vergleichenden Studie zwischen MR und VR, bei der sowohl das HoloLens 2 MR-HMD als auch das Oculus Rift S VR-HMD verwendet wurden, zeigte sich, dass MR-Systeme geringere Cybersickness-Werte erzielten. Besonders in der MR-Gruppe, in der reale Elemente wie Wände und Böden sichtbar waren, war das Auftreten von Unwohlsein geringer als in der Gruppe, die vollständig virtuelle Szenen erlebte. Dies lässt darauf schließen, dass das Wahrnehmen realer Elemente, auch wenn sie in eine virtuelle Umgebung integriert sind, das neurophysiologische Gleichgewicht der Teilnehmer stabilisieren kann.

Die positiven Effekte von MR auf das Training sind auch im Hinblick auf die Muskelgedächtnisbildung und das Interagieren mit virtuellen Instrumenten im Cockpit von Vorteil. Eine Studie der Universität Stockholm zeigte, dass Auszubildende, die mit MR-Technologie trainierten, bei der Interaktion mit einem virtuellen Cockpit schneller und präziser waren als jene, die auf reine VR-Systeme zurückgreifen mussten. Insbesondere das Sehen der eigenen Hände und Arme in der virtuellen Umgebung trug dazu bei, die kognitiven und körperlichen Fähigkeiten der Trainees zu verbessern, da die Propriozeption in realen Bewegungen besser eingebunden wurde.

In der Diskussion um die beste Methode zur Ausbildung von Piloten stellt sich die Frage nach der Definition des „positiven Transfers von Training“ – also der Übertragung von erlernten Fähigkeiten auf die reale Flugpraxis. Hier spielen sowohl die Art des verwendeten Simulators als auch die spezifische Trainingsaufgabe eine entscheidende Rolle. VR und MR bieten unterschiedliche Stärken je nach Art des zu erlernenden Flugszenarios. Während VR ideale Ergebnisse für grundlegende und weniger komplexe Aufgaben liefert, kommen MR-Systeme vor allem bei fortgeschrittenem Training und Szenarien zum Tragen, bei denen die realistische Wahrnehmung von Raum und Körperbewegungen entscheidend ist.

Insgesamt bieten Mixed-Reality-Flugsimulatoren viele Vorteile im Vergleich zu rein virtuellen Systemen, insbesondere wenn es um die Integration von realen und virtuellen Elementen geht, die Verbesserung des Trainingserlebnisses und die Reduktion von Cybersickness. Dennoch erfordert die Technologie, aufgrund ihrer Komplexität und der damit verbundenen Kosten, weiterhin bedeutende Investitionen und spezialisierte Infrastruktur.

Welche Gefahren und Abhängigkeitspotentiale stecken hinter Drogen und psychoaktiven Substanzen?
Wie der Konservatismus von Burke bis Trump ein Hierarchie-preservierendes Konzept bleibt
Welche Vögel waren im Juli 2025 in Großbritannien zu sehen und welche Beobachtungen sind besonders bemerkenswert?
Wie gelang es den Amerikanern, die japanische Übermacht in der Schlacht um Midway zu durchbrechen?