Wie können wir sicherstellen, dass Teilnehmerdaten in VR-Studien korrekt erfasst werden?

In der Durchführung von Studien zur Mensch-Maschine-Interaktion, insbesondere in virtuellen Umgebungen (VR), ist es entscheidend, die genaue Erfassung von Teilnehmerdaten sicherzustellen. Das Studiendesign, sei es zwischen den Teilnehmern oder innerhalb der Teilnehmergruppe, hat weitreichende Auswirkungen auf die Validität und Reliabilität der gesammelten Daten. Es gibt jedoch eine Vielzahl von Herausforderungen, die bei der Planung und Durchführung solcher Studien beachtet werden müssen. Insbesondere geht es um die genaue Erhebung der Daten, die Sicherstellung der richtigen Handhabung der Teilnehmerinformationen und die technische Qualität der verwendeten VR-Systeme.

Ein weiterer zentraler Aspekt bei der Durchführung von VR-Studien ist die Rekrutierung und Auswahl der Teilnehmer. Um Verzerrungen in den Ergebnissen zu vermeiden, ist es notwendig, potenzielle Teilnehmer nach bestimmten Kriterien zu screenen. So sollten beispielsweise Teilnehmer, die anfällig für Simulatorkrankheit sind, von Studien ausgeschlossen werden, bei denen Virtual Reality intensiver genutzt wird. Ähnlich verhält es sich bei Studien, die sich mit kognitiven Defiziten befassen: Hier müssen gesunde Teilnehmer von denen mit kognitiven Beeinträchtigungen unterschieden werden, um zuverlässige Ergebnisse zu erhalten.

Nach der Rekrutierung und der Unterzeichnung des Einverständnisses wird jedem Teilnehmer ein einzigartiger Code zugewiesen, um seine Identität zu schützen. Zu Beginn der Studie werden Basisdaten über die Fähigkeiten der Teilnehmer erfasst und in einer Datenbank gespeichert. Diese Basiswerte dienen als Vergleichsbasis für die späteren Messungen. Im Anschluss an die VR-Experimente werden dann sogenannte "Post-Trial"-Messungen durchgeführt, um zu überprüfen, welche Veränderungen – sowohl positive als auch negative – nach der Exposition gegenüber der virtuellen Umgebung eingetreten sind. Manchmal sind auch Nachfolgemessungen notwendig, um die langfristigen Auswirkungen der VR-Erfahrung zu erfassen.

Dennoch gibt es auch hier Einschränkungen. VR-Technologie kann zu Verzerrungen führen, wenn beispielsweise große Latenzen oder Systemverzögerungen auftreten. Solche technischen Mängel beeinträchtigen nicht nur die Zuverlässigkeit der Daten, sondern auch die Gültigkeit der Messergebnisse. Gerade in Studien, die Reaktionszeiten messen, können Verzögerungen die Resultate verfälschen. Auch die Sensorqualität, wie sie bei 3D-Trackern vorkommen kann, hat Einfluss auf die Messgenauigkeit. Eine hohe Sensorrauschen kann es erschweren, zwischen den Leistungen eines Anfängers und eines Experten zu unterscheiden, was die Sensitivität der Messungen verringert.

Ein weiterer Faktor, der bei der Gestaltung von VR-Studien berücksichtigt werden muss, ist die Variabilität der verwendeten VR-Technologie. Unterschiedliche Hardware- und Softwarekomponenten können unterschiedliche Ergebnisse liefern, was die Vergleichbarkeit der Daten erschwert. Ein weiterer Aspekt ist die Erfahrung der Teilnehmer mit VR-Systemen: Teilnehmer, die mit der Technologie weniger vertraut sind, müssen möglicherweise zuerst lernen, wie man sie nutzt, bevor valide Daten gesammelt werden können.

Endtext

Wie frühe Pioniere die Grundlagen der virtuellen Realität schufen: Von Heilig bis NASA

Der "Reiter" spürte den Wind und fühlte die Schlaglöcher der Straße, während der Sattel vibriert. Kapseln mit komprimierter Luft öffneten sich, wenn er an einem Geschäft vorbeifuhr, um ihm den Duft verführerischer Lebensmittel zu ermöglichen. Mr. Heilig (1960) erkannte frühzeitig das Potenzial von Head-Mounted Displays (HMDs) und entwickelte eine Simulationsmaske, die 3D-Bilder mit breiten peripheren Effekten, Fokussiersteuerungen, Optik, Stereoklang und der Möglichkeit, Gerüche einzubinden, vereinte. Heilig, ein professioneller Kameramann, war seiner Zeit weit voraus. Wie der berühmte Schriftsteller Jules Verne träumte er von neuen Maschinen, die die klassische Kinoerfahrung seiner Ära ersetzen sollten. Er war ähnlich visionär wie Nikola Tesla, ein Erfinder des 19. Jahrhunderts, der nicht nur Ideen träumte, sondern diese auch in die Realität umsetzte. Doch zu der Zeit, als Heilig seine Erfindungen machte, war das Potenzial dieser revolutionären Technologien noch unbemerkt geblieben und niemand investierte in seine Ideen.

Trotz dieser Herausforderungen entwickelte Sutherland ein System zur Erzeugung virtueller Umgebungen. Er schuf einen "Szene-Generator", einen Computer, der als Vorläufer moderner Grafikprozessoren (GPUs) galt und eine Reihe von Szenen in schnellen Abfolgen berechnete und darstellte. Diese frühen Grafiken waren jedoch noch sehr simpel und bestanden aus nur wenigen hundert Polygonen. Jede Szene benötigte etwa ein Zwanzigstel einer Sekunde, was zu einer Geschwindigkeit von etwa 20 Bildern pro Sekunde führte. Diese langsame Rechenleistung beeinträchtigte die Qualität der Animationen und ließ sie sehr abgehackt wirken. Es war ein weiter Weg, bis sich die Technologie zu den flüssigen, komplexen Grafiken entwickeln sollte, die wir heute kennen.

Ein weiterer Bereich, der früh von VR-Technologien profitiert hat, war das Militär. Die militärischen Institutionen der 1970er und 1980er Jahre waren besonders daran interessiert, die teuren analogen Simulatoren durch digitale Systeme zu ersetzen. Ein analoger Flugzeugsimulator musste immer wieder an das jeweils aktuelle Modell angepasst werden, was enorme Kosten verursachte. Wäre es jedoch möglich gewesen, Simulationen in Software zu realisieren, könnten Änderungen an Flugzeugmodellen oder Software-Updates lediglich über Softwareänderungen erfolgen. Diese Vision führte zu weiteren Forschungen und Entwicklungen im Bereich der Flughelm-Simulatoren, die später auch in der zivilen Luftfahrt und der Raumfahrt Verwendung fanden.

Neben den grafischen und haptischen Fortschritten wurde auch die räumliche Akustik weiterentwickelt. 1988 integrierte Fisher eine neue Art von Sensorhandschuh, der die Fingerbewegungen erfasste, und entwickelte ein System zur Darstellung von 3D-Soundquellen, die auch bei Kopfbewegungen ihre Position im Raum behielten. Diese Erweiterung steigerte den Realismus von VR-Erlebnissen erheblich und bildete eine wichtige Grundlage für die heutige immersive Audiotechnologie.

In den 1990er Jahren nahm der wissenschaftliche Austausch zu VR-Technologien Fahrt auf. So fand 1992 in Frankreich eine internationale Konferenz zum Thema "Interfaces for Real and Virtual Worlds" statt, die eine breite wissenschaftliche und kommerzielle Aufmerksamkeit erregte. Dies war nur der Beginn einer Reihe von Konferenzen und Projekten, die den Weg für die heutige VR-Industrie ebneten.

Es ist bemerkenswert, wie sehr die frühen Visionen und Entwicklungen der Pioniere wie Heilig, Sutherland und Brooks das Fundament für die heutige VR-Technologie legten. Was in den 1960er Jahren noch als futuristische Vision galt, ist heute eine Technologie, die in vielen Bereichen wie Unterhaltung, Medizin, Bildung und Industrie weit verbreitet ist. Die ständigen Fortschritte in der Rechenleistung, der grafischen Darstellung und der Sensorik haben die einst träumerischen Ideen von immersiven virtuellen Welten in greifbare Realität verwandelt.

Wichtig zu verstehen ist, dass die Entwicklung von VR und den dazugehörigen Technologien eine kontinuierliche Geschichte von visionären Ideen, technologischem Fortschritt und wissenschaftlicher Zusammenarbeit darstellt. Auch wenn die ersten Systeme noch weit von den heutigen Möglichkeiten entfernt waren, legten sie doch den Grundstein für die interaktive, immersive und multisensorische Erfahrung, die wir heute als Virtual Reality kennen.

Wie lässt sich die Synchronisation von haptischen und grafischen Pipelines sowie großen gekachelten Displays realisieren?

Die Kraft-Rendering-Phase und die mechanische Texturierung sind in jedem Fall hardwarebeschleunigt und werden vom dedizierten haptischen Controller übernommen. Aufgrund der erheblich unterschiedlichen Abtastraten von Grafik- und Haptiksystemen ist eine lose Koppelung der Pipelines notwendig. So verarbeitet beispielsweise der Touch X Controller Kraftsignale mit einer Frequenz von etwa 1000 Hz, während die Grafikpipeline des PCs typischerweise nur 60 bis 120 Frames pro Sekunde liefert. Dies führt dazu, dass die Kollisionsdaten vom Host als Sollwerte für mehrere haptische Steuerzyklen dienen, bis ein neuer Frame in der VR-Szene gerendert wird. Dieser Ansatz ist adäquat, da das menschliche visuelle System weniger empfindlich auf die geringeren Aktualisierungsraten der Grafikpipeline reagiert als auf die hochfrequente haptische Rückmeldung.

Die Synchronisation innerhalb der Grafikpipelines gewinnt besonders bei großen, gekachelten Displays an Bedeutung. Systeme mit mehreren Grafikkarten – beispielsweise vier NVIDIA A6000 Karten, die bis zu 16 Displays ansteuern können – stellen hohe Anforderungen an die zeitliche Abstimmung der Ausgabekanäle, um störende visuelle Artefakte zu vermeiden. Synchronisierung verringert zudem Latenzen und trägt zur Vermeidung von Cybersickness bei, die durch inkonsistente Bildwiederholraten hervorgerufen werden kann.

Die konsequente Video-Synchronisation schließlich macht einen der Displays zum „Master“, der die Frame-Swaps koordiniert, während die anderen als „Slaves“ fungieren. Diese Master-Slave-Architektur gewährleistet, dass alle Displays simultan aktualisiert werden. Diese Vorgehensweise ist besonders wichtig beim Frame-sequentiellen Stereo-Rendering, bei dem abwechselnd Bilder für das linke und rechte Auge angezeigt werden. Nur wenn alle nebeneinanderliegenden Displays synchron dasselbe Auge darstellen, wird ein flackerfreies, augenschonendes Bild erzeugt und somit Simulationserkrankungen vorgebeugt.

Ein weiterer, oft übersehener Aspekt ist die Synchronisation von DC-Magnet-Trackern mit dem Netzstrom des Gebäudes. Da sowohl der DC-Tracker als auch die Netzspannung mit 50–60 Hz schwingen, ist eine Phasenanpassung essenziell, um Störeinflüsse zu minimieren und die Genauigkeit der Positionsbestimmung zu erhöhen. Dies erfordert eine externe Genlock-Synchronisation, die sowohl an den Tracker als auch an die Displays geliefert wird.

Ein praktisches Beispiel für eine umfassende Synchronisation großer Display-Arrays liefert die Kombination von vier RTX A6000 Grafikkarten in einem einzigen System, gesteuert über die NVIDIA Quadro Sync II Karte. Diese spezielle Hardware wird auf dem Mainboard installiert und verbindet die Grafikkarten miteinander, um ein gemeinsames „Frame Lock“-Signal zu verteilen. Dadurch werden alle bis zu 16 angeschlossenen Displays gleichzeitig aktualisiert. Zusätzlich ermöglicht die Sync II Karte die Übertragung von Stereo-Signalen, die bei zeitsequenzieller 3D-Darstellung sicherstellen, dass alle Displays synchron das richtige Augenbild zeigen. Die Steuerung der Infrarot-Emitter für aktive 3D-Brillen erfolgt über ein weiteres VESA-kompatibles Stereo-Interface, das ebenfalls mit der Sync II Karte verbunden ist.

Neben der technischen Implementierung ist zu berücksichtigen, dass die menschliche Wahrnehmung bei der Integration verschiedener Feedback-Kanäle eine zentrale Rolle spielt. Die visuelle Wahrnehmung toleriert geringere Bildraten und kleinere zeitliche Diskrepanzen besser als die haptische Wahrnehmung, die eine hohe Frequenz und präzise zeitliche Abstimmung erfordert. Dies erklärt die Notwendigkeit, haptische Signale mit deutlich höheren Wiederholraten zu generieren und deren Steuerung unabhängig von der Grafikpipeline zu halten.

Darüber hinaus beeinflusst die Synchronisation die Gesamtsystemlatenz und damit die Immersion und Benutzerakzeptanz. Eine inkonsistente Synchronisation kann nicht nur visuelle Artefakte hervorrufen, sondern auch zu Übelkeit und Unwohlsein führen. Aus diesem Grund ist die Einhaltung strenger Synchronisationsprotokolle bei komplexen, verteilten VR-Setups essenziell.

Schließlich sollte beachtet werden, dass neben der reinen Frame-Synchronisation auch die Hardware-Kompatibilität und die Anschlussinfrastruktur (z.B. PCIe Slots, Verbindungskabel) die Performance und Zuverlässigkeit der Multichannel-Synchronisation bestimmen. Nur ein ganzheitlicher Ansatz, der sowohl Software- als auch Hardwarekomponenten berücksichtigt, kann eine stabile und flüssige Darstellung in großen, hochauflösenden VR-Installationen gewährleisten.

Wie wird in VR-Systemen die Latenz durch prädiktives Rendering minimiert und welche Rolle spielt die Systemarchitektur dabei?

In statischen oder wenig dynamischen Umgebungen lässt sich durch tiefe neuronale Netze eine erstaunliche Genauigkeit erzielen – in dem beschriebenen Fall wurde nur ein Frame von 10.000 falsch vorhergesagt. Daraus resultiert, dass häufig keine Neuberechnung notwendig ist, was wiederum die Rechenlast und vor allem die Latenz erheblich senkt. Kombiniert mit einer geringen Roundtrip-Verzögerung, die durch geografisch nahegelegene Edge-Server ermöglicht wird, resultieren dadurch extrem geringe Gesamtverzögerungen. Dieses Forschungsfeld profitiert maßgeblich von der stetigen Verbesserung sowohl schneller Netzwerke als auch leistungsfähiger Rechnerarchitekturen.

VR-Anwendungen stellen höchste Anforderungen an Hardware und Software. Leistungsfähige Grafikprozessoren und die Verteilung der Rechenlast auf mehrere Systeme sind unerlässlich. Moderne VR-Architekturen basieren häufig auf PC-Systemen mit mehreren Grafikprozessoren, die parallel arbeiten müssen. Die Synchronisation der Renderpipelines, etwa bei nebeneinander angeordneten Displays, ist dabei von großer Bedeutung, um visuelle Artefakte und Verzögerungen zu vermeiden.

Cloud-Rendering gewinnt zunehmend an Bedeutung, da es die lokale Hardware entlastet und komplexe Berechnungen ausgelagert werden können. Gleichzeitig müssen dabei Latenzzeiten so niedrig wie möglich gehalten werden. Edge-Computing und prädiktives Rendering sind hier entscheidende Technologien, um die Interaktivität und das Eintauchen in VR-Umgebungen sicherzustellen. Die zugrundeliegenden Rendering-Pipelines umfassen mehrere Stufen, vom Vertex- und Pixel-Processing bis hin zu speziellen Tensor-Kernen und Raytracing-Beschleunigern, die bei modernen GPUs für mehr Effizienz sorgen.

Die Praxis zeigt, dass ohne geeignete Optimierungen und Hardware die strengen Anforderungen an Echtzeitfähigkeit und flüssige Darstellung in VR kaum erfüllbar sind. Fortschritte in CPU-Architekturen, wie bei Intels Alder Lake Generation mit innovativen Thread-Managern, und die nahtlose Kommunikation zwischen CPU und GPU sind dabei entscheidend. Auch die Integration von Multi-GPU-Systemen, beispielsweise mit professionellen NVIDIA RTX-Karten, erfordert ein ausgefeiltes Synchronisationsmanagement, um eine kohärente Bildausgabe zu gewährleisten.

Wichtig zu verstehen ist, dass Latenz und Rendering-Qualität in VR-Systemen immer in einem Spannungsfeld stehen. Optimierungen, wie prädiktives Rendering, erlauben eine deutliche Reduktion der Verzögerungen, erfordern jedoch auch komplexe Algorithmen zur Bewegungsvorhersage und Fehlerkorrektur. Die Leistungsfähigkeit von Netzwerken, insbesondere im 5G- und zukünftigen 6G-Umfeld, wird hier maßgeblich sein. Ebenso entscheidend sind technologische Fortschritte bei Edge-Servern, die das Rendering nahe am Nutzer durchführen und damit die Übertragungszeiten minimieren.

Neben der technischen Umsetzung sollte das Verständnis für die Grenzen der Vorhersagemodelle und die dynamische Natur von VR-Interaktionen nicht unterschätzt werden. Vorhersagen funktionieren besonders gut in eher statischen oder langsam veränderlichen Szenarien, während schnelle, unvorhersehbare Bewegungen immer noch eine Herausforderung darstellen. Die Kombination aus prädiktivem Rendering, optimierter Hardwarearchitektur und leistungsfähigen Netzwerken bildet die Grundlage für realistische und immersive VR-Erlebnisse mit möglichst geringer Latenz.

Wie werden virtuelle Welten in der Virtual Reality modelliert?

In diesem Kapitel betrachten wir den Prozess der geometrischen Modellierung, die zentrale Grundlage der VR-Objektmodellierung. Dabei konzentrieren wir uns auf Oberflächenmodelle von virtuellen Objekten, die aus Polygonen bestehen. In diesem Zusammenhang spielt insbesondere das Konzept der Dreiecksnetze (Triangle Meshes) eine zentrale Rolle. Diese Meshes haben den Vorteil, dass sie im Vergleich zu komplexeren Polygonen weniger Speicher benötigen und schneller gerendert werden können.

Virtuelle Objekte werden typischerweise durch Dreiecksnetze beschrieben, wobei jedes Dreieck durch seine Ecken (Vertices) und deren Verbindungen (Edges) definiert wird. Dreiecksnetze sind besonders vorteilhaft, da sie weniger Speicher benötigen und schneller verarbeitet werden können. Ein weiterer Vorteil dieser Technik liegt darin, dass sie für geometrische Transformationen und Oberflächenverformungen geeignet ist. Für alle ihre Vorteile sind Dreiecksnetze jedoch nicht optimal für die Modellierung von Objekten mit stark gekrümmten oder unregelmäßigen Oberflächen. Solche Oberflächen müssen durch viele kleine Dreiecke angenähert werden, was zu einer "Tessellation" führt, bei der die Oberfläche aufgrund der flachen Natur der Dreiecke nicht perfekt glatt erscheint.

Es gibt verschiedene Methoden, wie die Oberflächen von virtuellen Objekten erstellt werden können. Eine davon ist die Verwendung von 3D-Autorensoftware wie Blender, das es Programmierern ermöglicht, Objekte aus Polygonen zu gestalten und in ein VR-kompatibles Format zu exportieren. In den frühen Tagen der VR wurden Objekte durch Text-Spezifikationen von Koordinaten und Verbindungen definiert, was einen erheblichen Zeitaufwand erforderte. Moderne 3D-Autorensoftware hingegen bietet grafische Benutzeroberflächen, die eine visuelle Rückmeldung ermöglichen und das Erstellen von Objekten erheblich beschleunigen.

Eine weitere Methode zur Modellierung von virtuellen Objekten ist die Nutzung von CAD-Programmen wie AutoCAD oder SolidWorks. Diese Programme werden hauptsächlich von Fachleuten in der mechanischen und architektonischen Gestaltung verwendet. Sie bieten zusätzlich Funktionen für die computergestützte Fertigung und ermöglichen das Wiederverwenden von bereits bestehenden Modellen aus realen oder technischen Domänen. Mit dieser Methode können Objekte interaktiv erstellt und in virtuelle Welten integriert werden.

Neben der Form eines Objekts spielt auch das Aussehen eine entscheidende Rolle in der VR-Modellierung. Die Texturen, Beleuchtung und Farben, die einem Objekt zugewiesen werden, tragen erheblich zu seiner visuellen Wirkung und der Wahrnehmung des Nutzers bei. Die Beleuchtung ist besonders wichtig, um den Eindruck von Tiefe und Realismus zu verstärken. Hierbei kommt es auf die Art der Lichtquellen und deren Interaktion mit der Oberfläche des Objekts an.

Es ist jedoch wichtig zu betonen, dass die Modellierung von virtuellen Welten nicht nur eine technische Herausforderung ist, sondern auch einen kreativen Prozess darstellt. Der Entwickler muss sicherstellen, dass die Objekte nicht nur korrekt dargestellt werden, sondern auch die Interaktivität und das Verhalten im virtuellen Raum realistisch wirken. Daher ist es von großer Bedeutung, die Modelle für die Nutzung in einer VR-Umgebung zu optimieren, um eine flüssige und realitätsgetreue Benutzererfahrung zu gewährleisten.

Die kontinuierliche Weiterentwicklung der VR-Technologie, einschließlich fortschrittlicher Rendering-Methoden und verbesserter Softwaretools, hat es den Entwicklern ermöglicht, immer realistischere und komplexere virtuelle Welten zu schaffen. Dabei spielen fortschrittliche Techniken wie Raytracing und adaptive Rasterisierung eine wesentliche Rolle, um die visuelle Qualität der Objekte zu verbessern und eine präzise Licht- und Schatteninteraktion zu ermöglichen.

Die Modelle der virtuellen Objekte müssen jedoch nicht nur im Hinblick auf ihre visuelle Darstellung optimiert werden. Sie müssen auch hinsichtlich ihrer Interaktivität und Dynamik angepasst werden. Dies umfasst die Implementierung von kinematischen Einschränkungen und die Simulation von physikalischen Prozessen, die das Verhalten der Objekte beeinflussen. Diese Anforderungen stellen hohe Anforderungen an die Rechenleistung und erfordern optimierte Rendering-Techniken, die die Echtzeit-Interaktivität in VR-Erfahrungen ermöglichen.

Die Modellierung virtueller Welten stellt also eine vielschichtige Herausforderung dar, die sowohl technische als auch kreative Aspekte umfasst. Die Entwicklung von Objekten, die sowohl visuell ansprechend als auch funktional sind, erfordert ein tiefes Verständnis der zugrunde liegenden Modellierungstechniken und der Technologien, die die VR-Erfahrung ermöglichen.