Wenn ein Head-Tracker eine andere Distanz uu zum Display misst, sollte die Projektion entsprechend mit einem Faktor kk multipliziert werden, der von der Standarddistanz UU und einem Responsiveness-Faktor rr abhängt. Ein rr-Wert von 1,25 erweist sich dabei als optimal für die Anpassung des Sichtfeldes und der Bildrotation. Jedoch führt dieser Faktor auch dazu, dass das Rauschen des 3D-Tracker-Signals verstärkt wird, was an den Rändern des Arbeitsbereichs zu verstärktem Zittern führt.

Im Vergleich zu einzelnen VR-Headsets, deren Anschaffungskosten sich bei mehreren Nutzern schnell summieren, bieten großvolumige Displays eine attraktive Alternative für kollaboratives Arbeiten. Diese Displays ermöglichen mehreren Personen in unmittelbarer Nähe, gemeinsam dreidimensionale Inhalte zu betrachten, ohne individuelle Headsets tragen zu müssen. Großvolumige Displays lassen sich anhand ihrer Displaytechnologie – autostereoskopisch, LCD, projektionsbasiert oder holographisch – sowie ihrer Form – Wand, CAVE (kubisch) oder Kuppel – klassifizieren. Trotz unterschiedlicher Technologien besteht bei allen die Herausforderung, aus mehreren Anzeigeeinheiten (Clustern) ein nahtloses, hochauflösendes Gesamtbild zu erzeugen.

Ein besonders verbreiteter Ansatz sind „tiled“ großvolumige Displays, bei denen zahlreiche Einzelbildschirme eng nebeneinander montiert werden, um eine große Anzeigefläche mit hoher Auflösung zu realisieren. Ein Beispiel dafür ist die „Empraza“ Wand mit einem 3 × 3 Array von 55-Zoll-LCD-Panels, die jeweils eine Auflösung von 1920 × 1080 Pixeln bei einer Leuchtdichte von 700 Candela/m² bieten. Die Ränder der Panels sind dabei auf eine minimale Breite von 1,85 mm reduziert, um die wahrgenommene Unterbrechung des Bildes zu minimieren. Die Gesamtabmessungen betragen etwa 1,92 m mal 1,08 m, mit einer maximalen Auflösung von 5760 × 3240 Pixeln. Im autostereoskopischen Modus wird ein Lentikularlinsen-Array verwendet, das auf die Displays aufgebracht ist und die Pixel in abwechselnde Spalten für das rechte und linke Auge aufteilt, um ein 3D-Bild ohne Brille zu ermöglichen.

Die Bildqualität und die Synchronisation der Einzelbildschirme sind kritisch für die Wahrnehmung eines zusammenhängenden Bildes. So ist jeder Bildschirm mit einer Netzwerk-ID versehen und über einen Gigabit-Switch an einen zentralen Rechner angeschlossen, der die Grafikdaten verteilt. Diese zentrale Steuerung gewährleistet eine zeitliche Synchronität der dargestellten Bilder und minimiert Bildartefakte zwischen den Kacheln.

Neuere Entwicklungen wie das „Wildfire“-Display bieten mit einer Auflösung von 11.520 × 6480 Pixeln und einem Sichtwinkel von 140° eine noch eindrucksvollere Bilddarstellung, die bis zu 54 unterschiedliche Ansichten gleichzeitig ermöglichen kann. Die Anzahl der tatsächlich möglichen Betrachter ist jedoch von verschiedenen Faktoren abhängig, unter anderem dem Abstand zum Display, der empfohlenen Mindestdistanz von etwa 3 Metern, und der persönlichen Schulterbreite als Mindestabstand zwischen den Nutzern. Theoretisch können bei optimaler Aufstellung bis zu 84 Nutzer gleichzeitig im Sichtbereich sein, jedoch reduzieren kulturelle und soziale Normen diese Zahl in der Praxis deutlich.

Ein weiteres Problem in Mehrbenutzerszenarien ist die mögliche gegenseitige Sichtbehinderung. Hier kommen großvolumige Displays in CAVE-Anordnungen zum Einsatz, bei denen sich mehrere Bildschirme in einer kubischen oder zylindrischen Struktur um die Nutzer gruppieren. Diese Anordnung erhöht nicht nur den Sichtbereich (Field of View), sondern fördert durch die Umhüllung auch das Gefühl des Eintauchens in die virtuelle Umgebung. Das ursprüngliche CAVE-System, entwickelt an der Universität von Illinois, nutzte vier Seitenwände und den Boden, um ein 3D-Erlebnis durch Rückprojektion mit synchronisierten Grafiksignalen zu ermöglichen. Durch die räumliche Anordnung können Okklusionsprobleme und eingeschränkte Sichtwinkel vieler Einzelbildschirme deutlich reduziert werden.

Bei all diesen Technologien ist die Balance zwischen hoher Auflösung, minimalem „Bezel“-Abstand und Synchronität der Bildinhalte entscheidend für die Nutzererfahrung. Autostereoskopische Displays, die ganz ohne Brillen auskommen, stellen hierbei eine besondere Herausforderung dar, da die Anzahl der verschiedenen Ansichten (Views) stets begrenzt ist und die Nutzer in einem optimalen Distanzbereich positioniert sein müssen, um eine korrekte Tiefenwahrnehmung zu gewährleisten.

Neben den technischen Aspekten ist für den Nutzer insbesondere zu beachten, dass die räumliche Positionierung und die Anzahl der Betrachter Einfluss auf die Bildqualität und das Erlebnis haben. Die Interaktion in einer solchen Umgebung erfordert auch eine gewisse soziale Distanz, die je nach Kultur und individuellen Komfortzonen variiert. Außerdem führen technische Begrenzungen, wie die Verstärkung von Tracker-Rauschen durch den Responsiveness-Faktor, zu ungleichmäßigen Bildveränderungen, die gerade am Randbereich des Sichtfeldes auffallen. Dieses Wissen hilft, die Grenzen der aktuell verfügbaren großvolumigen Displays zu verstehen und die Erwartungen entsprechend zu steuern.

Wie hat sich die Architektur der Grafikpipeline im Laufe der Zeit entwickelt?

Die Architektur einer traditionellen Grafikpipeline im OpenGL-Rendering ist ein faszinierendes Beispiel für den Fortschritt in der Computergrafik. Früher bestand sie aus mehreren funktionalen Stufen, wobei die Zwischenergebnisse einer grafischen Szene oder eines Frames von einer Stufe zur nächsten weitergegeben wurden. In der klassischen Pipeline gab es drei wesentliche Phasen: die Anwendungsphase, die Geometriephase und die Rasterisierungsphase.

Die erste Phase, die „Anwendungsphase“, wurde vollständig durch die Software der CPU durchgeführt. Diese Phase beschäftigte sich mit dem Lesen der Geometriedaten der virtuellen Welt, wie etwa den Koordinaten der Objekte und deren Oberflächennormalen. Zudem erfolgte hier die Verarbeitung der Benutzereingaben über Geräte wie Tracker oder haptische Handschuhe. Die Anwendungsphase konnte so die Sichtweise des Benutzers auf die Simulation verändern oder virtuelle Objekte (wie einen Avatar in Form einer Hand) in der virtuellen Welt manipulieren.

Das Ergebnis der Anwendungsphase wurde dann an den Rest der Pipeline weitergeleitet, die auf der GPU, einer dedizierten Hardware, ausgeführt wurde. Die GPU bearbeitete zwei weitere Phasen: die „Geometriephase“ und die „Rasterisierungsphase“. In der Geometriephase fanden grundlegende Modelltransformationen statt, wie etwa Übersetzungen, Drehungen und Skalierungen. Darüber hinaus wurden hier Licht- und Schattierungsberechnungen durchgeführt, um die Oberflächen der Objekte realistisch darzustellen. Die Beleuchtung der Szene, die durch Lichtquellen, Materialeigenschaften und atmosphärische Effekte wie Nebel bestimmt wurde, spielte eine zentrale Rolle in dieser Phase.

Anschließend wurden die verarbeiteten Geometriedaten an die Rasterisierungsphase weitergegeben. Diese Phase wandelte die geometrischen Daten in Pixelinformationen um, die für die Darstellung auf dem Bildschirm erforderlich waren. Sie beinhaltete unter anderem Anti-Aliasing, um kantige Kanten zu glätten, sowie Texturierung, die Muster auf die Oberflächen der Objekte aufbrachte, um deren visuelle Realismus zu erhöhen.

Sobald alle Pixel für einen Frame berechnet wurden, wurden sie von der Rasterisierungsphase an das Anzeigegerät weitergegeben. Um die Leistung zu steigern, wurde die Grafikpipeline durch parallele Architekturen beschleunigt. So lief die Anwendungsphase auf mehreren Kernen einer Mehrkern-CPU, während die Geometriephase auf mehreren „Geometrieeinheiten“ (GEs) ausgeführt wurde. Diese Einheiten verarbeiteten jeweils einen Teil der Szene und gaben ihre Ergebnisse weiter an die Rasterisierungsphase. Diese arbeitete dann mit „Rasterisierungs-Einheiten“ (RUs), die jeweils einen Abschnitt der Bildpunkte bearbeiteten.

Die Verwendung von „Double Buffering“ war eine weitere Maßnahme zur Verbesserung der Anzeigequalität, indem das Bild, das angezeigt wurde, im sogenannten „Front-Buffer“ gespeichert wurde, während ein neues Bild im „Back-Buffer“ gerendert wurde. Dies trug dazu bei, das Flimmern zu verringern, das in frühen Grafikanzeigen auftrat.

Moderne Grafikpipelines haben diese Architektur jedoch grundlegend verändert. Durch die enorme Parallelität der GPU, die weit über die Parallelität der leistungsfähigsten CPUs hinausgeht, wurden GPUs eine kostengünstige Lösung für allgemeine Rechenaufgaben. Um jedoch die starre Architektur der traditionellen Pipeline flexibler zu gestalten, wurde es notwendig, die Pipeline programmierbar zu machen. Hierfür wurden Shader eingeführt, spezialisierte funktionale Einheiten, die bestimmte Berechnungen in der Grafikpipeline übernehmen. So gibt es nun mehrere Arten von Shadern, darunter der Vertex-Shader, der für die Verarbeitung der Eckpunkte eines Objekts zuständig ist, und der Fragment-Shader, der die Bearbeitung von Pixeln übernimmt, etwa durch Texturierung oder Beleuchtungseffekte.

Ein weiterer Schritt in der Weiterentwicklung der Grafikpipelines war die Einführung von Raytracing, das es ermöglicht, realistische Lichtverhältnisse in einer Szene darzustellen, indem Lichtstrahlen verfolgt werden, die von einer Quelle ausgehen und durch mehrere Reflexionen in der Szene streifen. In traditionellen Pipelines mussten solche Berechnungen offline durchgeführt werden, wodurch die Szenen zwar realistisch aussahen, jedoch keine Interaktivität zuließen. Mit der Einführung von dedizierten Raytracing-Kernen, wie sie in der NVIDIA Turing-Architektur erstmals verwendet wurden, können moderne Pipelines jetzt vollständig interaktive, raytraced Szenen rendern.

Ein weiterer innovativer Schritt in der Hardware-Entwicklung moderner Grafikkarten war die Einführung von Tensor-Kernen. Diese spezialisierten Recheneinheiten sind für Hochleistungsrechnungen optimiert, die in der künstlichen Intelligenz und bei hochperformanten Computeranwendungen benötigt werden. Tensor-Kerne werden unter anderem zur Denoising-Bearbeitung von Raytracing-Szenen eingesetzt, wodurch visuelle Artefakte beseitigt und die Qualität der Bilder erheblich verbessert wird. Außerdem ermöglicht die KI-gestützte Bildverarbeitung eine Frame-Inferenz auf Basis der optischen Bewegung in bereits gerenderten Frames, was die Anzahl der Frames erhöht und so die Gesamtleistung des Systems verbessert.

Die Entwicklung von Tensor-Kernen hat auch Auswirkungen auf andere Bereiche der Grafikverarbeitung. So ermöglicht beispielsweise die NVIDIA-Technologie „Deep Learning Super Sampling“ (DLSS) die Erstellung hochqualitativer Frames durch die Kombination von Raytracing und KI-basierter Upskalierung. Diese Technologien revolutionieren die Art und Weise, wie Echtzeit-Computergrafiken berechnet und dargestellt werden.

Zusammenfassend lässt sich sagen, dass die Grafikpipeline von einem traditionellen, starren Prozess zu einer hochflexiblen, programmierbaren Architektur geworden ist, die durch spezialisierte Hardware und KI-Technologien unterstützt wird. Die moderne Grafikpipeline ist somit nicht nur ein technisches Meisterwerk der Rechenleistung, sondern auch ein wichtiger Bestandteil von realistischen, interaktiven 3D-Welten, die heute in vielen Bereichen, von Spielen bis hin zu wissenschaftlichen Simulationen, Anwendung finden.

Wie politische Stiftungen und Denkfabriken öffentliche Mittel erhalten und wie die Transparenz dabei gewahrt bleibt
Die politischen Einflussnahmen durch Bots und Trolls: Was ist wirklich hinter den Vorwürfen der Wahlbeeinflussung?
Wie der Replikationsfaktor und Listener in Kafka die Leistungsfähigkeit beeinflussen