Jak funguje 3D-HEVC a jaké nástroje používá pro kódování 3D videí?

3D-HEVC (High Efficiency Video Coding pro 3D videa) vznikl v roce 2011 jako odpověď na rostoucí poptávku po efektivních standardech pro kódování 3D videí, která by dokázala udržet vysokou kvalitu obrazu i při kompresi. Tento standard je rozšířením HEVC (High Efficiency Video Coding), který se stal základem pro kódování 2D videí. Cílem 3D-HEVC bylo především vyvinout standard pro kódování videí s více pohledy a s cílem dosažení vysoké efektivity komprese a zachování kvality obrazu.

Jeden z hlavních důvodů pro vznik 3D-HEVC spočívá v tom, že algoritmy, používané pro kódování 2D videí, nejsou efektivní v kontextu 3D videí, zvláště pokud jde o větší počet zobrazení. I rozšíření MVC (Multiview Video Coding) standardu H.264/AVC, které se zaměřovalo na kódování více zobrazení, nedokázalo uspokojivě pokrýt potřeby pokroku v oblasti 3D technologií. To se týkalo zejména rostoucího požadavku na ultra-vysoké rozlišení a nástup autostereoskopických displejů, které nevyžadují brýle pro zobrazení 3D obrazu.

Významným krokem v této oblasti byla publikace první verze 3D-HEVC standardu v únoru 2015. Tento standard začal používat koncept hloubkových map (depth maps) pro kódování 3D videí a zavádí nové nástroje pro kódování videa, které umožňují dosáhnout vysoké kompresní efektivity.

Pro správné pochopení technologie 3D-HEVC je nutné mít přehled o základních principech kódování videa. Digitální video se skládá z několika snímků, které jsou zachyceny v určité časové sekvenci. Tyto snímky jsou tvořeny pixely, které představují jednotlivé body obrazu. Každý pixel obsahuje informace o jasu a barvě. V rámci kódování je video často rozděleno na bloky, jejichž velikost se může během procesu kódování měnit, což umožňuje optimalizovat efektivitu komprese.

V 3D-HEVC je využívána struktura bloků, která zahrnuje jednotky kódování (CU), predikční jednotky (PU) a transformační jednotky (TU). Tato struktura je flexibilní a umožňuje efektivní kódování na různých úrovních. Zatímco u starších standardů, jako je H.264/AVC, byly bloky pevně stanovené, 3D-HEVC umožňuje dynamickou změnu velikosti bloků během procesu kódování. Velikost bloků se může pohybovat od 4x4 až po 64x64 pixely, což zajišťuje efektivní využití nástrojů pro predikci, transformaci a kvantizaci obrazu.

V rámci 3D-HEVC se snímky rozdělují do čtvercových bloků nazývaných Coding Tree Units (CTU). Každý CTU může být rozdělen do několika menších bloků – Coding Units (CU). CU jsou čtvercové bloky, jejichž velikost se může pohybovat v mocninách čísla 2, tedy 4, 8, 16 nebo 32. Tyto CU mohou být dále dělena na menší bloky v rámci predikce nebo transformace obrazu.

Je také důležité zmínit, že pro 3D videa, která mají vysoké nebo ultra vysoké rozlišení (například UHD 2160p), je zapotřebí vyšší frekvence snímání – alespoň 50-60 snímků za sekundu, aby bylo zajištěno plynulé a přirozené zobrazení pohybu. Tato požadavky jsou klíčové pro efektivní zobrazení na moderních displejích, které nabízejí vysoké rozlišení a prostorový zážitek.

Jaké jsou klíčové aspekty vývoje hardwarových architektur pro 3D-HEVC?

V oblasti kódování 3D videa, konkrétně s využitím standardu 3D-HEVC, je jedním z hlavních cílů optimalizace hardwaru pro predikce vnitřních (intra-frame), mezi-rámových (inter-frame) a mezi-výhledových (inter-view) obrazů. Tento proces zahrnuje nejenom návrh efektivních hardwarových architektur, ale i aplikaci heuristik, které zajišťují efektivní využití prostředků, snížení spotřeby energie a optimalizaci šířky pásma paměti. Různé navržené architektury pro predikce, jako je Depth Intra Skip (DIS) nebo Depth Modeling Mode 1 (DMM-1), představují konkrétní implementace, které zohledňují potřebu snížit výpočetní nároky a nároky na šířku pásma, a to při zachování požadované kvality kódování.

Architektury pro predikci intra-frame, které jsou založeny na technologiích jako DIS a DMM-1, jsou navrženy s ohledem na minimalizaci spotřeby energie a šířky pásma, což je klíčové pro zařízení s omezenými energetickými a výpočetními kapacitami. U těchto nástrojů byly vyvinuty specifické heuristiky, které hodnotí různé kombinace parametrů pro optimalizaci výkonu a spotřeby energie. Například architektura DIS využívá nízkoenergetické přístupy, které zahrnují vynechání některých výpočtů v závislosti na distorční metrice, což má za následek snížení nároků na výpočetní výkon bez významného ovlivnění kvality výsledného obrazu.

Systémy predikce, jak intra-frame, tak inter-frame, jsou navrženy pro různé konfigurace, přičemž CCO a FCO představují základní rozdělení, které umožňuje flexibilitu v optimalizaci jak pro kvalitu kódování, tak pro spotřebu energie. Zatímco konfigurace CCO se zaměřuje na klasické zpracování, konfigurace FCO přináší možnost nastavení různých operačních bodů, které umožňují jemně ladit rovnováhu mezi kvalitou obrazu a energetickou efektivitou.

Významným aspektem těchto návrhů je skutečnost, že byly vyvinuty nejen pro konkrétní aplikace v rámci 3D-HEVC, ale jejich principy mohou být adaptovány i na jiné encodéry 3D videa. Výsledky těchto studií, i když zaměřené na specifickou implementaci 3D-HEVC, dávají cenné náhledy na to, jak navrhovat hardwarové systémy pro efektivní zpracování 3D obsahu obecně. To otevírá možnosti pro přenos těchto inovativních přístupů do širší oblasti kódování 3D videa, což je klíčové pro budoucí vývoj v této oblasti.

Kromě technologických aspektů návrhu hardwarových architektur pro 3D-HEVC je nutné vzít v úvahu i širší výzvy a trendy v oblasti kódování 3D videa. Optimalizace nejen pro energetickou efektivitu, ale i pro adaptabilitu na různé hardwarové platformy a jejich specifické požadavky, je stále jedním z hlavních směrů vývoje. Zároveň je důležité sledovat pokrok v oblasti algoritmů a nástrojů pro predikce, které se stále vyvíjejí a umožňují vylepšení kvality kódování při nižších nárocích na výpočetní výkon a šířku pásma.

Jak FCO a CCO přístupy ovlivňují efektivitu predikce a komprese v 3D-HTM?

V oblasti komprese a predikce obrazu v 3D-video sekvencích se odlišnosti mezi různými přístupy k výběru predikčních bloků (PU) mohou výrazně projevit v účinnosti komprese a následně ve výpočetní složitosti celého procesu. V rámci analýzy predikčních nástrojů 3D-HTM je kladeno důraz na odlišnosti mezi dvěma konfiguracemi – CCO a FCO, které představují základní metody pro enkódování textur a hloubkových map v 3D-videoch. Tyto konfigurace se liší v tom, jakým způsobem organizují pořadí enkódování textur a hloubkových map, což má za následek různé výsledky v predikci a kompresi.

Podle provedených experimentů při použití FCO (First-Coded-Order) konfigurace, která zakódovává textury dříve než související hloubkové mapy, je patrné, že u hloubkových map je použití menších predikčních bloků PUs vyšší než u textur. To vede k tomu, že hloubkové mapy představují 54,45 % všech kódovaných PUs, zatímco textury pouze 45,55 %. Tento rozdíl v rozdělení velikostí PU bloků je významný pro zjednodušení složitosti výpočtu a efektivitu predikce při použití FCO přístupu.

V rámci analýzy predikčních nástrojů pro textury a hloubkové mapy je také zřejmé, že v FCO konfiguraci je predikce Inter (meziobrazová a mezirozhledová predikce) dominantní. U textur je 97,62 % pixelů kódováno pomocí Inter-predikce, zatímco pouze 2,38 % pixelů je kódováno pomocí Intra-predikce (predikce v rámci jednoho snímku). U hloubkových map je tento poměr rovněž vysoce převažující – 82,1 % pixelů je kódováno pomocí Inter-predikce, zatímco Intra-predikce kóduje 17,9 %. Tento trend ukazuje, jak důležité je v rámci FCO přístupu správně zvolit nástroje predikce pro dosažení optimální komprese, kde predikce meziobrazová a mezirozhledová hrají klíčovou roli.

U hloubkových map v rámci FCO přístupu je dominantní využití DIS módu (Disparity Estimation), který pokrývá 86,68 % Intra-predikovaných pixelů. Tento režim je zvláště důležitý pro hloubkové mapy, protože umožňuje efektivní modelování disparity mezi pohledy. Pokud se DIS režim vynechá, využívají se jiné Intra-módy, z nichž N × N bloky mají menší význam, ale stále představují 6,06 % pixelů. Důležité je také pozorovat rozdíl v distribuci velikostí bloků u hloubkových map, kdy u FCO přístupu je rozdělení mezi různými úrovněmi CU (Coding Unit) hloubkových map rovnoměrnější ve srovnání s CCO přístupem, kde dominují větší bloky.

Důležité je také si uvědomit, že predikce hloubkových map má specifické požadavky na přesnost modelování disparity, což ovlivňuje výběr vhodných predikčních nástrojů. Proto je nezbytné správně vyvažovat mezi Intra a Inter predikcí, aby byla dosažena optimální komprese s minimálními nároky na výpočetní složitost. Při návrhu energeticky efektivních hardware systémů pro 3D-video kompresi by měl být zohledněn tento aspekt výběru predikčních nástrojů, aby se snížily nároky na výpočty při zachování vysoké kvality obrazu. V závěru lze říci, že rozdíly mezi FCO a CCO přístupy hrají klíčovou roli při optimalizaci komprese v 3D-HTM, což se musí brát v úvahu při navrhování nových kompresních algoritmů a zařízení.

Jak ovlivňuje odstranění bitů při subsamplingu hloubky BD-rate pro 3D-video sekvence?

Při odstranění čtyř méně významných bitů (RSH – Reduced-Size Hierarchy) se zvýšení BD-rate pohybuje v rozmezí od 6,87 % (u sekvence „Balloons“) až po 62,68 % (u sekvence „Shark“). Tento efekt je významně ovlivněn charakteristikami samotných sekvencí, přičemž nejvíce ovlivněné jsou složitější scény, které obsahují dynamické pohyby nebo vysokou variabilitu textur a hloubkových informací. Sekvence jako „GT_Fly“ vykazují výrazný nárůst BD-rate, což může být výsledkem složitého pohybu a detailů scény, které vyžadují více informací pro přesné zobrazení hloubky.

Stejně tak odstranění čtyř významnějších bitů vykazuje podobné tendence. Například u sekvence „Shark“ je nárůst BD-rate stále vysoký, což ukazuje na potřebu zachovat větší množství detailů pro správné zobrazení složitých scén. U některých sekvencí, jako je „Balloons“, je nárůst poměrně nízký, což ukazuje, že pro určité scénáře není nutné udržovat vysokou bitovou hloubku k dosažení přijatelných výsledků.

Pokud jde o metody, které využívají všechny navrhované techniky včetně RAH (Run-Time Adaptive Hierarchy), výsledky ukazují, že k zajištění efektivního kompresního poměru je důležité kombinovat různé přístupy. Tento komplexní přístup nejen že optimalizuje šířku pásma, ale také umožňuje přizpůsobit kompresní techniky v závislosti na dynamice a složitosti konkrétní sekvence. Sekvence jako „Shark“ zde stále vykazují značný nárůst BD-rate, což naznačuje, že pro složitější a dynamické scény je zapotřebí sofistikovanějšího přístupu ke kompresi.

V rámci testu s použitím iUDS (inteligentní subsampling) bez kroků vylepšení a s plným vylepšením byly pozorovány významné rozdíly v BD-rate mezi jednotlivými testovacími případy. Například u testovacího případu 1 bez vylepšení bylo dosaženo velmi nízké změny BD-rate pro některé sekvence, zatímco u testovacích případů s plným vylepšením byly výsledky signifikantně zlepšeny, zejména u jednodušších sekvencí jako „Balloons“.

Je důležité si uvědomit, že každá sekvence reaguje odlišně na změny v subsamplingu bitů, a proto je třeba volit správné metody pro konkrétní obsah videa. Zatímco některé metody vedou k lepším výsledkům u jedné skupiny videí, u jiných mohou způsobit větší nárůst požadavků na šířku pásma, což se může projevit na zhoršení kvality nebo zvýšení nároků na hardware pro dekódování.