Jak snížit složitost kódování 3D videa v reálném čase?

Systémy pro kódování 3D videa, konkrétně 3D-HEVC, čelí výzvám v oblasti efektivity zpracování a spotřeby energie. To je důsledek zvýšené složitosti, která je přítomna nejen ve srovnání s předchozími standardy kódování, ale i mezi současnými nástroji 3D kódování, jako je MVD. Tyto nové nástroje, které byly zavedeny v rámci 3D-HEVC, přinášejí výrazné zvýšení výpočetní náročnosti, což dělá implementaci reálného kódování 3D videa obtížnou, obzvláště u přenosných zařízení.

Přestože 3D-HEVC přináší pokrok v oblasti 3D kódování, jeho složitost klade nároky na hardware a energetickou efektivitu, což činí tento výzkumný směr mimořádně relevantním. Tento text se zaměřuje na analýzu kódovacích nástrojů, které jsou součástí 3D-HEVC, a na jejich vliv na spotřebu energie a výpočetní náročnost při používání reálného kódování. Analyzovány jsou i návrhy pro zjednodušení těchto procesů, zejména v souvislosti s predikcemi Intra-frame, Inter-frame a Inter-view.

3D-HEVC Intra-frame predikce a časová analýza

Analýza časové náročnosti kódování v rámci Intra predikce 3D-HEVC ukazuje, že kódování textur zabírá pouze 13,7 % výpočetního času, zatímco kódování hloubkových map představuje 86,3 % celkového úsilí. Největší časovou náročnost vykazuje nástroj DMM-1, který zodpovídá za 27,2 % výpočetního úsilí při kódování hloubkových map. Tento nástroj je následován transformacemi kvantizace a kompresí SDC, které zabírají další významné procento. Kromě DMM-1 se jako efektivní nástroj ukazuje i Intra HEVC, který je kladně hodnocen pro své schopnosti zlepšit kódování efektivity v případě textur a okrajů hloubkových map.

Návrhy pro snížení výpočetní náročnosti a spotřeby energie

Při návrhu hardware optimalizovaného pro reálné kódování 3D videa se musí počítat s několika faktory, včetně potřeby snížit výpočetní náročnost, spotřebu energie a velikost paměti. Například v případě DMM-1 se ukazuje, že ukládání všech vzorců wedgelets pro různé velikosti bloků je náročné na paměť i na výpočetní výkon. Tento proces vyžaduje vysokou energetickou náročnost a častý přístup do paměti, což je neefektivní, pokud jde o výkon v reálném čase. Pro snížení těchto nároků je nezbytné implementovat nové techniky pro snížení paměťových nároků a zjednodušení výpočtů, což by vedlo k efektivnějšímu kódování a nižší spotřebě energie.

Predikce Inter-Frames a Inter-View

V případě predikce mezi snímky (Inter-frames) a mezi pohledy (Inter-view) 3D-HEVC se ukazuje, že nástroje pro pohybovou kompenzaci (ME) a dekódování (DE) mají podobné nároky na výpočetní kapacity a energii. Tyto kroky jsou v rámci kódování 3D videa náročné jak na zpracování, tak na paměťové přístupy, jelikož zahrnují velký počet operací porovnávání bloků v rámci algoritmu pro hledání nejlepšího shody (BMA). Tato evaluace je nákladná jak v paměťové komunikaci, tak ve spotřebě energie.

Pokud jde o hardware, optimalizace ME a DE vyžaduje efektivní správu paměti a návrhy na zlepšení opakovaného využívání dat. Například techniky jako Level-C a další dedikovaná řešení byly navrženy pro optimalizaci přenosu dat a snížení šířky pásma potřebné pro ME/DE procesy.

Závěr

Výzvy při návrhu a implementaci 3D-HEVC jsou mnohdy spojené s vysokými nároky na výpočetní sílu a spotřebu energie. Aby bylo možné dosáhnout efektivního reálného kódování, je kladeno důraz na vývoj specializovaného hardwaru, který bude schopen zvládnout náročné predikce Intra-frame, Inter-frames a Inter-view bez zbytečné spotřeby energie a bez nutnosti přetěžovat paměťové systémy. Optimalizace těchto procesů, například prostřednictvím inovativních paměťových technik a analýz efektivity kódovacích nástrojů, je klíčem k dosažení úspěchu v reálném nasazení 3D-HEVC systémů.

Jak lze snížit výpočetní náročnost DMM-1 predikce bez ztráty výkonu?

Paměťové úspory byly dosaženy nahrazením předgenerovaných vzorů wedgeletů výpočtem bitmap v reálném čase pomocí upraveného algoritmu Bresenham, známého především z počítačové grafiky. Bresenhamův algoritmus umožňuje efektivní rastrování čar, a v tomto kontextu byl upraven tak, aby generoval wedgeletové bitmapy pouze pro šest vybraných přechodových linií. Výsledkem je eliminace potřeby uložit 1908 předem definovaných vzorů, které jsou standardně vyžadovány.

Aby bylo možné kvantifikovat dopad navržené heuristiky, byla začleněna do referenčního kódéru 3D-HTM verze 15.1 a podrobena testům dle standardizovaných podmínek z dokumentu 3D-HEVC CTC. V experimentech byly použity osmivideové sekvence v rozlišeních 1920 × 1088 a 1024 × 768 a čtyři sady kvantizačních parametrů. Vyhodnocovány byly dvě klíčové metriky – kódovací čas jako indikátor výpočetní náročnosti a BD-rate pro měření dopadu na efektivitu komprese.

Pod RA (random access) konfigurací se průměrná hodnota BD-rate ve vytvořených syntetických pohledech zvýšila o 2,64 %, zatímco výpočetní nároky při kódování hloubkových map klesly o 32,82 %. Celková výpočetní úspora pro celý 3D-HEVC kódér pak činila 16,17 %. Při IO (intra only) konfiguraci, kde jsou použity pouze intra predikční nástroje, dosáhlo zvýšení BD-rate v průměru 7,16 %, což je vyváženo snížením kódovacího času hloubkových map o 53,98 % a celkovou redukcí o 46,58 %.

Architektura navržená pro tuto predikci podporuje režimy Planar, DC, Horizontal, Vertical, DIS, DMM-1 a DMM-4 pro blokové velikosti 8×8 až 64×64. Klíčovým aspektem návrhu bylo dosažení paralelismu a eliminace zbytečných výpočtů. Architektura je rozdělena do tří výpočetních jader (PC), z nichž každé zpracovává určitou množinu predikčních režimů. Tato distribuce je navržena tak, aby jednotlivé jednotky mohly sdílet části hardwaru na základě strukturální podobnosti režimů, čímž se snižuje spotřeba plochy i energie.

PC-1 zpracovává režimy Planar, DC a DMM-4. Vstupy pro výpočty pocházejí z rekonstruovaných hranic sousedních bloků, přičemž pro DMM-4 se využívají i texturové vzorky pro výpočet prahových hodnot. Zbytky jsou počítány v reálném čase současně s vyhodnocováním predikce.

PC-2 se zabývá režimy IPH, IPV, SDH a SDV. Výpočty všech těchto režimů probíhají paralelně a jsou časově sladěny se zbytkovým výpočtem, což zajišťuje optimální využití každého hodinového cyklu bez zbytečných prodlev.

PC-3 je vyhrazen pro režim DMM-1, který zůstává nejnáročnější, a proto není sloučen s žádným jiným režimem. Zde je implementována výše zmíněná heuristika, která zajišťuje, že zpracování šesti wedgeletů probíhá paralelně a s minimální spotřebou paměti. Vstupy pro gradientové výpočty se odebírají podél hran bloku, přičemž každý ze čtyř směrů přispívá jedním hlavním gradientem.

Je důležité si uvědomit, že takovéto optimalizace nemají za cíl maximalizovat kompresní účinnost, nýbrž nalézt optimální rovnováhu mezi výkonem, spotřebou zdrojů a kvalitou výsledného videa. Zavedená heuristika umožňuje výrazné zrychlení kódování při jen mírně zvýšené velikosti výstupních dat, což je v mnoha praktických aplikacích více než přijatelný kompromis. Pro embedded systémy, real-time aplikace a zařízení s omezenými výpočetními kapacitami je tato strategie klíčová. Rovněž se tím otevírá prostor pro další přístup k návrhu predikčních systémů: místo univerzální exaktnosti je preferována řízená adaptace řízená kontextovými heuristikami.

Jaký vliv mají experimentální nastavení a kvantizační parametry na kvalitu 3D videa?

Sekvence 3D videa doporučené JCT-3V zahrnují různé záběry, které se liší nejen rozlišením, ale i prostředím, ve kterém byly pořízeny. Například pět sekvencí, jako je "Poznan_Hall2", byly natáčeny s devíti kamerami rozmístěnými ve vzdálenostech 13,75 cm, zatímco ostatní sekvence byly uměle generovány pomocí počítačové grafiky. Tato rozmanitost záběrů umožňuje důkladné vyhodnocení různých parametrů, jako je úroveň pohybu objektů, detaily obrazu a světelné podmínky.

Sekvence videí zahrnovaly jak složité záběry s vysokým pohybem objektů a změnami světelných podmínek, tak i jednodušší záběry s méně náročným pohybem a stálým osvětlením. Kvalita každého testu byla ovlivněna tím, jakým způsobem byly stanoveny parametry jako rozlišení, rychlost snímkování a kamerové nastavení, přičemž rozlišení některých sekvencí dosahovalo až 1920×1088 pixelů a snímková frekvence se pohybovala od 25 do 30 fps.

Je nutné si uvědomit, že testování těchto sekvencí bylo prováděno na různých verzích referenčního softwaru 3D-HEVC, což znamenalo, že experimentální nastavení se průběžně upravovalo na základě nových verzí standardizačních dokumentů. Kromě toho byly použity různé techniky a heuristiky pro hodnocení efektivity komprese a vlivu parametrů kvantizace.

Testy prováděné v souladu s těmito doporučeními ukazují na význam správného nastavení QP parametrů pro různé typy sekvencí a vliv těchto hodnot na celkovou kvalitu obrazu a efektivitu komprese. V rámci testů byly použity hodnoty QP pro textury a hloubkové mapy, což je klíčové pro udržení rovnováhy mezi kvalitou obrazu a velikostí dat. Různé sekvence byly testovány v různých konfiguracích a výsledky ukázaly, jak důležité je správně nastavit kódování a kvantizaci pro dosažení optimálního výsledku.

Tato experimentální nastavení poskytují cenné informace pro vývoj efektivních 3D-video kompresních technologií, kde je kladen důraz na zachování vysoké kvality obrazu při minimalizaci velikosti souborů. Využití těchto testů a parametrů je klíčové pro budoucí aplikace 3D videa v různých oblastech, od zábavy po pokročilé inženýrské a vědecké aplikace, které vyžadují přesné zobrazení prostorových dat.