Jak optimalizovat hardware pro 3D-HEVC kódování videa a dosáhnout vyšší efektivity?

Při navrhování specializovaného hardwaru pro kompletní 3D-HEVC kodek je kladeno důraz na integraci nových predikčních režimů definovaných pro 3D-HEVC. Architektury, které byly původně navrženy pro predikci mezisnímků (motion estimation a motion compensation) v HEVC, mohou být přizpůsobeny pro predikci meziobrazových pohledů ve 3D-HEVC. Jelikož predikce mezi snímky a mezi pohledy vykazují podobné chování, řešení zaměřená na predikci v HEVC mohou být snadno adaptována pro 3D-HEVC. To umožňuje využít existující práce, jako jsou Tseng et al. (2019), Xu et al. (2018), Lung et al. (2019), Alcocer et al. (2019) a další, k vytvoření efektivního 3D-HEVC kodeku.

Hardware zaměřený na další moduly HEVC enkodéru, jako jsou přímé a inverzní transformace, kvantizace, kódování entropie a filtry, může být rovněž znovu využit v kontextu 3D-HEVC s minimálními úpravami, jak ukazují práce jako Kalali et al. (2014), Lee et al. (2016), Braatz et al. (2018) a Goebel et al. (2016). Nicméně, designy zaměřené na kódování entropie v HEVC jsou kvůli složitosti řízení toku dat obtížně paralelizovatelné, což činí návrh vysoce výkonného hardwaru výzvou. Několik prací (Ramos et al. 2018; Ramos et al. 2016; Kim et al. 2015b) však může poskytnout cenné návody pro implementaci v reálném čase.

Pokud jde o filtry v rámci smyčky, některé publikované hardwarové návrhy pro HEVC lze snadno přizpůsobit i pro 3D-HEVC, přičemž například práce Fang et al. (2015), Shen et al. (2016), Cho et al. (2015) a Zhou et al. (2016) mohou sloužit jako základ pro nové implementace. Výzvou však zůstává, že žádná z těchto metod není navržena pro kódování hloubkových map a většina z nich není schopna dosáhnout potřebné propustnosti pro zpracování 3D videí v reálném čase.

V oblasti kódování hloubkových map, které jsou zásadní pro 3D-HEVC, se objevil zajímavý přístup v práci Lee et al. (2017), která využívá standard HEVC pro kódování hloubkových map. Tento přístup zahrnuje použití adaptivního vyhledávacího okna (ASW), které prozkoumává časovou korelaci mezi hloubkovou mapou a texturou. Tato korelace umožňuje predikci pravděpodobného pohybu objektů mezi po sobě jdoucími snímky, což vede k redukci času kódování až o 53 % v porovnání s tradičními metodami.

Většina dostupných návrhů však nebere v úvahu specifické požadavky runtime chování 3D-HEVC a nároky na zpracování a paměť. I když existuje mnoho prací zaměřených na návrhy hardware, které jsou uvědomělé ohledně spotřeby energie a paměti, většina z nich se soustředí na předchozí standardy kódování 3D videí, jako MVC (Multiview Video Coding). Takové řešení může nabídnout zlepšení efektivity, ale není optimalizováno pro novější nároky 3D-HEVC.

Zajímavým směrem je optimalizace spotřeby paměti, která je v případě 3D-HEVC velmi důležitá. Pro snížení počtu přístupů k externí paměti a zvýšení energetické účinnosti byly navrženy některé inovativní přístupy. Práce jako Zatt et al. (2011a) představují architekturu pro video paměti, která využívá schéma pro správu spotřeby energie založené na víceúrovňovém modelu spánkových stavů. V kombinaci s optimalizací přístupu k referenčním snímkům pro kódování ME/DE přinesly výsledky jako snížení spotřeby externí paměti až o 71 % a snížení statické energie on-chip paměti o 88 %.

V literatuře se objevují také práce, které se zaměřují na specifické algoritmické řešení pro nové nástroje pro kódování Intra-snímků v rámci 3D-HEVC. Například 3D-HEVC zavádí nové predikční nástroje jako Depth Intra Skip (DIS), Depth Modeling Mode-1 (DMM-1) a Depth Modeling Mode-4 (DMM-4), které zvyšují efektivitu kódování, ale současně zvyšují výpočetní složitost. Algoritmické návrhy, jakými jsou ty, které prezentují Kim et al. (2015a) a Conceicão et al. (2016), se zaměřují na snížení složitosti kódování hloubkových map pomocí rychlých rozhodovacích algoritmů pro režimy DIS. Tato řešení vedou k úspoře času kódování a snížení výpočetní náročnosti.

Jak lze snížit výpočetní náročnost 3D-HEVC kódování s minimální ztrátou kvality?

V oblasti 3D-HEVC kódování videa je klíčovým problémem optimalizace kompromisu mezi výpočetní náročností a kvalitou komprese. Pro potřeby testování a hodnocení byly využity osm videosekvencí s rozlišením 1920 × 1088 a 1024 × 768, zpracovaných podle standardních podmínek CTC doporučených JCT-3V. Během těchto testů bylo zakódováno mezi 200 a 300 obrazovými jednotkami (AUs), což poskytlo solidní základnu pro analýzu efektivity různých metod.

Podstatnou součástí optimalizace je výběr metriky podobnosti mezi bloky – zde byla porovnávána metoda SAD (Sum of Absolute Differences) a SVDC (Singular Value Decomposition Cost). SAD ukazuje výrazně nižší výpočetní složitost, přičemž ztráty na kódovací efektivitě jsou minimální, pohybující se okolo 0,2 % v BD-rate pro syntetizované snímky a podobně pro celkové video. Toto naznačuje, že volba SAD jako kritéria podobnosti výrazně šetří výpočetní výkon, aniž by došlo k významnému zhoršení výsledné kvality.

Pro dosažení nízké spotřeby energie a zároveň zachování kvality byl navržen specializovaný hardware s architekturou DIS (Depth Intra Skip), který zpracovává bloky čtyř velikostí (8×8, 16×16, 32×32 a 64×64 pixelů) paralelně. Klíčová je zde tzv. bottom-up strategie, kde větší bloky jsou sestavovány z menších 8×8 bloků, což umožňuje jednotnou strukturu hardwaru pro všechny velikosti a současně snižuje komunikaci s externí pamětí díky opětovnému využití vstupních dat a dílčích výpočtů SAD.

Zpracování bloků probíhá ve specifickém pořadí ve tvaru písmene Z, což zabezpečuje kompatibilitu s dalšími nástroji pro intra-frame kódování, jež spoléhají na sousední sloupce a řádky jako referenční vzorky. Toto uspořádání rovněž usnadňuje globální rozhodování o nejvhodnější intra metodu pomocí RDO (Rate-Distortion Optimization).

Efektivita návrhu spočívá také v důmyslném schématu opakovaného využití dat. Hodnoty SAD a vstupní vzorky jsou znovu použity, zejména pro režimy IPH a IPV, což snižuje počet aritmetických operací až o 50 % u větších bloků a snižuje přístupy do paměti o téměř 29 %. Opakované použití dat je vždy založeno na zpracování menších 8×8 bloků, zatímco opakované využití SAD hodnot je řízeno modulem, který zpracovává přímo menší bloky, čímž se předejde zbytečným výpočtům.

Každý DIS modul má vlastní řízení, vstupně-výstupní bitovou hloubku, interní bitovou hloubku akumulátorů i komparátorů, což zajišťuje přesnost a flexibilitu. Nejmenší modul (8×8) neprovádí opětovné využití dat, ale poskytuje důležité dílčí hodnoty pro větší bloky. V rámci každého modulu jsou k dispozici samostatné buffery pro horizontální a vertikální referenční vzorky, které jsou vybírány pomocí multiplexorů podle aktuálního režimu DIS.

Tento přístup umožňuje dosáhnout výrazného snížení energetické náročnosti a výpočetního zatížení při zachování téměř nezměněné kompresní efektivity. Implementace založená na SAD jako metrice podobnosti přináší výhody zejména v kontextu hardwarové realizace díky své jednoduchosti.

Dále je podstatné chápat, že opakované využití dat nejen šetří výpočty, ale také snižuje energetickou spotřebu, což má přímý dopad na provozní náklady a udržitelnost technologií. Celkově tedy tento přístup představuje moderní trend ve vývoji efektivních kodeků a jejich implementací.

Jak funguje hardware pro predikci intra-rámů s ohledem na kvalitu a spotřebu energie

Architektura navržená pro predikci intra-rámů, jak je znázorněno na obrázku 4.16a, zahrnuje technologii IPHOC, která omezuje možnosti bloků 4 × 4 (PB). DMM-1 podporuje pouze 33 směrů pro každý typ PB, což zajišťuje flexibilitu a efektivitu. Tento hardware je navržen tak, aby byl konfigurovatelný, což znamená, že je možné změnit úroveň funkčnosti na základě externího signálu, který určuje, jaké heuristiky budou aktivní pro dosažení požadovaných úspor energie, jak je podrobně popsáno v předchozím textu.

Jedním z hlavních aspektů této architektury je, že obsahuje čtyři základní jednotky, z nichž každá zpracovává různé režimy predikce intra-rámu. Jak je ukázáno na obrázku 4.15a, každá jednotka přijímá vstupy od sousedních bloků, které jsou následně zpracovány pro predikci výsledného řádku. Po získání predikce každého režimu je pomocí multiplexoru vybrán predikovaný řádek odpovídající aktivnímu režimu, s výjimkou jednotky DMM-1, která zpracovává pouze jeden režim. Výstupy z těchto jednotek jsou pak použity pro výpočet reziduálního bloku, což je klíčovým krokem pro dosažení co největší přesnosti predikce při minimalizaci spotřeby energie.

Heuristiky ICDSD a LC-ICDSD jsou definovány jednotkou Heuristic Control, která umožňuje nebo deaktivuje různé části systému podle toho, jaký režim predikce je aktivní. Signály HCEnable a HCAngle určují, které jednotky budou zapnuty nebo vypnuty. HCEnable je 1-bitový signál, který aktivuje nebo deaktivuje jednotku Multi-mode, zatímco HCAngle je 6-bitový signál, který rozhoduje o tom, které směrové a DMM-1 jednotky budou aktivní. Tento přístup, při kterém se používá časové řízení hodinového signálu (clock gating), umožňuje úsporu energie, protože se zajišťuje, že neaktivní jednotky nejsou zapojeny do zpracování dat.

Při zpracování prvního kanálu nebo při použití úrovně 0 jsou všechny jednotky aktivní. Jakmile je aktivní heuristika ICDSD, režimy, které budou použity, jsou určeny na základě informací z předchozího kanálu. Pokud se zjistí, že sousední blok neprojevil směrové chování, aktivuje se jednotka Multi-mode, zatímco směrové a DMM-1 jednotky jsou deaktivovány. Naopak, pokud je směrové chování aktivní, deaktivuje se jednotka Multi-mode a aktivují se směrové jednotky a DMM-1 jednotka. Takto se zajišťuje efektivní přizpůsobení predikce na základě historických dat a specifických potřeb zpracování.

Hardware je navržen tak, aby byl dostatečně paralelní a schopný zpracovávat bloky o velikosti až 64 × 64 vzorků pro textury a až 32 × 32 vzorků pro hloubkové mapy. Jednotka DIS, která je navržena jednoduše, je odpovědná za přenos dat mezi sousedními bloky bez složitějších výpočtů. Tento přístup umožňuje efektivní využívání prostředků a zajišťuje vysokou propustnost i při zpracování složitějších obrazů.

Důležitý materiál pro čtenáře

Je důležité pochopit, že navržený systém není pouze o samotném výkonu nebo rychlosti zpracování, ale také o efektivním řízení spotřeby energie. Flexibilita v konfigurování různých režimů predikce podle aktuálních potřeb a historických dat je klíčová pro dosažení optimálního výkonu při minimální spotřebě energie. Čtenáři by měli mít na paměti, že každý režim a každá heuristika jsou pečlivě navrženy tak, aby splňovaly specifické požadavky na kvalitu obrazu, ale zároveň s ohledem na omezené zdroje (energie, čas, paměť).