Jak DWT i CNN Współpracują w Multiskalowej Architekturze Sieci Neuronowych?

Wprowadzenie do dyskretnej transformacji falkowej (DWT) oraz splotowych sieci neuronowych (CNN) w kontekście przetwarzania obrazów jest kluczowe dla zrozumienia, jak te dwie techniki współpracują w nowoczesnych architekturach sieci neuronowych. DWT jest stosowane do rozkładu sygnałów na różne skale, co pozwala na ich wieloskalową dekompozycję, a CNN — do ekstrakcji cech i późniejszej rekonstruowania obrazu. W tej części przedstawimy, jak można połączyć te dwa podejścia w celu osiągnięcia lepszych wyników w zadaniach takich jak fuzja danych czy pan-sharpening.

Punktem wyjścia dla rekonstrukcji oryginalnego sygnału $c_0$ po dekompozycji jest proces odwrotnej transformacji falkowej (IDWT). Wykorzystuje się tu odpowiednią sekwencję współczynników dekompozycji, takich jak $c_M$ i $d_M$, które po przeprowadzeniu odwrotnej transformacji pozwalają na odzyskanie pierwotnego sygnału. Proces ten jest realizowany za pomocą specjalnych wyrażeń matematycznych, które umożliwiają iteracyjne dodawanie cech i ich rekonstrukcję na poziomach $m = M, M-1, \dots, 0$.

Z drugiej strony, w kontekście CNN, sploty w sieci są realizowane na tensorach $y$, które mają rozmiary $M \times N \times D$. Filtr w warstwie CNN dobierany jest w sposób, który odpowiada liczbie kanałów wejściowych obrazu, a jego maska (jądro filtru) jest określona w sposób określony w równaniach (4.7) i (4.8). Konwolucje w tych sieciach mają na celu ekstrakcję cech z danych wejściowych, które następnie przechodzą przez różne operacje, takie jak dodanie biasu, subsampling czy aktywacje PReLU.

Połączenie DWT z CNN stwarza nową jakość w architekturach, które mają na celu łączenie różnych rodzajów danych, jak obrazy wieloskalowe (MS) i obrazy PAN. W tym kontekście, połączenie warstw splotowych z wynikami DWT pozwala na lepszą rekonstrukcję obrazu, zwłaszcza podczas procesu upsampling, co jest istotne w zadaniach takich jak fuzja obrazów. Przykładem może być sieć TIWNet, która stosuje takie podejście, wykorzystując zarówno CNN, jak i DWT, do uzyskania lepszych wyników w zadaniach związanych z pan-sharpeningiem.

Architektura sieci, składająca się z bloków enkodera, fuzji i dekodera, pozwala na przeprowadzanie wieloetapowego procesu przetwarzania obrazu. Każdy z tych bloków spełnia określoną rolę: enkoder odpowiada za ekstrakcję cech, blok fuzji za łączenie wyników, a dekoder za rekonstruowanie końcowego obrazu. Przykładem jest architektura T3IWNet, gdzie encoder przetwarza obrazy PAN i MS, które następnie trafiają do odpowiednich warstw fuzji i dekodera. W tym przypadku fuzja ma na celu łączenie wyników obydwu źródeł danych, co pozwala na uzyskanie bardziej precyzyjnych rezultatów.

Przy takich podejściu warto również pamiętać, że choć DWT w połączeniu z CNN może znacząco poprawić jakość rekonstruowanych obrazów, to jednak kluczowe jest dobranie odpowiednich parametrów architektury, jak liczba poziomów dekompozycji DWT czy liczba filtrów w warstwach splotowych. Ponadto, mimo że filtry falkowe nie są uczone, ich dobór ma istotny wpływ na finalny wynik. Dodatkowo, konieczne może być eksperymentowanie z różnymi funkcjami aktywacji, które mogą wpłynąć na jakość końcowego obrazu.

Jakie są strategie transferu wiedzy w klasyfikacji hiperspektralnej?

Transfer wiedzy (TL) w klasyfikacji obrazów hiperspektralnych (HSI) stanowi kluczowy element, umożliwiający wykorzystanie danych z różnych źródeł i modeli w celu poprawy wyników klasyfikacji. W szczególności, techniki te opierają się na dwóch głównych strategiach: strategii „cross-sensor” i „cross-model”. Obie strategie łączą naukę wyłącznie na danych HSI oraz na połączeniu danych HSI z danymi RGB. He i in. (2018) zaprezentowali warstwę mapującą, która rozwiązywała problemy związane z kanałami przy wykorzystaniu modelu GNet, wcześniej wytrenowanego. Dodali także mechanizm uwagi kanałowej, który kompensował różnice w heterogenicznych zbiorach danych. Lin i in. (2019) zaprezentowali podejście oparte na aktywnej nauce, które pomagało rozwiązywać trudności w transferze wiedzy z danych źródłowych do docelowych, przez wyodrębnienie i transferowanie złożonych cech dyskryminacyjnych dla danych HSI źródłowych i docelowych.

Badania pokazują, że transfer wiedzy w przypadku danych HSI napotyka pewne ograniczenia. Jednym z największych wyzwań jest brak dostępnych, wytrenowanych modeli skoncentrowanych na HSI. Większość modeli TL opiera się na tradycyjnych pretrenowanych modelach, takich jak VGGNet i AlexNet, które jednak nie są wystarczające w przypadku danych HSI, ponieważ różnią się one w zakresie cech i charakterystyk długości fal w porównaniu do obrazów RGB. Transfer pretrenowanych cech RGB na mapy cech hiperspektralne nie zawsze jest skuteczny, co wynika z różnicy w liczbie pasm spektralnych i charakterystyce długości fal. W kontekście transferu wiedzy w różnych domenach często występują trudności w przenoszeniu cech przestrzenno-spektralnych na docelową domenę, co jest spowodowane zmiennością liczby pasm spektralnych oraz różnicami w długości fal.

Ważnym aspektem modelu T-HyC jest strategia redukcji wymiarowości, która transformuje dane HSI źródłowe i docelowe do standardowych wymiarów spektralnych, zachowując spójność danych. Takie podejście zapewnia stabilność procesu klasyfikacji, umożliwiając transferowanie cech w sposób, który minimalizuje różnice między zbiorami danych.

Oprócz samego modelu transferu wiedzy T-HyC, niezwykle ważnym aspektem jest również rola danych hiperspektralnych w różnych dziedzinach, takich jak rolnictwo, monitorowanie środowiska, identyfikacja minerałów czy analiza pokrycia terenu. Dzięki zastosowaniu odpowiednich technik analizy, HSI pozwalają na uzyskanie dokładniejszych i bardziej zróżnicowanych informacji o powierzchni Ziemi. Współczesne narzędzia, takie jak zaawansowane sieci neuronowe oraz algorytmy uczenia maszynowego, pozwalają na wyodrębnienie istotnych cech z tych danych, co umożliwia lepsze zrozumienie procesów zachodzących w naturze i lepsze zarządzanie zasobami.

Jednak mimo obiecujących wyników, wciąż istnieją wyzwania związane z dokładnością klasyfikacji oraz potrzebą dalszego udoskonalania technik redukcji wymiarowości i algorytmów uczenia. W związku z tym, istotnym kierunkiem przyszłych badań jest dalszy rozwój i optymalizacja modeli, które będą w stanie lepiej radzić sobie z heterogenicznymi i homogenicznymi danymi HSI oraz minimalizować problemy związane z wymiarowością i różnorodnością pasm spektralnych.