Jak sieci neuronowe osiągają dokładność w przybliżeniu funkcji z wykorzystaniem głębokich architektur?

Rozważmy funkcję, która jest przybliżana za pomocą sieci neuronowych, a dokładniej rozważmy przypadek, w którym $f(x) = \cos(2\pi x)$. W tym przykładzie, dla $x_k = (2k−1)\epsilon'$, funkcja $Ŷ = f(x_k)$ jest zdefiniowana na przedziale $[x_k - \epsilon', x_k + \epsilon']$, który stanowi wsparcie funkcji bazowej $\varphi_k(x)$. Z racji ciągłości Lipschitza funkcji $f(x)$, możemy określić, że największy błąd pojawi się w punkcie środkowym dowolnego przedziału $[x_k, x_k+1)$. Błąd ten można opisać wzorem:

gdzie $L$ jest stałą Lipschitza, a $\epsilon'$ jest małą jednostką dyskretizacji. Ten przykład jest specjalnym przypadkiem ogólnego reprezentowania funkcji przez perceptrony wielowarstwowe (MLP), gdzie, zamiast wymagać regularnego siatkowania punktów, zakłada się jedynie obecność $K$ punktów danych w przestrzeni $p \in \mathbb{R}$. Granice regionów tworzone przez ukryte jednostki w tej przestrzeni generują diagram Voronoia, który dzieli przestrzeń na regiony na podstawie odległości do wybranych punktów. Takie podejście pozwala na traktowanie sieci neuronowych jako reprezentacji funkcji w postaci splajnów.

Istnieje wiele dowodów teoretycznych, które wskazują, że głębokie sieci neuronowe są bardziej efektywne od modeli liniowych, takich jak regresja liniowa, w przypadku złożonych problemów z wieloma zmiennymi. Poggio (2016) wykazał, że głębokie sieci mogą osiągnąć lepsze wyniki, unikając problemu „klątwy wymiarowości”, który występuje w klasycznych modelach liniowych. Z kolei analiza teoretyczna funkcji aproksymujących wskazuje na zależność wydajności sieci od głębokości, szerokości i poziomu sparsity (rozrzedzenia) sieci, co ma istotne znaczenie w projektowaniu bardziej złożonych architektur.

Również badania dotyczące wymiaru VC (Vapnika-Chervonenkisa) sieci neuronowych pokazują, że sieci z funkcją aktywacji ReLU mają dużą zdolność wyrażania funkcji, co jest kluczowe dla zrozumienia, dlaczego większa liczba warstw w sieci może prowadzić do lepszej aproksymacji złożonych funkcji. Teoretyczne dowody wskazują, że głębokie sieci z ReLU są w stanie dokładniej aproksymować funkcje nieliniowe niż ich płytkie odpowiedniki, które wymagałyby ogromnej liczby jednostek w każdej warstwie.

Kiedy dodajemy kolejne warstwy do sieci, sieć staje się bardziej elastyczna i zdolna do reprezentowania funkcji w bardziej złożony sposób. Zauważmy, że w sieci neuronowej głębokiej, aktywacja ReLU jest funkcją kawałkowo-liniową, co oznacza, że każde dodatkowe warstwy pozwalają na bardziej złożoną kompozycję funkcji. W rezultacie, zamiast po prostu dodawać funkcje, jak to się dzieje w modelach liniowych, sieci neuronowe wykonują kompozycje funkcji, co znacznie zwiększa ich zdolność do wyrażania bardziej skomplikowanych zależności.

Aby lepiej zrozumieć, jak to działa w praktyce, rozważmy przykład rozkładu liczby dziesiętnej na postać binarną. W tym przypadku sieć neuronowa wykorzystuje dwie jednostki w każdej warstwie z różnymi funkcjami aktywacyjnymi – Heaviside i funkcją tożsamościową. W ten sposób można skutecznie przybliżyć liczbę dziesiętną do jej reprezentacji binarnej.

Sieci neuronowe w tym przypadku wykorzystują rozkład liczby dziesiętnej do rozbicia jej na sumę składników, co pozwala na lepsze przybliżenie funkcji. Takie podejście jest możliwe dzięki odpowiedniej liczbie warstw w sieci, które umożliwiają wykonanie tego typu kompozycji funkcji. Z kolei, jeśli chodzi o wielomiany, istnieje teoria, która pokazuje, że sieci neuronowe o odpowiedniej strukturze (np. z jednostkami Heaviside i ReLU) mogą skutecznie aproksymować funkcje wielomianowe o dowolnym stopniu.

Jak rozumieć metody TD w kontekście algorytmu przybliżonego Bellmana?

W klasycznych metodach uczenia ze wzmocnieniem, takich jak SARSA czy Q-learning, celem jest znalezienie optymalnej polityki, która maksymalizuje oczekiwaną sumę nagród w danym środowisku. Aby osiągnąć ten cel, najczęściej korzystamy z równań Bellmana, które stanowią matematyczny fundament dla takich algorytmów. Jednak, aby skutecznie je zastosować w praktyce, wprowadzamy przybliżenie stochastyczne, które pozwala na iteracyjne aktualizowanie wartości funkcji Q lub polityki na podstawie obserwacji w czasie rzeczywistym.

W rzeczywistości, kiedy model środowiska jest nieznany, próbujemy rozwiązać równanie optymalności Bellmana poprzez zastąpienie oczekiwań empirycznymi średnimi. Podejście to wykorzystuje metodę przybliżeń stochastycznych, jak na przykład algorytm Robbins-Monro, który umożliwia estymację średniej bez bezpośredniego sumowania wszystkich próbek. Przykład estymacji średniej wartości można przedstawić za pomocą prostego wzoru:

Kluczową cechą tego podejścia jest to, że każde nowe doświadczenie aktualizuje naszą dotychczasową estymatę wartości Q, co pozwala na szybkie dostosowywanie się do nowych informacji. Taki proces jest szczególnie przydatny, gdy musimy pracować w dynamicznych środowiskach, gdzie dostępne dane mogą pochodzić z różnych źródeł i być przetwarzane w trybie online. Co więcej, metoda przybliżenia stochastycznego daje możliwość uczenia się na podstawie danych, które są dostarczane w partiach (batch), zamiast w pojedynczych próbkach. To z kolei umożliwia efektywniejsze wykorzystanie zasobów obliczeniowych, szczególnie w przypadku bardzo dużych zbiorów danych.

Jednym z przykładów zastosowania takich technik jest problem handlu akcjami, który jest podobny do wcześniej omawianego przypadku "financial cliff walking". W takim przypadku broker musi sprzedać określoną liczbę akcji, minimalizując wpływ na cenę rynkową. Zamiast podejmować decyzje w sposób losowy, agent podejmuje kroki oparte na bieżącej estymacie wartości Q dla danej sytuacji, uwzględniając przy tym przewidywane skutki swojej decyzji na przyszłość.

Warto również zwrócić uwagę, że algorytmy oparte na przybliżeniu stochastycznym, jak Q-learning, mogą być wykorzystywane nie tylko w klasycznych zadaniach uczenia ze wzmocnieniem, ale również w bardziej złożonych problemach optymalizacji, takich jak planowanie sekwencji działań w robotyce czy zarządzanie portfelem inwestycyjnym. W takich zastosowaniach, efektywność algorytmu zależy nie tylko od dokładności przybliżeń, ale również od sposobu eksploracji przestrzeni stanów i akcji.

W kontekście praktycznym, jednym z kluczowych aspektów jest stopniowe dostosowywanie parametrów, takich jak współczynnik uczenia $\alpha$, a także polityki eksploracji, jak np. $\epsilon$-greedy. Dodatkowo, w zadaniach o dużej złożoności obliczeniowej, przydatne staje się stosowanie mini-batchy, które pozwalają na równoczesne przetwarzanie wielu danych, co przyspiesza proces nauki.