Jak optymalizacja inwestycji może przyczynić się do lepszego zarządzania majątkiem?

Optymalizacja strategii inwestycyjnych, w szczególności w kontekście planów emerytalnych, pozostaje jednym z kluczowych tematów we współczesnym zarządzaniu majątkiem. W tym obszarze coraz częściej wykorzystuje się podejście oparte na algorytmach uczenia maszynowego, szczególnie w zakresie, który łączy teorię decyzji z modelami finansowymi. W niniejszym rozdziale przedstawiamy jeden z możliwych sposobów zastosowania takich algorytmów, wykorzystujący funkcje nagrody oparte na kwadratowej stracie, w celu optymalizacji strategii inwestycyjnych w ramach planu emerytalnego.

Dodatkowo, użycie funkcji kwadratowej w modelu nagrody pozwala uwzględnić różne scenariusze dotyczące przyszłego stanu portfela. Choć takie podejście może być skuteczne, istnieje jedno zasadnicze ograniczenie – funkcje kwadratowe są symetryczne, co oznacza, że penalizują zarówno przypadki, w których wartość portfela jest wyższa, jak i niższa od założonego celu. Aby zminimalizować to ograniczenie, możliwe jest przyjęcie wartości docelowych P̂t+1, które są znacznie wyższe od oczekiwanego poziomu portfela na dany moment. Może to być na przykład wartość portfela, który rośnie o stałą, wystarczająco wysoką stopę zwrotu. Z tego powodu funkcja straty, będąca funkcją kwadratową względem poziomu majątku, stanowi popularny wybór w literaturze dotyczącej zarządzania majątkiem.

Oczywiście, aby optymalizacja była efektywna, należy uwzględnić ryzyko związane z przyszłymi wynikami inwestycji. Rynki finansowe są zmienne, co oznacza, że trudno jest przewidzieć dokładną wartość portfela w przyszłości. Z tego powodu istotnym elementem w budowie strategii inwestycyjnej jest uwzględnienie zmienności stóp zwrotu, która pozwala na lepsze modelowanie ryzyka. Współczesne podejścia do tego zagadnienia, jak np. Lin et al. (2019), wykorzystują funkcje straty oparte na kwadratowej specyfikacji w kontekście planów emerytalnych, które uwzględniają zmienne oczekiwania co do przyszłych stóp zwrotu.

Rozwiązywanie takich problemów optymalizacji w kontekście planów emerytalnych można zrealizować za pomocą semi-analitycznego podejścia, w którym nagroda i funkcja wartości są wyrażone w postaci kwadratowej, a optymalizacja dokonywana jest w sposób przyjazny obliczeniowo. Tego typu metody mogą być stosowane w zarówno w fazie gromadzenia środków, jak i wypłat, co czyni je uniwersalnymi w zastosowaniu.

Warto również zauważyć, że podejście oparte na celach ma istotne zastosowanie w przypadku inwestycji, które są związane z konkretnym czasem realizacji celu, takim jak na przykład plan emerytalny. Im bliżej jesteśmy osiągnięcia celu, tym bardziej istotna staje się precyzyjność w podejmowanych decyzjach inwestycyjnych. Zatem optymalizacja powinna uwzględniać zmniejszającą się elastyczność decyzji w miarę zbliżania się do planowanego momentu realizacji celu, co wymaga uwzględnienia odpowiednich metod analizy ryzyka w miarę zmieniających się warunków rynkowych.

Jak głębokie sieci neuronowe wpływają na przybliżenie funkcji?

Pod warunkiem oczekiwań, mamy:

Zastosowanie nierówności Jensena daje:

Możemy zauważyć, że odległość między dwoma wektorami wyjściowymi, które są wynikiem działania ukrytej warstwy $g$ dla różnych wejść $X$ i $Y$, może być mniej skoncentrowana w miarę wzrostu wymiarowości przestrzeni wyjściowej. Innymi słowy, punkty w przestrzeni wartości funkcji $g$ są średnio bardziej oddzielone, gdy $q$ rośnie.

Podstawowym matematycznym zagadnieniem w sieciach neuronowych jest twierdzenie o uniwersalnym przybliżeniu. Mówiąc najprościej, jest to stwierdzenie o zdolności sieci neuronowej do przybliżania dowolnej funkcji ciągłej, nieznanej, między parami wejść i wyjść, przy użyciu prostego i znanego przedstawienia funkcji. Hornik i inni (1989) pokazali, że sieć feedforward z jedną ukrytą warstwą może przybliżyć dowolną funkcję ciągłą, niezależnie od wyboru funkcji aktywacji czy danych.

To twierdzenie jest istotne, ponieważ charakteryzuje sieci feedforward z jedną warstwą ukrytą jako klasę rozwiązań przybliżających. Jednak twierdzenie to nie jest konstruktywne – nie mówi, jak skonfigurować sieć MLP (Multilayer Perceptron), aby miała wymagane właściwości przybliżenia. Co więcej, twierdzenie ma pewne istotne ograniczenia. Nie mówi nic o wpływie dodawania kolejnych warstw, poza sugerowaniem, że są one redundantne. Zakłada również, że optymalne wektory wag są osiągalne za pomocą algorytmu gradientowego od początkowych wartości wag, co może nie być możliwe w skończonym czasie obliczeniowym. Twierdzenie nie charakteryzuje błędu predykcji – wynik jest czysto teoretyczny, oparty na teorii przybliżenia.

Kolejnym ważnym zagadnieniem jest problem nadmiernego dopasowania (overfitting) oraz ogólności wyników predykcji na zbiorach testowych, które nie zostały uwzględnione w omawianym twierdzeniu. Twierdzenie to nie wskazuje również, w jaki sposób sieci MLP mogą odzyskać inne techniki przybliżenia, takie jak interpolacja wielomianowa. Aby lepiej zrozumieć, jak sieci neuronowe uczą się funkcji, należy przejść do alternatywnych teorii, takich jak analiza klasyfikatora perceptronowego.

Wymiar VC to miara zdolności do uczenia się, która mierzy, jak dobrze sieć neuronowa jest w stanie klasyfikować dane. Dla klasyfikatora binarnego $g = F(W, b)(X)$, wymiar VC to maksymalna liczba punktów, które można tak rozmieścić, aby funkcja $F(W, b)(X)$ je rozdzielała. Dla perceptronu z $n$ jednostkami wejściowymi i liniową funkcją aktywacji, wymiar VC wynosi $n+1$. Na przykład, dla $n = 1$, perceptron będzie w stanie rozdzielić tylko dwa punkty. W ogólnym przypadku, wymiar VC klasy półprzestrzeni w $k$-wymiarowej przestrzeni $\mathbb{R}^k$ wynosi $k+1$.

Wymiar VC jest miarą, która pozwala określić, jak dobrze sieć neuronowa będzie w stanie nauczyć się i generalizować na nowych danych. Jest to bardziej skuteczna miara zdolności uczenia niż np. liczba parametrów w sieci. W rzeczywistości, nawet sieć neuronowa z jednym parametrem może mieć nieskończony wymiar VC, co czyni ją zdolną do nauczenia się bardziej złożonych funkcji niż mogłoby się to wydawać na pierwszy rzut oka.

Jak działa algorytm Viterbiego i jego zastosowanie w modelach ukrytych procesów Markowa?

Modelowanie szeregów czasowych za pomocą ukrytych procesów Markowa (HMM) jest szeroko wykorzystywane w analizie danych, które charakteryzują się ukrytymi zmiennymi stanowymi, a obserwacje są jedynie pośrednim sygnałem tych stanów. Do jednej z najbardziej popularnych metod estymacji w tym kontekście należy algorytm Viterbiego, który pozwala na identyfikację najbardziej prawdopodobnej sekwencji ukrytych stanów na podstawie obserwowanych danych.

Algorytm Viterbiego znajduje najbardziej prawdopodobną sekwencję stanów w procesie ukrytym, maksymalizując prawdopodobieństwo obserwacji danych w odniesieniu do modelu. Proces ten wymaga wcześniejszego określenia pewnych parametrów modelu, takich jak macierz przejść, macierz emisji oraz prawdopodobieństwa początkowe. Po ich określeniu, algorytm zaczyna działać iteracyjnie, obliczając prawdopodobieństwa dla każdej możliwej sekwencji stanów i wybierając najbardziej prawdopodobną.

Wzory stosowane w algorytmie Viterbiego uwzględniają przejścia między stanami w czasie, jak również prawdopodobieństwa emisji, dzięki czemu algorytm jest w stanie skutecznie modelować ukryte procesy. Przy każdym kroku w procesie, dla każdej z możliwych pozycji w sekwencji, algorytm wybiera stan, który maksymalizuje łączną prawdopodobieństwo wszystkich poprzednich stanów i obserwacji.

Podstawowy algorytm Viterbiego można zapisać w postaci rekurencyjnej:

• $V_1, k = P(y_1 | s_1 = k) \cdot \pi_k$,

• $V_t, k = \max_i P(y_t | s_t = k) \cdot A_{ik} \cdot V_{t-1, i}$,

Warto zauważyć, że algorytm Viterbiego jest szczególnie przydatny, gdy znamy parametry modelu, jak np. macierze przejść i emisji. W przeciwnym razie, jeśli te parametry są nieznane, należy skorzystać z algorytmu Baum-Welcha, który jest wariantem algorytmu EM (Expectation-Maximization) i pozwala na estymację parametrów modelu.

Poza samym algorytmem Viterbiego, istotne jest także zrozumienie pojęć filtrowania i wygładzania, które mają zastosowanie w kontekście szumów w danych. Dane finansowe, na przykład, często zawierają duży poziom szumów, który utrudnia identyfikację sygnałów. Filtrowanie jest ogólnym terminem odnoszącym się do ekstrakcji informacji z szumnego sygnału, natomiast wygładzanie jest jego szczególnym przypadkiem, polegającym na przepuszczaniu niskoczęstotliwościowych składników sygnału przy tłumieniu składników wysokoczęstotliwościowych. Te techniki są przydatne w HMM, ponieważ pomagają w precyzyjnym określeniu stanów ukrytych w danych o wysokiej zmienności, takich jak dane finansowe.

Należy również wspomnieć o filtrze cząsteczkowym, który jest rozszerzeniem klasycznego podejścia do filtracji w przypadkach, gdy rozkład stanów nie jest Gaussowski. Filtr cząsteczkowy opiera się na próbkach (cząsteczkach), które są używane do przybliżenia bardziej złożonych rozkładów, na przykład rozkładu bimodalnego. Przykład tego podejścia stanowi algorytm resamplingu o nazwie Sequential Importance Resampling (SIR), który bazuje na próbkach i przypisanych im wagach, co pozwala na efektywne modelowanie rozkładów stanów w przypadku, gdy standardowe podejście Gaussowskie jest niewystarczające.

Chociaż algorytm Viterbiego jest skuteczny przy znanych parametrach modelu, warto pamiętać, że istnieje wiele innych technik i algorytmów, które mogą być zastosowane w kontekście bardziej złożonych lub nieznanych danych. W zależności od kontekstu zastosowania i jakości dostępnych danych, algorytmy takie jak Baum-Welch czy algorytmy filtrów cząsteczkowych mogą dostarczyć bardziej precyzyjnych wyników.

Jak działają równości Bellmana w procesach decyzyjnych Markowa i ich rola w algorytmach uczenia przez wzmocnienie?

Równość Bellmana dla funkcji wartości stanu V (s) jest podstawą w obliczeniach w kontekście modeli MDP. Równość ta ma postać:

$V_{\pi}(s) = \max_{a} Q_{\pi}(s, a)$

Jeśli znamy już funkcję $Q_{\pi}(s, a)$, możemy na jej podstawie wyznaczyć optymalną politykę, ponieważ każda akcja będzie zoptymalizowana na każdym etapie. Takie podejście jest kluczowe w algorytmach dynamicznego programowania, które służą do rozwiązywania równań Bellmana. Jednak w praktyce obliczenia oparte na tej równości mogą być trudne do przeprowadzenia, ponieważ wprowadza ona zależności między dwoma funkcjami optymalnymi, co utrudnia rozwiązywanie problemu. Z tego powodu stosuje się różne metody przybliżone.

$Q_{\pi}(s, a) = E \left[ R(s, a, s') + \gamma \max_{a'} Q_{\pi}(s', a') \right]$

Ta wersja jest bardziej praktyczna, ponieważ pozwala na rozwiązywanie problemu w oparciu wyłącznie o funkcję wartości akcji, bez konieczności uwzględniania wszystkich wartości stanów.

Istotnym pojęciem w tym kontekście jest także tzw. zasada optymalności Bellmana, która mówi, że optymalne skumulowane nagrody można uzyskać, podejmując optymalną decyzję w danym momencie oraz postępując zgodnie z optymalną polityką w przyszłości. Kluczowe jest tutaj, że równości Bellmana stanowią fundament algorytmów dynamicznego programowania i uczenia przez wzmocnienie, które opierają się na znajomości przejść między stanami oraz maksymalizacji funkcji wartości.

Równość Bellmana dla funkcji wartości stanu może zostać zapisana w wersji dla problemu o nieograniczonym horyzoncie czasowym, czyli tzw. przypadku horyzontu nieskończonego. W takim przypadku funkcja wartości nie zależy od czasu i przyjmuje postać:

gdzie $T_{\pi}$ jest operatorem Bellmana dla polityki $\pi$. Równanie to jest równaniem stałej punktu, co oznacza, że rozwiązanie jest unikalne, gdy $\gamma < 1$, a operator Bellmana jest kontrakcją.

W sytuacjach rzeczywistych, kiedy nie znamy modelu środowiska i nie dysponujemy doskonałą wiedzą o przejściach między stanami, stosowanie klasycznych metod dynamicznego programowania staje się praktycznie niemożliwe. W takich przypadkach, w uczeniu przez wzmocnienie, stosuje się metody przybliżone, które pozwalają na empiryczne rozwiązanie problemów przy ograniczonej wiedzy o przejściach, bazując jedynie na obserwacjach.

W przypadku problemów o skończonym horyzoncie, gdzie po określonej liczbie kroków agent przechodzi do stanu absorpcyjnego, można zastosować rozszerzoną wersję równości Bellmana, traktując stan jako kombinację aktualnego stanu i etapu procesu, co prowadzi do rozwiązania podobnego do problemu najkrótszej ścieżki.