Jak obliczyć cenę opcji i strategię zabezpieczającą w modelu Black-Scholes-Mertona w czasie dyskretnym?

Optymalna strategia zabezpieczająca w dyskretnym czasie może być obliczona analitycznie poprzez ustawienie pochodnej funkcji kosztów do zera. Z tego wynika, że optymalna strategia hedge'u (u%) w czasie t, dla ceny aktywa S_t, jest opisana wzorem:

W przypadku przestrzeni stanów dyskretnej, te oczekiwania warunkowe są sumami skończonymi, opartymi na prawdopodobieństwach przejścia w modelu Markowa. Natomiast w przypadku przestrzeni stanów ciągłych, te oczekiwania mogą być obliczane w symulacjach Monte Carlo, z wykorzystaniem rozszerzeń bazowych funkcji, podobnych do metody LSMC Longstaffa i Schwartza (2001) lub metod MC opartych na mierze rzeczywistej (Grau, 2007; Petrelli i in., 2010).

Cenę opcji w czasie t możemy zdefiniować jako wartość oczekiwaną portfela zabezpieczającego $C_t$:

Wykorzystując wzór (10.5) oraz prawo wieży oczekiwań warunkowych, otrzymujemy równanie:

Równanie to można sprowadzić do bardziej zwięzłej postaci, wyrażając $C_t$ w sposób rekurencyjny, wykorzystując transakcyjne prawdopodobieństwa przejścia pod miarą fizyczną $P$. Jednakże dla wystarczająco dużych zmian ceny $\Delta S_t$, może pojawić się sytuacja, w której cena opcji stanie się ujemna. Jest to właściwość dobrze znana w ramach metod minimalizacji ryzyka kwadratowego (Cerný i Kallsen, 2007; Föllmer i Schweizer, 1989). Ważne jest jednak zauważyć, że "sprawiedliwa" cena opcji $C_t$ nie jest ceną, jaką sprzedawca opcji powinien pobierać. Rzeczywista cena opcji powinna uwzględniać premia za ryzyko.

Optymalna cena sprzedaży (ask price) jest wyrażona wzorem:

Problem minimalizacji "sprawiedliwej" ceny opcji można sprowadzić do problemu maksymalizacji jej odwrotności (wartość ask), co daje:

Jednakże zauważmy, że przy używaniu kwadratowej funkcji użyteczności, cena opcji może stać się ujemna przy dużych wahaniach cen, ponieważ kwadratowa funkcja użyteczności nie jest monotoniczna. Aby rozwiązać ten problem, często stosuje się funkcje użyteczności, które spełniają warunki Von Neumanna-Morgensterna. Popularnym przykładem takiej funkcji jest funkcja wykładnicza:

gdzie $\gamma$ jest parametrem określającym niechęć do ryzyka, który ma analogiczne znaczenie jak parametr $\lambda$ w kwadratowej funkcji użyteczności. Dzięki tej funkcji można uzyskać ceny opcji, które nie są ujemne, nawet przy dużych wahaniach cen aktywów.

Jak Metoda Maksymalnej Entropii z Warunkami Causality Zmienia Podejście do Uczenia Wzmocnionego

W porównaniu z klasycznym problemem MaxEnt w jednej fazie, w którym ograniczenia odnoszą się do oczekiwań cech dla pojedynczych kroków, w przypadku problemów wieloetapowych ograniczenia te obejmują całe ścieżki. Praca nad tym zagadnieniem, w kontekście metody Max-Causal Entropy (MCE), pozwala na modelowanie decyzji, które uwzględniają ciągłość oraz zależności przyczynowe pomiędzy akcjami a przyszłymi stanami. Nie jest to jednak bezpośrednio wymuszone w formułach, jak pokazano w równaniu (11.21), gdzie zasady causality nie są explicite uwzględnione. W rzeczywistości polityka warunkowana przyczynowo w procesie decyzyjnym MDP rozkłada się na nieskończoną sumę, zależną od parametrów $\pi_t(a_t | s_t)$, które służą jako zmienne decyzyjne. Taki mechanizm wymusza przyczynowość, jako element wynikający z dekompozycji MDP, zapewniając, że polityka będzie respektować struktury zależności przyczynowych.

Kiedy zastosujemy tę metodę do bezpośredniego uczenia wzmocnionego, zauważymy, że wymaga ona założenia o oczekiwanych nagrodach, które w tym przypadku mogą być traktowane jako cechy, $F(s_t, a_t) = r(s_t, a_t)$. Takie podejście umożliwia usunięcie drugiego składnika w funkcji celu (11.21), który nie ma wpływu na optymalizację polityki, a jedynie zależy od funkcji nagród. Ta prostota znajduje zastosowanie w problemach RL, w których nagrody są obserwowane bezpośrednio. Rozszerzenie metody MCE przez użycie rozbieżności KL (Kullback-Leibler) względem polityki referencyjnej $\pi_0(a|s)$ umożliwia regulację entropii, zapewniając bardziej elastyczne dostosowanie do konkretnych warunków. Takie podejście sprawia, że metody Max-Causal Entropy są bardziej zaawansowane w porównaniu do klasycznych metod RL, ponieważ pozwalają na wprowadzenie dodatkowej kontroli nad bliskością polityki do referencyjnego rozkładu akcji.

Optymalizowanie polityki przy pomocy takich metod jak G-learning (które są zasadniczo równoważne metodzie MCE) prowadzi do wyznaczenia polityki w formie, która jest wyrażona w standardowej postaci rozkładu Boltzmanna, ale z inną funkcją energii $\hat{F}(s_t, a_t)$, która w tym przypadku jest funkcją $G$. To pokazuje, jak zaawansowane metody optymalizacji mogą być stosowane w zadaniach decyzyjnych, w których zależności między akcjami a przyszłymi stanami mają kluczowe znaczenie dla poprawności podejmowanych decyzji.

MCE i G-learning oferują także znaczne zalety w zadaniach odwrotnego uczenia wzmocnionego (IRL), gdzie celem jest odkrycie ukrytych nagród, które nie są bezpośrednio dostępne. W takim przypadku klasyczne algorytmy IRL mogą zostać wzbogacone o technologię Max-Causal Entropy, co umożliwia naukę polityk w bardziej naturalny sposób, uwzględniając przyczynowość między działaniami a stanami, co jest kluczowe dla pełniejszego zrozumienia procesów decyzyjnych w środowiskach o złożonych interakcjach czasowych.

Jak działa funkcja softmax, algorytm wstecznej propagacji i optymalizacja za pomocą SGD w sieciach neuronowych?

W sieciach neuronowych funkcja softmax jest wykorzystywana do reprezentowania rozkładu prawdopodobieństwa, który odnosi się do K możliwych stanów. Używając wzoru

gdzie $\sigma_s$ to funkcja softmax, a $W$ oraz $b$ to odpowiednio wagi i biasy, otrzymujemy prawdopodobieństwo, że dany przykład należy do klasy $k$. Funkcja ta jest szeroko stosowana w problemach klasyfikacji wieloklasowej, w których wymagane jest przypisanie etykiety do jednej z kilku możliwych klas.

Te wyrażenia są kluczowe dla dalszych obliczeń w procesie wstecznej propagacji błędów, który pozwala na aktualizację wag w sieci neuronowej.

W procesie uczenia maszynowego, gdzie minimalizujemy funkcję straty względem wag i biasów, stosuje się metodę optymalizacji znaną jako Stochastic Gradient Descent (SGD), czyli stochastyczny spadek gradientu. W tej metodzie dla każdej próbki treningowej obliczamy gradient funkcji straty względem wag i biasów, a następnie aktualizujemy je zgodnie z kierunkiem przeciwnym do gradientu. Standardowy algorytm wygląda następująco:

gdzie $t_k$ to współczynnik uczenia (tzw. learning rate), a $g_k$ to przybliżony gradient funkcji straty w iteracji $k$.

Współczesne metody uczenia w sieciach neuronowych często korzystają z tzw. mini-batchów, czyli małych podzbiorów danych, które są używane do obliczenia gradientu w danej iteracji. Dzięki temu proces obliczeniowy jest bardziej efektywny, a metoda staje się mniej podatna na szum w obliczeniach. Z kolei stosowanie różnych harmonogramów redukcji współczynnika uczenia może poprawić zbieżność algorytmu w bardziej złożonych zadaniach.

gdzie $\otimes$ oznacza iloczyn zewnętrzny. Na podstawie tych gradientów wagi i biasy są aktualizowane zgodnie z algorytmem SGD.

Ważnym aspektem procesu uczenia w sieciach neuronowych jest również użycie technik regularizacji, takich jak L1 czy L2, które zapobiegają przeuczeniu modelu, czyli sytuacji, w której model staje się zbyt skomplikowany i dopasowuje się zbytnio do danych treningowych. Stosowanie odpowiednich metod regularizacji jest kluczowe, zwłaszcza w przypadku głębokich sieci neuronowych, które mają tendencję do nadmiernej kompleksowości.

gdzie $v_k$ to wektor prędkości, a $\mu$ to współczynnik momentu, który kontroluje wpływ poprzednich kroków na aktualizację.

Jak działają metody dynamicznego programowania w uczeniu ze wzmocnieniem?

Algorytmy w uczeniu ze wzmocnieniem (RL) mają na celu znalezienie optymalnej polityki działania, która maksymalizuje oczekiwaną sumę nagród w danym środowisku. Istnieje kilka różnych podejść do realizacji tej strategii, z których jednym z najważniejszych jest podejście oparte na funkcji wartości, zwane wartością funkcji RL. Wartość funkcji w tym przypadku odnosi się do oceny jakości polityki i stanów, w których znajduje się agent. Chociaż różne metody RL różnią się w zależności od tego, czy polegają na wartościach funkcji, czy bezpośrednio na politykach, to wartość funkcji wciąż pozostaje kluczowym elementem wielu klasycznych algorytmów.

W metodach DP, takich jak obliczanie funkcji wartości stanu, głównym narzędziem jest równanie Bellmana. W przypadku problemów stacjonarnych (czyli takich, w których dynamika nie zmienia się w czasie) równanie Bellmana opisuje, jak wartość danego stanu zależy od nagród oraz wartości stanu w przyszłości, z uwzględnieniem współczynnika dyskontowania (γ). Problem znalezienia funkcji wartości stanu dla określonej polityki polega na rozwiązaniu układu równań liniowych, który w miarę rosnącej liczby stanów staje się coraz bardziej kosztowny obliczeniowo.

Zamiast rozwiązywać układ równań w jednym kroku (co może wiązać się z kosztowną inwersją macierzy), można zastosować podejście rekurencyjne, tzw. iterację Bellmana. Ta metoda polega na iteracyjnym zastosowaniu operatora Bellmana, który aktualizuje wartości funkcji w oparciu o poprzednią iterację, aż do momentu osiągnięcia zbieżności. Iteracja Bellmana jest wykorzystywana do oceny funkcji wartości polityki. Algorytm powtarza proces oceny polityki, stosując funkcję wartości z poprzedniego kroku, aż uzyskana funkcja wartości nie zmieni się w sposób znaczący.

Pomimo że ocena polityki może przebiegać stosunkowo szybko, ostatecznym celem zarówno w dynamicznym programowaniu, jak i w metodach RL, jest znalezienie optymalnej polityki. Proces ten wiąże się z poszukiwanie polityki, która maksymalizuje oczekiwaną sumę nagród w długim okresie. W ramach tego procesu stosuje się klasyczną metodę iteracji polityk, której celem jest nie tylko ocena, ale również poprawa polityki. Algorytm iteracji polityki składa się z dwóch kluczowych etapów: oceny aktualnej polityki i jej poprawy. Pierwszy etap, ocena polityki, realizowany jest za pomocą wcześniej opisanej iteracji Bellmana. Drugi etap, poprawa polityki, polega na znalezieniu nowej polityki, która lepiej ocenia stan i wybiera lepsze akcje.

Iteracja polityki może być stosunkowo łatwa do przeprowadzenia, gdy przestrzeń stanów jest mała i zdefiniowana w sposób dyskretny. Jednakże dla bardziej złożonych, ciągłych problemów, ten proces staje się trudniejszy i wymaga zastosowania bardziej wyrafinowanych metod optymalizacji. Niemniej jednak iteracja polityki jest fundamentem dla wielu algorytmów poszukiwania optymalnej polityki, a jej efektywność opiera się na szybkości i prostocie obliczeń, które umożliwiają stopniowe polepszanie decyzji agenta.

W ramach algorytmu iteracji polityki początkowa polityka jest zazwyczaj ustawiana losowo. Następnie, w cyklu powtarzanych obliczeń, polityka jest oceniana, a potem ulepszana. Celem jest doprowadzenie do polityki optymalnej, która prowadzi do maksymalizacji sumy nagród w danym środowisku. Ważne jest, aby proces iteracji polityki był przeprowadzany w sposób kontrolowany i stabilny, co zapewnia zbieżność do optymalnego rozwiązania.

W procesie iteracji polityki kluczową rolę odgrywa ocena wartości stanu i akcji, która pozwala na precyzyjne określenie, jakie decyzje są najlepsze w danym kontekście. Jednocześnie iteracja ta może być stosunkowo szybka i efektywna, ponieważ każda iteracja jest oparta na prostych operacjach liniowych. Jednak dla bardziej złożonych przestrzeni stanów konieczne jest poszukiwanie bardziej zaawansowanych metod, które umożliwią skuteczne przybliżenie optymalnej polityki.

Warto zauważyć, że zarówno w dynamicznym programowaniu, jak i w metodach RL, zakłada się doskonałą znajomość modelu środowiska. W rzeczywistości jednak środowisko może być nieznane lub zmienne, co stawia dodatkowe wyzwania przed algorytmami RL. Jednak nawet w takich przypadkach, iteracyjne metody oceny polityki i poprawy polityki pozostają jednym z najważniejszych narzędzi w procesie poszukiwania optymalnych strategii działania.

Jak Metody Uczenia ze Wzmocnieniem Wpływają na Optymalizację Polityki Handlowej na Rynkach Finansowych?

Metody uczenia ze wzmocnieniem (RL) stały się istotnym narzędziem w kontekście automatycznego podejmowania decyzji na rynkach finansowych, zwłaszcza w problemach takich jak realizacja transakcji, market making czy optymalizacja strategii handlowych. W tym kontekście, wykorzystanie algorytmów RL, takich jak SARSA (State-Action-Reward-State-Action) i Q-learning, staje się coraz bardziej popularne, ponieważ pozwala na adaptacyjne podejmowanie decyzji w zmieniającym się środowisku rynkowym.

Zagadnienie to rozważymy na przykładzie problemu realizacji transakcji, w którym celem jest optymalizacja polityki handlowej, by uzyskać jak najlepszy wynik finansowy, przy jednoczesnym uwzględnieniu ograniczeń związanych z poziomem zapasów i zmiennością ceny akcji. W szczególności, przy założeniu, że inwestor stara się zarobić na różnicy między ceną kupna a ceną sprzedaży akcji, a jednocześnie utrzymać swoje zapasy w przedziale -1 do 1, wprowadzenie algorytmów RL stwarza nowe możliwości w zakresie przewidywania, kiedy i w jaki sposób składać zlecenia kupna, sprzedaży lub poczekać.

Ważnym aspektem jest tu modelowanie prawdopodobieństwa wykonania zlecenia. W tradycyjnych podejściu wykorzystuje się dane o głębokości książki zleceń, które odzwierciedlają płynność rynku, oraz stosunek popytu do podaży na rynku (ang. liquidity imbalance). W oparciu o te dane agent RL podejmuje decyzje o tym, kiedy złożyć ofertę kupna (b), sprzedaży (s) lub poczekać (h). Model RL zakłada, że agent nie zna dokładnych informacji o stanie rynku, ale posługując się danymi z książki zleceń, próbuje przewidzieć prawdopodobieństwo realizacji zlecenia. W tym przypadku, proces decyzyjny staje się dylematem dotyczącym tego, czy składać zlecenie sprzedaży, czy też poczekać na lepsze warunki rynkowe, by zwiększyć swoją marżę.

Pomimo obiecujących wyników w kontekście ograniczonych, dyskretnych przestrzeni stanów i działań, metody RL napotykają na istotne ograniczenia w bardziej złożonych, rzeczywistych zastosowaniach. W takich przypadkach, gdy przestrzeń stanów i działań jest zbyt rozległa, jak w sytuacjach rynków finansowych, w których możemy mieć do czynienia z wieloma różnymi czynnikami wpływającymi na cenę akcji, konieczne staje się stosowanie technik przybliżania funkcji. Jednym z rozwiązań jest użycie przybliżenia liniowego, które pozwala reprezentować funkcje wartości w przestrzeni stanów za pomocą mniejszej liczby parametrów.

W tym przypadku, każdemu stanowi przypisuje się wagę, a wartość funkcji stanu wyraża się jako sumę iloczynów wag i odpowiednich funkcji bazowych. Takie podejście zmniejsza wymagania pamięciowe oraz czas obliczeń, umożliwiając jednocześnie radzenie sobie z problemami, w których mamy do czynienia z ciągłymi przestrzeniami stanów lub działań.

Jednak sama reprezentacja stanów i funkcji wartości to tylko jeden z aspektów rozwiązania. Istotnym wyzwaniem pozostaje także określenie odpowiednich funkcji nagrody, które motywują agenta do podejmowania właściwych decyzji w danym kontekście rynkowym. W przypadku market makingu, funkcja nagrody może być związana z sumą zysków i strat, gdzie każda transakcja wiąże się z określonym kosztem, a celem jest uzyskanie jak największego zysku na różnicy między cenami.

Również w kontekście algorytmów RL, szczególnie w Q-learningu, istotne jest zrozumienie, że chociaż oba podejścia (SARSA i Q-learning) prowadzą do zbliżonych wyników w kontekście zarządzania pozycjami i realizacji transakcji, to różnice w metodach eksploracji mogą wpływać na szybkość konwergencji oraz efektywność działania w bardziej złożonych rynkach. Stąd, oprócz samego algorytmu, warto również zwrócić uwagę na strategie eksploracji oraz optymalizację parametrów w procesie uczenia.