Wielu krytyków argumentuje, że zdarzenia typu „czarne łabędzie” są z definicji nieprzewidywalne, ponieważ dane historyczne, na których opierają się algorytmy uczenia maszynowego, nie zawierają informacji o nieznanych wcześniej wydarzeniach. Jednakże w wielu przypadkach te wydarzenia można przewidzieć. Pozwól, że wyjaśnię tę pozorną sprzeczność na przykładzie z mojej własnej praktyki.

W 2010 roku, jako szef zespołu odpowiedzialnego za algorytmy płynności w dużym funduszu hedgingowym w Stanach Zjednoczonych, doświadczałem sytuacji, która doskonale ilustruje ten problem. 6 maja, w godzinach południowych, nasze algorytmy handlu zaczęły automatycznie wygaszać pozycje, zgodnie z zaprogramowanym działaniem. Nie ingerowaliśmy w nie, więc wkrótce nasza ekspozycja na rynek stała się minimalna. Takie zachowanie systemu nigdy wcześniej się nie zdarzyło. Zespół przeprowadził dochodzenie, aby zrozumieć przyczynę tej automatycznej reakcji, a wkrótce potem, około 14:30, zauważyliśmy dramatyczny spadek indeksu S&P 500 o prawie 10% w zaledwie kilka minut. Po chwili algorytmy zaczęły agresywnie kupować, co pozwoliło nam na osiągnięcie zysków, gdy rynek odbił się o 5% do zamknięcia.

Wkrótce stało się jasne, że to, co nazywano „czarnym łabędziem” – tzw. „flash crash” – było skutkiem dużego zlecenia sprzedaży kontraktów E-mini S&P 500, które zaburzyło równowagę na rynku. Duża ilość zleceń sprzedaży spowodowała nierównowagę w przepływie zamówień, przez co market makerzy nie byli w stanie szybko dostosować swoich pozycji, co doprowadziło do załamania rynku. Nasze systemy zostały zaprojektowane w taki sposób, aby automatycznie redukować ryzyko w sytuacjach ekstremalnych nierówności w przepływie zamówień. To pozwoliło na przewidywanie i zyskowanie na spadkach, które dla innych uczestników rynku były nieprzewidywalnym „czarnym łabędziem”.

To wydarzenie wskazuje na dwie kluczowe lekcje. Po pierwsze, należy rozwijać strategie inwestycyjne oparte na solidnej teorii, a nie tylko na testach historycznych. Testowanie strategii na danych historycznych może jedynie dostarczyć dowodów na to, że strategia jest błędna, ale nie może potwierdzić jej skuteczności w przyszłości. Strategia musi mieć solidną podstawę teoretyczną, która pozwala wyjaśniać konkretne przypadki, nawet te, które można uznać za „czarne łabędzie”. Tak jak teoria względności przewidziała istnienie czarnych dziur, zanim zostały one zaobserwowane, tak nasza teoria mikrostruktury rynku (znana później jako teoria VPIN) pozwoliła przewidzieć i zyskować na „flash crashu”. To odkrycie pokazało, jak teoria może przewidywać niezwykłe zdarzenia, które nie były bezpośrednio zakodowane w algorytmach.

Po drugie, uczenie maszynowe (ML) może być skutecznym narzędziem w odkrywaniu nowych teorii. Zamiast polegać na bezosobowym generowaniu prognoz, które oparte są wyłącznie na wzorcach danych, ML powinno być wykorzystywane do identyfikacji ukrytych zmiennych, które następnie można połączyć w spójną teorię. To właśnie w tym procesie teorie finansowe mogą zostać odkryte. Z pomocą algorytmów ML można znaleźć czynniki, które kształtują określone zjawiska rynkowe, ale to na teorii opiera się rzeczywista przewidywalność.

Jeden z kluczowych błędów w powszechnym rozumieniu uczenia maszynowego polega na postrzeganiu go jako „czarnej skrzynki”, której wyniki nie są w żaden sposób zrozumiałe. W rzeczywistości, jeśli algorytmy ML pomagają w odkrywaniu zmiennych, które mają znaczenie dla określonego zjawiska, to teoria, a nie sam algorytm, pozwala na przewidywanie przyszłości. To jest najważniejsza różnica w podejściu do stosowania ML w finansach – chodzi nie tylko o generowanie prognoz, ale o odkrywanie nowych teorii.

W tym kontekście warto podkreślić, że teorie nie muszą być w pełni wyjaśnione na podstawie dostępnych danych. Badania teoretyczne w ekonomii, podobnie jak w innych naukach, często opierają się na założeniach, które mogą wydawać się niepewne lub niepełne, ale to właśnie te założenia prowadzą do dalszego rozwoju nauki i umożliwiają tworzenie bardziej złożonych modeli.

Istotnym aspektem jest również fakt, że teoria jest testowana nie tylko w kontekście zjawisk pozytywnych, ale także w przypadkach, gdy określone zjawisko się nie wydarza. Właśnie ta zdolność do wyjaśniania nie tylko tego, co się dzieje, ale i tego, czego nie widać, sprawia, że teoria ma dużą wartość praktyczną i przewidywalną.

Podsumowując, kluczem do skutecznego wykorzystania uczenia maszynowego w finansach jest umiejętność oddzielenia procesu odkrywania zmiennych od formułowania teorii, która łączy je w spójną całość. Prawdziwa siła algorytmów ML polega na wspieraniu tego procesu, a nie na prostym przewidywaniu wydarzeń. Przykład „flash crashu” doskonale pokazuje, jak teorie oparte na solidnych podstawach mogą pomóc w przewidywaniu i zyskaniu na nieoczekiwanych wydarzeniach, nawet jeśli teoretycznie powinny być niemożliwe do przewidzenia.

Jak skutecznie obliczać optymalne alokacje w portfelu przy użyciu algorytmu NCO?

Algorytm NCO (Non-convex Optimization) jest podejściem do optymalizacji portfeli, które stara się wyeliminować jedną z głównych słabości klasycznego podejścia Markowitza – niestabilność wynikającą z dużych błędów oszacowań macierzy kowariancji. Celem jest zapewnienie lepszej jakości wyników, zwłaszcza w kontekście inwestycji o dużej liczbie aktywów, które są podatne na błędy estymacji.

Pierwszym krokiem algorytmu NCO jest tworzenie zredukowanej macierzy kowariancji, która jest wynikiem skumulowanego procesu optymalizacji wewnątrzklastrowej. Algorytm ten działa poprzez podział danych na grupy (klastry), z których każda wykazuje mniejsze błędy estymacji. Zredukowana macierz kowariancji, która jest bliska macierzy diagonalnej, umożliwia zastosowanie metody optymalizacji, podobnej do podejścia Markowitza, ale z wyraźnie poprawioną stabilnością. Oznacza to, że problemy związane z wysokimi współczynnikami korelacji (gdy ρ ≫ 0) stają się bardziej „zrównoważone”, prowadząc do uzyskania znacznie lepszych wyników.

Podstawową ideą jest, aby zminimalizować ryzyko w portfelu przy jednoczesnym uwzględnieniu, że niektóre aktywa są silnie skorelowane. W takich przypadkach stosowanie klasycznej metody Markowitza może prowadzić do niestabilnych rozwiązań, które zmieniają się w zależności od drobnych zmian w danych wejściowych. Aby rozwiązać ten problem, wykorzystuje się klastrowanie, które pozwala na zgrupowanie aktywów o podobnych cechach, ograniczając tym samym wpływ niepożądanej korelacji na wyniki optymalizacji.

Po obliczeniu intraklastrowych wag w kolejnym kroku algorytmu obliczane są optymalne alokacje międzyklastrowe. Do ich uzyskania wykorzystuje się zredukowaną macierz kowariancji, co w praktyce pozwala na stabilniejszą i bardziej precyzyjną alokację aktywów. Co ważne, algorytm NCO stosuje metody obliczeniowe, które dają lepsze wyniki w porównaniu do klasycznego podejścia Markowitza, nawet w przypadku portfeli zawierających tylko kilkadziesiąt aktywów.

Doświadczalne wyniki uzyskane za pomocą algorytmu NCO w porównaniu z klasycznym podejściem Markowitza pokazują, że NCO znacząco zmniejsza błąd estymacji, mierzoną jako pierwiastek średniokwadratowy (RMSE). Na przykład w przypadku portfela minimalizującego wariancję algorytm NCO uzyskał wynik o 47% lepszy niż tradycyjna metoda Markowitza, co świadczy o jego większej dokładności i odporności na błędy w danych wejściowych. Ponadto, w przypadku portfeli skonstruowanych pod kątem maksymalnego współczynnika Sharpe'a, NCO zredukowało błąd estymacji o 54%, co również dowodzi przewagi tego podejścia w porównaniu do tradycyjnych metod.

Pomimo że Ledoit-Wolf shrinkage – technika, która pozwala na zmniejszenie wariancji szacunków macierzy kowariancji – poprawia wyniki w przypadku klasycznego podejścia, nie wnosi on znaczącej wartości w połączeniu z algorytmem NCO. NCO samodzielnie daje znacznie lepsze rezultaty, co dowodzi, że przy dużych portfelach jego zalety stają się jeszcze bardziej widoczne.

Zatem, istotnym wnioskiem jest to, że algorytm NCO pozwala na znaczne usprawnienie procesu alokacji aktywów, zwłaszcza w przypadku portfeli charakteryzujących się dużą liczbą aktywów oraz wysokimi korelacjami między nimi. NCO w sposób naturalny rozwiązuje problem niestabilności, z którym boryka się klasyczny algorytm Markowitza, i może stanowić przełom w zarządzaniu ryzykiem w nowoczesnym inwestowaniu.

Z perspektywy praktycznego zastosowania, warto zwrócić uwagę na fakt, że wyniki uzyskane za pomocą algorytmu NCO mogą być wykorzystywane nie tylko w klasycznych portfelach inwestycyjnych, ale także w bardziej złożonych strategiach inwestycyjnych, które uwzględniają różnorodne czynniki ryzyka. Dodatkowo, należy pamiętać, że skuteczność algorytmu zależy w dużej mierze od jakości danych wejściowych oraz liczby dostępnych aktywów, dlatego należy dobrze zaplanować eksperymenty i testy w celu maksymalizacji dokładności wyników.

Jak prawidłowo ocenić maksymalny Sharpe ratio w kontekście tzw. "Fałszywej Strategii"?

W analizach finansowych pojawia się wiele wyzwań związanych z oceną efektywności strategii inwestycyjnych, w tym kwestia rzetelności uzyskanych wyników w kontekście losowych fluktuacji danych. Jednym z kluczowych wskaźników, używanych do oceny strategii, jest współczynnik Sharpe’a, który pozwala ocenić zysk w stosunku do ryzyka. Jednakże, jak pokazuje teoria fałszywej strategii, wysoki Sharpe ratio nie zawsze oznacza, że strategia jest naprawdę efektywna. Na przykład, przy wielu próbach, nawet jeśli prawdziwy Sharpe ratio strategii wynosi zero, wartość maksymalnego Sharpe ratio może osiągnąć poziom znacznie wyższy, co może prowadzić do błędnych wniosków.

Fałszywa strategia (False Strategy Theorem) podkreśla, że w przypadku przeprowadzenia wielu prób, istnieje duża szansa na uzyskanie wysokiego Sharpe ratio wyłącznie przez przypadek. Jeśli otrzymujemy wynik większy niż przewidywana wartość E[max{SR}], powinniśmy być ostrożni w interpretacji wyników, ponieważ może to świadczyć o wystąpieniu tzw. fałszywego pozytywu. Zatem istotne staje się zrozumienie, jak obliczyć tę wartość, by móc odpowiednio ocenić prawdziwość wyników.

Wartość E[max{SR}] można uzyskać poprzez symulację Monte Carlo. Symulacje te pozwalają na określenie rozkładu maksymalnych Sharpe ratio dla różnych liczby prób, przy założeniu, że prawdziwy Sharpe ratio wynosi zero. W wyniku tych symulacji uzyskujemy pewne rozkłady, które wskazują, jak często uzyskanie maksymalnego Sharpe ratio o danej wartości jest możliwe tylko przez przypadek. Na przykład, dla 1000 prób, przewidywana wartość E[max{SR}] wynosi 3.26, nawet jeśli prawdziwy Sharpe ratio wynosi zero.

Ważnym elementem tej analizy jest uwzględnienie błędów związanych z szacowaniem maksymalnego Sharpe ratio. Teoria fałszywej strategii pozwala na obliczenie błędów oszacowań w kontekście różnych liczby prób. Badania pokazują, że przy większej liczbie prób, błąd oszacowania staje się mniejszy, co sugeruje, że fałszywe wyniki stają się mniej prawdopodobne, gdy badania obejmują większą próbkę.

Rozważając teorię fałszywej strategii, należy także wziąć pod uwagę, że prawdziwy Sharpe ratio może być wynikiem nie tylko przypadkowych fluktuacji rynkowych, ale również wpływu licznych czynników zewnętrznych. Dlatego badania oparte na prostych testach statystycznych mogą nie wystarczyć, by rzetelnie ocenić efektywność strategii. Warto zatem wykorzystać dodatkowe narzędzia, takie jak algorytmy klastrowania, które mogą pomóc w wyodrębnieniu niezależnych grup strategii, co daje lepszy obraz ich rzeczywistej skuteczności.

Symulacje Monte Carlo, które służą do obliczania wartości E[max{SR}], mogą również pomóc w określeniu liczby niezależnych prób, które są wymagane, aby wyniki były naprawdę wiarygodne. Z tego punktu widzenia, koncepcja liczby efektywnych prób (Effective Number of Trials) staje się kluczowa w ocenie dokładności wyników.

Prawidłowe obliczenie tej liczby jest niezbędne, gdyż w wielu badaniach finansowych strategia jest testowana wielokrotnie w różnych konfiguracjach. Większość prób przeprowadzanych w ramach jednego badania nie jest niezależna, a strategia testowana w różnych wersjach może wykazywać wysoką korelację z innymi próbami. W takim przypadku, odpowiednia analiza korelacji pozwala na redukcję liczby niezależnych prób, co może zmienić ogólny obraz wyników.

Ostatecznie, po obliczeniu liczby efektywnych prób i szacowaniu wartości E[max{SR}], możemy przejść do wyliczenia deflated Sharpe ratio, które służy do bardziej precyzyjnej oceny skuteczności strategii. DSR uwzględnia korektę dla skosów, kurtoz, długości prób oraz wielokrotności testów, a jego obliczenie pozwala na precyzyjniejsze określenie, czy dana strategia rzeczywiście przynosi zysk w stosunku do ryzyka, czy też jest wynikiem przypadkowych fluktuacji.

Dodatkowo, w kontekście finansowych analiz, istotne jest zrozumienie, że klasyczne podejścia oparte wyłącznie na statystyce mogą być niewystarczające, zwłaszcza gdy w grę wchodzą duże zbiory danych i złożone strategie inwestycyjne. W takim przypadku warto wdrożyć zaawansowane metody, takie jak analiza klastrowa, czy wykorzystanie narzędzi sztucznej inteligencji, które mogą dostarczyć bardziej trafnych i wiarygodnych wyników.

Dlaczego ML w finansach to nie tylko prognozowanie cen?

Wielu ludzi utożsamia uczenie maszynowe (ML) w finansach głównie z prognozowaniem cen aktywów. To jedno z najczęstszych nieporozumień, które spotykam, analizując publikacje w prasie. Choć przewidywanie cen jest bez wątpienia jednym z kluczowych elementów w finansach, nie stanowi ono jednak najważniejszego, ani jedynego celu dla inwestora czy analityka. Uzyskanie przewagi w prognozowaniu cen to tylko jedna z niezbędnych, ale zupełnie niewystarczających składowych sukcesu na dzisiejszym rynku, który jest coraz bardziej konkurencyjny. Inne, równie istotne aspekty to m.in. przetwarzanie danych, konstrukcja portfela, zarządzanie ryzykiem, monitorowanie strukturalnych przełamań, rozmiar zakładów i wykrywanie fałszywych strategii inwestycyjnych.

Aby zilustrować ten punkt, warto przyjrzeć się graczom w World Series of Poker. Karty są tasowane i rozdawane losowo, a gracze nie są w stanie przewidzieć, jakie dokładnie karty dostaną. Jednak mimo to ci sami gracze regularnie zajmują najwyższe miejsca w kolejnych edycjach. Powód tkwi w tym, że wielkość zakładów jest ważniejsza niż przewidywanie konkretnych kart. Gdy gracz otrzymuje dobrą rękę, ocenia prawdopodobieństwo, że inny gracz może mieć równie silną rękę, i odpowiednio ustala wysokość zakładu. W podobny sposób inwestorzy mogą nie być w stanie przewidzieć cen, ale są w stanie rozpoznać, gdy cena danego aktywa odbiega od normy, i wtedy reagować odpowiednio. Chociaż nie twierdzę, że rozmiar zakładu jest kluczem do sukcesu w inwestowaniu, wskazuję, że jest on przynajmniej tak samo ważny, jak sama prognoza ceny, a konstrukcja portfela może okazać się nawet istotniejsza.

Zdarza się, że osoby, które przechodzą do finansów z innych dziedzin, popełniają fundamentalne błędy, jak np. błędnie formułują problemy, co zostało szczegółowo omówione w literaturze przedmiotu. Jest to istotna różnica w podejściu, która wynika z odmiennych zasad wykorzystywanych w naukach ścisłych, gdzie algorytmy są wykorzystywane w sposób bardziej ogólny, a nie ukierunkowany na konkretne problemy związane z finansami. W tym kontekście omówienie szerokiego zakresu algorytmów ML nie jest celem tego opracowania. Istnieją liczne podręczniki, które szczegółowo przedstawiają różnorodność algorytmów ML, a dla praktyków finansowych kluczowe jest zrozumienie specyfiki danych, z którymi mają do czynienia, oraz tego, jak można je odpowiednio przetwarzać.

Warto także zauważyć, że wybór algorytmu jest często drugorzędny w porównaniu do odpowiedniego zaprezentowania problemu i inżynierii cech. Oczywiście, zastosowanie algorytmu jest istotne, ale sama koncepcja opisana w sposób właściwy ma większe znaczenie niż sama aplikacja konkretnego algorytmu. Jako przykład, rozważmy dwa algorytmy, które przewidują zmianę ceny. Pierwszy przewiduje zmianę o wartość 1, ale rzeczywista zmiana wynosi 3, podczas gdy drugi przewiduje zmianę −1, a rzeczywista zmiana wynosi 1. Oba algorytmy mają błąd prognozy równy 2, ale konsekwencje dla inwestora są zupełnie różne. W pierwszym przypadku inwestor zarabia jedną trzecią przewidywanego zysku, a w drugim ponosi stratę równą przewidywanemu zyskowi. W finansach inwestorzy traktują błędy w prognozowaniu kierunku zmiany jako o wiele bardziej kosztowne niż błędy w prognozowaniu jej wielkości.

Właśnie dlatego, w przeciwieństwie do innych dziedzin, w finansach prognozowanie znaku wyniku (czyli, czy cena wzrośnie czy spadnie) jest ważniejsze niż prognozowanie jego wielkości. To często prowadzi do preferencji klasyfikatorów zamiast metod regresji. Dodatkowo, w finansach bardzo często znak i rozmiar wyniku zależą od różnych cech, co sprawia, że prognozowanie obu tych elementów za pomocą jednej grupy cech może prowadzić do słabszych wyników.

Nie ma potrzeby omawiać szerokiej gamy algorytmów ML w tym kontekście. W książkach poświęconych algorytmom znajdujemy pełną listę i szczegółowe omówienie. Naszym celem jest raczej ukazanie, jak można wykorzystać ML do odkrywania nowych teorii ekonomicznych i finansowych, na których będziemy budować własne, oryginalne strategie inwestycyjne. Strategie inwestycyjne to nic innego jak konkretna realizacja teorii, które należy wcześniej odkryć samodzielnie. „Baking someone else’s cake” – czyli kopiowanie cudzych strategii, nie jest drogą do sukcesu. Warto, aby każda strategia opierała się na solidnych podstawach teoretycznych, ponieważ brak takich podstaw może prowadzić do fałszywych wniosków i błędnych decyzji inwestycyjnych.

Ostatecznie ML w finansach to narzędzie, które uzupełnia tradycyjne metody statystyczne. Jego moc leży w zdolności do wychwytywania skomplikowanych zależności nieliniowych i interakcji w przestrzeni wysokowymiarowej. Umiejętność „uczenia się” skomplikowanych specyfikacji, które są trudne do uchwycenia za pomocą tradycyjnych metod, stanowi jedno z jego największych atutów. Niemniej, ważnym jest, aby pamiętać, że ML nie jest rozwiązaniem uniwersalnym. Wciąż wymaga odpowiedniego podejścia do danych, analizy ich specyfiki oraz uwzględnienia ekonomicznych i finansowych teorii, które stanowią fundament skutecznych strategii inwestycyjnych.

Jak skonfigurować i wykorzystać protokoły sieci przemysłowych: od AS-i do Foundation Fieldbus?
Czym jest elektrochromizm i jakie ma znaczenie w nowoczesnych materiałach funkcjonalnych?
Jakie technologie wykorzystuje się do wytwarzania biopolimerowych hydrogeli i bioplastików do zastosowań inżynierii tkankowej?