Miért érdemes célalapú vagy kvadratikus jutalmazási modelleket alkalmazni nyugdíj-megtakarítási stratégiákban?

A klasszikus portfólióoptimalizálási modellek, mint például a Markowitz-féle várható hozam–variancia keretrendszer, a befektetési döntéseket a portfólió eszközeinek hozam- és kockázati struktúrája alapján határozzák meg. Bár ez a megközelítés elterjedt és jól megalapozott a szakirodalomban, gyakorlati szempontból nem mindig tükrözi a kisbefektetők valódi céljait, akik gyakran konkrét pénzügyi célokat követnek, például egy adott összegű nyugdíjalap felhalmozását meghatározott időpontra.

A célalapú vagyonkezelés alternatívát kínál azzal, hogy a portfóliókezelést egy előre meghatározott jövőbeli célérték – például egy nyugdíjcél – elérésének valószínűségére optimalizálja. Ebben a megközelítésben az optimalizációs célfüggvény a terminális vagyon VT és a célnak tekintett jövőbeli érték PT különbségének valószínűsége, vagy ennek várható értéke. Ez a modell megfelel egy bináris opció árazásának logikájának: maximalizálni kell annak esélyét, hogy VT ≥ PT. Alternatívaként a cél túlteljesítésének mértékét lehet maximalizálni: Et[(VT − PT)+], ami egy „call opció-jellegű” várható érték.

Ezen a kereten belül különösen előnyös a kvadratikus veszteségfüggvény alkalmazása. A kvadratikus formák jól kezelhetők analitikusan vagy félig-analitikusan, lehetővé téve explicit vagy rekurzív megoldásokat dinamikus optimalizálási problémák esetén. A kvadratikus büntetőtagok, amelyek mind a pozitív, mind a negatív eltéréseket hasonló módon sújtják, elméletileg hátrányt jelenthetnek, hiszen gyakorlati szempontból elsősorban az az eset fontos, amikor a jövőbeli vagyon nem éri el a célértéket. Ennek kiküszöbölésére a célérték P̂t+1 magasabbra választható a várható értéknél, így a negatív eltérésekre esik nagyobb súly.

A kvadratikus egy-lépéses jutalmazási függvény (Rt(xt, ut)) – amely a befektetési döntés (ut), a várható portfólióérték (P̂t+1) és a jelenlegi állapot (xt) függvényeként van megadva – előnyösen átalakítja a kezdetben korlátos optimalizációs problémát korlát nélkülivé. Ezáltal csökkenti a probléma dimenzionalitását, miközben megőrzi annak strukturális kezelhetőségét. Míg a Merton-féle modell a portfólió elosztási változóit a teljes vagyon arányában definiálja, itt abszolút dollárban kifejezett döntési változókkal dolgozunk, ami flexibilisebb modellezést tesz lehetővé.

A diszkrét időbeli cash injection (ct) és az allokációs döntések közötti kapcsolat explicit figyelembevételével az optimalizáció konkrétan megoldható, és a szükséges hozzájárulás a döntési változók függvényében visszanyerhető. A dinamikus értékfüggvényeket kvadratikus alakban definiálva (Fπt(xt)), azok paraméterei időben visszafelé haladva, a végső periódustól kiindulva számíthatók, hasonlóan a lineáris kvadratikus regulátor (LQR) keretrendszeréhez.

Egy fontos eleme ennek az elméleti szerkezetnek, hogy a végső időpillanatban – például nyugdíjkorhatár elérésénél – az optimális döntés ut−1 explicit zárt alakban számítható: ez lineáris függvénye az akkori állapotnak, és olyan módon épül fel, hogy figyelembe veszi a portfólió várható jövőbeli értékét, a célértéket, valamint a tranzakciós költségek miatti regulárizációt. Ez a struktúra különösen előnyös, mivel lehetővé teszi, hogy a döntéshozatal során a befektető – vagy az automatizált rendszer – figyelembe vegye a célhoz vezető út teljes dinamikáját.

Hogyan befolyásolja a QED modell a pénzügyi modellezést és az eszközárak dinamikáját?

A potenciálban elhelyezkedő állapotok stabilitása kulcsfontosságú a különböző pénzügyi modellek megértésében. A GBM (Geometric Brownian Motion) modell, amelyet széles körben alkalmaznak az eszközárak viselkedésének modellezésére, olyan dinamikát mutat, amely globálisan stabil, azonban nem veszi figyelembe a vállalati csődöket vagy más hasonló eseményeket. Ezzel szemben a QED (Quantum Electrodynamics) modell egy nem-lineáris dinamika révén olyan új lehetőségeket nyit meg, amelyek lehetővé teszik a vállalati csődök és más piaci zűrzavarok modellezését.

A QED modell előnye abban rejlik, hogy figyelembe veszi a potenciál nemcsak a lineáris, hanem a nem-lineáris komponenseit is. A modellben a potenciálban lévő szimmetria megtörése, amit spontán szimmetriatörésnek hívunk, különböző dinamikákat eredményezhet, amelyek nemcsak a vállalatok vagy eszközök árának ingadozását írják le, hanem a piacon váratlan események, mint a csődök is bekerülhetnek a modellezésbe. A potenciálban elhelyezkedő két szimmetrikus minimumot és az azok közötti barrier-hoppingot az instantonok típusú átmenetek leírására használjuk. Az instantonok gyakorlatilag azokat az eseményeket jelentik, amelyek egy metastabil állapotból hirtelen egy instabil állapotba vezetnek, például egy vállalat csődjéhez.

Az ilyen típusú dinamikák nemcsak az eszközárak előrejelzésében játszanak szerepet, hanem a hosszú távú portfóliókezelésben is. A QED modellben szereplő nem-lineáris kölcsönhatások, mint a tőkebeáramlások és azok hatása az eszközök árára, jelentős hatással vannak a hosszú távú viselkedésre, amit a legtöbb hagyományos pénzügyi modell nem képes modellezni. A tőkebeáramlás hatásának figyelembevételével a modellben a potenciál egy négyzetes függvényt vesz fel, vagyis egy köbös eltérés keletkezik az árfolyamokban.

A QED modell abban is különbözik a hagyományos pénzügyi modellektől, hogy nem-perturbatív jelenségeket is figyelembe vesz. A nem-perturbatív jelenségek olyan események, amelyek nem magyarázhatók meg a perturbációs elmélet kis paraméterek szerinti kiterjesztésével. Ezért a QED modell a nem-perturbatív módszerek alkalmazásával képes leírni azokat az eseményeket, mint a vállalati csődök vagy a piaci válságok, amelyek a gazdasági modellekben nem kaphatnak helyet a hagyományos eszközökkel.

A pénzügyi modellezés során kulcsfontosságú felismerni, hogy a ritka események, mint a csődök vagy piaci összeomlások, gyakran alulreprezentáltak a hagyományos adatbázisokban, ami torzíthatja a modellek eredményeit. A gépi tanulásnál is ugyanez a helyzet: amikor a gépi tanulási modelleket az elérhető adatokra tanítjuk, a ritka események, például a csődök, gyakran teljesen hiányoznak, ami torzítja az eredményeket. A hagyományos megközelítések gyakran a hiányzó adatok pótlására valamilyen általános regularizálást alkalmaznak, de a QED modell rávilágít arra, hogy a ritka események tényleges modellezése érdekében nem-lineáris dinamikákra és megfelelő paraméterekre van szükség.

A QED modell tehát új perspektívát nyújt a pénzügyi piacok dinamikájának megértésében, és azt sugallja, hogy a fizikai jelenségek, mint az instanton átmenetek, nagyban hozzájárulhatnak a pénzügyi modellek fejlesztéséhez. Azok a modellek, amelyek képesek kezelni a tőkebeáramlások és piaci frikciók hatását, képesek pontosabb előrejelzéseket adni a hosszú távú eszközár mozgásokra, és ezáltal segíthetik a portfóliók jobb kezelése érdekében történő döntéseket.

Mi az a Bayes-i modellválasztás, és hogyan segít a legjobb modell kiválasztásában?

A Bayes-i modellválasztás kerete lehetővé teszi több versengő modell összehasonlítását egy adott adatállomány alapján, miközben a modellek nem feltétlenül kell, hogy egymásba ágyazottak legyenek. Egy modell ebben az értelemben nem csupán egy egyszerű függvény, hanem egy valószínűségi eloszlások családja, amely képes magyarázatot adni az adott megfigyelésekre. Például, egy érme feldobásának kimenetele esetén, ahol a fej valószínűsége ismeretlen, a modell az összes olyan binomiális eloszlás halmaza, amely különböző paraméterek mellett magyarázhatja a fejekenek számát.

A Bayes-i módszer kulcsa az, hogy nemcsak az adott modell paramétereit becsüljük meg, hanem a különböző modellek valószínűségét is együttesen kezeljük. Ez a megközelítés az adatok fényében folyamatosan frissíti a modellekkel kapcsolatos hiedelmeket, így a modellparaméterek és maguk a modellek is valószínűségi értékeket kapnak. A modell posterior valószínűsége a priori hiedelmekből és az úgynevezett marginalizált valószínűségi függvényből (marginal likelihood vagy modellbizonyíték) származik, amely a modell összes paraméterét integrálva figyelembe veszi.

A marginalizált valószínűség fontos, mert a modell azon képességét méri, hogy az adott paraméter-prior alapján mekkora valószínűséggel generálta volna a megfigyelt adatokat. Ez a modell „bizonyítéka” vagy „evidenciája”, amely kulcsszerepet játszik a modellválasztásban. A különböző modellek összevetésére a Bayes-faktor szolgál, amely a két modell evidenciáinak aránya, gyakran logaritmikus formában használva, hogy kezelhetőbbé tegye a nagy értékeket. A Bayes-faktor alapján megítélhető, hogy az adatok melyik modellt támogatják inkább.

Az egyik ismert példában két modell verseng: az egyik állítja, hogy az érme fejének esélye fixen 0,5, a másik pedig azt feltételezi, hogy ez az esély ismeretlen, de egyenletesen oszlik el az egész [0,1] intervallumon. Egy kísérleti eredmény – például 200 feldobásból 115 fej – alapján a Bayes-faktor elemzésével megállapítható, hogy nincs egyértelmű bizonyíték az egyik modell javára, annak ellenére, hogy egy klasszikus gyakorisági hipotézisvizsgálat szignifikánsnak találhatná a különbséget.

A Bayes-i megközelítés előnye, hogy a modell komplexitását az adat alapján automatikusan szabályozza, a túl egyszerű modellek valószínűsége alacsony, mert nem magyarázzák jól az adatot, míg a túl bonyolult modellek túl sokféle adatkészletet generálhatnak, így az adott adat előfordulási valószínűsége véletlenszerűen alacsony. Ez az automatikus komplexitásszabályozás, az ún. Occam borotvája, megvédi a modellt a túltanulástól anélkül, hogy külön büntetőtagokat vagy információs kritériumokat kellene alkalmazni.

Fontos megérteni, hogy a Bayes-i modellválasztás nem csupán a paraméterbecslés módszere, hanem egy átfogóbb keret, amely a modellek egészének versengését kezeli. A marginalizált valószínűségek számítása gyakran bonyolult lehet, ezért különféle numerikus vagy közelítő módszerekre van szükség. A priorok, valamint a hiperpriorok választása jelentős hatással van a végeredményre, ezért a priorok megértése és megfelelő beállítása nélkülözhetetlen.

Ezenkívül a hierarchikus Bayes-i modellezés segítségével a priorok paraméterei, a hiperparaméterek is becsülhetők, ami még rugalmasabbá és adaptívabbá teszi a modellezést. Ez különösen fontos olyan alkalmazásokban, ahol a modell struktúrája több szinten szerveződik, vagy ahol a paraméterek bizonytalansága is figyelembe veendő.

Hogyan történik a Bayesi regresszió és a Gauss-folyamatok predikciója?

A Bayesi lineáris regresszió során az előrejelzéshez szükséges legfontosabb lépés a paraméterek posterior eloszlásának meghatározása. A modell eredményét egy új adatpontnál, $f^* := f(x^*)$, a paraméterek minden lehetséges súlyával végzett átlagolás segítségével jósoljuk meg. Ennek eredményeként egy feltételes valószínűségi eloszlást kapunk, amelyben a paraméterek $\theta$ posterior eloszlásával súlyozott várható értéke és kovarianciája szerepel. A klasszikus lineáris regresszióban alkalmazott módszerrel ellentétben itt a modellezés és a predikció nem csupán egy paraméterezett térre vonatkozik, hanem valószínűségi disztribúcióra, amelyet a Bayesi elmélet használ a bizonytalanságok kezelésére.

A predikció pontos kifejezéséhez a posterior és a likviditás eloszlásainak kell kapcsolatban lenniük. A lineáris regresszióban az előrejelzés várható értéke és kovarianciája a következő módon adható meg:

Ez a kifejezés az új pont előrejelzését biztosítja, figyelembe véve a paraméterek eloszlását és azok szórását.

A Gauss-folyamatok (GP) alkalmazása ennél egy lépéssel tovább megy. A GP-k nem paraméterezett térben, hanem egy végtelen dimenziós funkciótérben hajtják végre a modellezést, amelynek priorja közvetlenül a függvényekre vonatkozik, nem a paraméterekre. A GP-k tehát egy Bayesi nem-paraméteres modellt alkotnak, amely lehetővé teszi, hogy a modell kimenetét előrejelezze a függvények egy eloszlásának alapján. A GP-k alkalmazásával nem kell explicit módon megadnunk a függvény paramétereit, hanem azok eloszlását helyettesíthetjük.

A Gauss-folyamatok elmélete már évtizedek óta alapja a valószínűségi alapú predikcióknak, és alapvetően összefonódik a gépi tanulás kernel-alapú módszereivel. A Gauss-folyamatok az interpolátorokat és a Tikhonov regularizációt is alkalmazzák, egyes kutatók pedig arra is felhívták a figyelmet, hogy a bizonyos neurális hálózatok végtelen rejtett réteg egységgel konvergálnak a Gauss-folyamatokhoz.

Fontos, hogy a Gauss-folyamatok nem paraméteres megközelítése lehetővé teszi, hogy a bemenetek közötti kapcsolatokat bonyolultabb módon modellezzük, mint a hagyományos lineáris regresszió. Azonban ez a módszer nem mentes a kihívásoktól, mivel a nagy számú adatpontok esetén a kovariancia mátrix inverzének kiszámítása számításilag nehézkessé válhat, és itt jönnek képbe a különböző közelítési technikák, mint a sztochasztikus Gauss-folyamatok.

Továbbá fontos kiemelni, hogy a Bayesi predikciók nem csupán egyetlen eredményre koncentrálnak, hanem a lehetséges eredmények eloszlását is figyelembe veszik. Ezért, miközben a klasszikus lineáris regresszió során a modell csupán egyetlen legjobb paramétert választ, addig a Bayesi megközelítés figyelembe veszi a modell összes paraméterének lehetséges eloszlását, ami sokkal rugalmasabb és valósághűbb előrejelzéseket tesz lehetővé.

Hogyan történik a cselekvési érték függvények empirikus becslése és miért fontos a politika-alapú tanulás a megerősítéses tanulásban?

A megerősítéses tanulás egyik központi kérdése a cselekvési érték függvények empirikus becslése, amelyeket külön-külön kell kiszámolni minden lehetséges állapot-akció párosra egy véges MDP-ben. Ezen kombinációk száma |S| · |A| lesz, ahol |S| az állapotok, míg |A| az akciók száma. Mivel a cselekvési érték függvényt minden egyes (s, a) páros esetében empirikusan kell meghatározni, az összegzés során csak azok a trajektóriák kerülhetnek bele, amelyek érintik ezt a kombinációt. Az empirikus becslés a N → ∞ határ esetén aszimptotikusan konvergál a pontos válaszhoz. Fontos megemlíteni, hogy az ilyen becslések függetlenek lesznek a különböző (s, a) pároktól, és ez lehetővé teszi a számítás párhuzamosítását. Azonban a különböző (s, a) párok függetlensége azt is jelenti, hogy ez az algoritmus nem bootstrap módszer, vagyis nem használja a korábbi vagy kapcsolódó értékeléseket a cselekvési érték függvény becslésére, ami azt eredményezheti, hogy a becslések során esetleg hibás ugrások jelennek meg az adataink zajossága miatt.

A cselekvési érték függvény frissítései nem feltétlenül történnek egyszerre minden egyes N trajektória után, ami egy sorozatos batch frissítés helyett online tanulási problémává alakítható. Ebben az esetben az értékek minden egyes trajektória után frissülnek az alábbi szabály alapján:

Q(s, a) ← Q(s, a) + α [Gt(s, a) − Q(s, a)], ahol α a lépés méret paraméter, és az úgynevezett „tanulási sebesség”. Az ilyen iteratív frissítések a valós empirikus és elméleti átlagokra konvergálnak, amikor N → ∞. Azonban ez a frissítés nem valós idejű, mivel a T lépéses trajektória befejezése előtt nem használható fel a teljes visszatérítés Gt a frissítésben. Ez hatékonysági problémákhoz vezethet, különösen akkor, amikor több trajektória generálása és értékelése szükséges a politika optimalizálásához. Más tanulási módszerek is léteznek, amelyek megszabadítanak minket ettől a hátránytól, és hatékonyabban végezhetjük el a tanulást.

A politika-alapú módszerek az „log-likelihood trükk” egyszerű relációját alkalmazzák, amelyet az alábbi módon érhetünk el: ∇θ J(θ) = Eπθ(a) [G(a)] . Ezt a trükköt a legnépszerűbb politika keresési algoritmus, a REINFORCE alapjául szolgál. A REINFORCE algoritmus egy egyszerű politika keresési módszer, amely nem használ érték funkciókat. Az algoritmus paramétereinek frissítése α tanulási sebesség segítségével történik, és minden egyes iteráció során új akciók választásával frissítjük a politikát.

A politika-alapú algoritmusok egyik előnye, hogy rendkívül rugalmas paraméterezéseket tesznek lehetővé, amelyek a kontínuális akcióterekre is alkalmazhatóak. A legnépszerűbb akció politikák közé tartozik a softmax alapú akció politika, ahol az akciók preferenciája egy lineáris függvényben is kifejezhető.

Az ilyen módszerek alkalmazásának előnye, hogy azok szélesebb spektrumú problémákat is képesek kezelni, különösen akkor, ha az akciók nem diszkrétek, hanem folytonosak, vagy ha a problémát komplex preferenciák modellezésével kell megoldani.