Jak předejít chybám při testování a analýze v kvantitativním investování?

V oblasti kvantitativního investování a faktorového investování se běžně setkáváme s metodami, které, i když jsou užitečné pro hodnocení výkonnosti strategií, mohou být náchylné k mnoha statistickým chybám. Jednou z nejvíce podceňovaných, ale zásadních problémů, je otázka více testování a jeho vliv na přesnost závěrů. Ve světle těchto výzev je nutné si být vědom několika klíčových konceptů, které mohou výrazně ovlivnit spolehlivost investičních strategií a jejich hodnocení.

Backtestování se běžně používá k simulaci výkonnosti investiční strategie v minulosti, ale tento přístup může vést k přehnanému přizpůsobení modelu historickým datům (tzv. overfitting), což následně zkresluje závěry o skutečné efektivitě strategie. K tomu přispívá skutečnost, že při více testování je velmi snadné se dostat do pasti selekčního zkreslení, kdy se odhalují náhodné vzory, které se považují za signály. Jak ukazuje teorie False Strategy, ve skutečnosti se s rostoucím počtem testovaných variant zvyšuje riziko, že se odhalí statistické fluktuace, které jsou interpretovány jako skutečný signál.

Tato situace nastává, protože výsledky z backtestu, přestože mohou vypadat přesvědčivě, nejsou důkazem příčinných vztahů. Dva nezávislí výzkumníci mohou nezáměrně interpretovat stejný náhodný vzorec jako signál, zvláště pokud používají podobné metody modelování. Navíc opakování výsledků na jiných sadách dat (například na různých sektorech nebo v jiných obdobích) neznamená, že vztah je skutečně příčinný. Tyto výsledky mohou být opět pouze příkladem náhodného jevu nebo vzoru, který není založen na skutečné příčinné souvislosti.

Další důležitý problém, který se často vyskytuje, je typ spurious vztahů, který nazýváme typem-B. Tento typ chyby vzniká tehdy, když výzkumník zamění asociaci za příčinnost. Hlavní příčinou tohoto typu chyby jsou systémové zkreslení, která vznikají z chyb ve specifikaci modelu, kdy model nezohledňuje všechny relevantní proměnné. Pokud například ignorujeme důležitý faktor, který ovlivňuje jak závislou, tak nezávislou proměnnou, může to vést k falešným závěrům o příčinných vztazích. V takovém případě je možné získat mylný pozitivní nebo negativní výsledek, přičemž tento problém nelze opravit běžnými statistickými úpravami pro více testování. Oprava tohoto typu chyby si vyžaduje zásah na úrovni teoretické analýzy a pochopení skutečného příčinného mechanismu.

Typ-B spurious je nejčastěji důsledkem vynechání proměnné, která je buď mediátorem, nebo konfunderem v analytickém modelu. Mediátor je proměnná, která leží mezi příčinou a následkem, zatímco konfunder je proměnná, která ovlivňuje obě zmíněné proměnné, což vede k zkresleným závěrům. Pokud tedy výzkumník ignoruje některý z těchto faktorů, může dojít k přehnanému přisuzování příčinné role, která ve skutečnosti není přítomná.

Kromě těchto technických problémů, je důležité mít na paměti, že samotná analýza historických dat a testování hypotéz, i když jsou klíčové pro vývoj investičních strategií, nejsou zárukou jejich budoucí úspěšnosti. Vzhledem k dynamické povaze trhů a neustále se měnícím ekonomickým podmínkám je třeba s těmito výsledky zacházet opatrně, nezapomínat na možnost změny korelací a příčinných vztahů v čase, a neuchovávat slepou víru v deterministické historické vzory.

Jak je možné, že modely faktorů v investování mohou být zkreslené?

Modely faktorového investování, jako například FF93, FF15 a C97, se opírají o několik klíčových faktorů, jež se používají k vysvětlení výnosů na akciových trzích. Přesto však existují zásadní výhrady k těmto modelům, které mohou ovlivnit jejich přesnost a spolehlivost. Mnohé z těchto výhrad souvisejí s metodologií, která byla použita při výběru a specifikaci těchto modelů, a s nedostatkem důkladného zohlednění možných zkreslení a konfuzních faktorů.

Prvním hlavním problémem je tzv. p-hacking, což označuje praxi úpravy modelů a výběru proměnných na základě testů, které vykazují statisticky významné výsledky, bez ohledu na to, zda jsou tyto vztahy skutečné. V případě FF93 a FF15, autoři neposkytují přehled o všech pokusech a testech, které byly provedeny před finálním výběrem modelu, což může znamenat, že byl zvolen model, který pouze náhodně vykazoval významné výsledky. Tato praktika nejenže zvyšuje riziko vzniku falešných pozitivních závěrů, ale také činí model méně spolehlivým pro budoucí predikce.

Dále, mnoho modelů se zaměřuje na zlepšení vysvětlující schopnosti modelu spíše než na formální specifikaci příčinné struktury. To znamená, že faktory, jako je velikost společnosti, hodnotové ukazatele (book-to-market ratio) a další, jsou použity bez hlubšího porozumění tomu, jak tyto faktory skutečně ovlivňují výnosy akcií. Modely, které jsou založeny pouze na asociacích mezi proměnnými, mohou vyvolávat zkreslené závěry, protože neberou v úvahu skutečné příčinné vztahy. Důsledky tohoto přístupu jsou obzvláště nebezpečné pro investory, kteří se spoléhají na tyto modely při vytváření svých investičních portfolií.

Dalším závažným problémem je ignorování makroekonomických faktorů, které mohou mít silný vliv na výkonnost akciového trhu, jako je inflace, hrubý domácí produkt (HDP), fáze hospodářského cyklu nebo sklon výnosové křivky. Některé z těchto faktorů byly v minulosti považovány za relevantní pro specifikaci modelů, ale autoři FF93 a FF15 se jim vyhýbají. To může vést k nesprávné interpretaci výnosů a výsledků, protože ne všechny faktory, které mohou ovlivnit trh, byly zohledněny.

K tomu je třeba přidat interakci mezi faktory, které jsou do modelu zahrnuty. Například, interakce mezi faktory momentum a value (hodnoty) je dobře zdokumentována (Barroso a Santa-Clara, 2015), ale v mnoha případech není správně zohledněna. Tento typ interakce může být způsoben skrytým vztahem mezi těmito faktory, což může vést k chybným závěrům, pokud je tento vztah ignorován. Pokud se tento problém nezohlední, může to vést k nesprávným investičním rozhodnutím.

Modely FF93, FF15 a C97 také čelí kritice, že nezohledňují zpětné korelace a mediátory, což může mít za následek záměnu příčin a důsledků. Bez konkrétního vysvětlení příčinných mechanismů, které by mohly objasnit, proč některé faktory mají určité efekty, je modelování spíše technikou asociací než skutečného pochopení tržních dynamik. Tento nedostatek mechanistického vysvětlení znamená, že modely nemohou být podrobeny falsifikaci, což omezuje jejich vědeckou hodnotu a použitelnost v praxi.

Další technickou výhradou je použití proměnných, které mohou fungovat jako kolidery, tedy proměnné, které mohou zkreslit vztahy mezi jinými proměnnými, pokud se na ně příliš zaměřujeme. Například za předpokladu, že velikost společnosti a výnosy akcií jsou nezávislé, ale obě proměnné ovlivňují poměr book-to-market, zavedení této proměnné do modelu může vést k negativní asociaci mezi velikostí a výnosy, což je nepravdivý výsledek. Tento typ zkreslení může mít za následek falešné závěry o významu těchto faktorů v investičním rozhodování.

Ve světle těchto problémů je třeba si uvědomit, že empirické výsledky, které jsou v těchto modelech prezentovány, mohou být spurious, tj. mohou být důsledkem náhodného šumu nebo jiných faktorů, které nejsou v modelu správně zohledněny. To, že modely FF93, FF15 a C97 mohou v některých případech vykazovat vyšší vysvětlující schopnost než jiné modely, ještě neznamená, že jsou správně specifikovány nebo že jejich odhady nejsou zkreslené. Zlepšení vysvětlující síly modelu nemusí znamenat, že model poskytuje správný obraz příčinných vztahů mezi faktory a tržními výnosy.

Investoři, kteří se spoléhají na faktory, jako jsou hodnotové a momentum faktory, by měli být opatrní při jejich použití, protože špatná specifikace modelu může vést k nesprávné alokaci kapitálu a rizika. Důležité je nezaměňovat asociace s příčinnými vztahy a rozlišovat mezi modelem, který je zaměřen na predikci, a modelem, který usiluje o pochopení skutečných příčin výnosů na trzích. Skutečné vědecké teorie musí být schopny být testovány a falzifikovány, a to jak v oblasti finanční ekonomie, tak v praktických aplikacích.

Jak mohou kauzální investiční strategie změnit přístup k finančnímu investování?

Investiční strategie založené na kauzálních teoriích mají řadu výhod, které je činí stabilnějšími a spolehlivějšími než tradiční asociativní investiční metody. Tyto výhody jsou patrné jak v oblasti reprodukovatelnosti, tak i v adaptabilitě, extrapolaci, sledování a vylepšování strategií. Kauzální přístup nejenom že poskytuje lepší záruky ohledně kontinuity jevů, ale také umožňuje reagovat na změny v dynamice trhu s větší efektivitou.

Prvním a zásadním benefitem kauzálních investičních strategií je jejich reprodukovatelnost. Kauzální vysvětlení je schopné eliminovat možnost náhodných variací (typ A, spurious correlation) tím, že omezuje prostor pro hledání pouze na plausibilní teorie. To zároveň snižuje šance na nepravou asociaci (typ B, spurious association), protože poskytuje určitou jistotu, že fenomén bude pokračovat, pokud mechanismus zůstane nezměněn. Vzhledem k tomu, že kauzální mechanismy nejsou ovlivněny náhodnými faktory v historických datech, zajišťují stabilitu i při neúplnosti datových sad.

Dalším klíčovým atributem je adaptabilita. Strategie založené na asociativních vztazích se spoléhají na stabilitu parametrů společného rozdělení proměnných. Tento parametr se však může měnit, což může vést k nestabilitě strategie. Kauzální strategie jsou oproti tomu odolné vůči změnám, které nezasahují do parametrů v kauzálním řetězci, čímž poskytují větší jistotu ohledně jejich dlouhodobé spolehlivosti. Tento faktor činí kauzální investování stabilnější a lépe odolné vůči neočekávaným šokům na trhu.

Kauzální strategie jsou rovněž výhodné v extrapolaci. Tradiční asociativní modely mají omezenou schopnost přežít a profitovat z černých labutí — tedy událostí, které jsou extrémně nepravděpodobné, ale mají zásadní dopad. Kauzální modely však dokáží monitorovat podmínky, které mohou tyto události spustit, a tím jsou schopné zajistit zisk i v krizových obdobích, jako tomu bylo například během bleskové krize v roce 2010, kdy určité strategie založené na teorii PIN vykazovaly výjimečné výsledky.

Další důležitou vlastností je sledování. Kauzální mechanismus umožňuje efektivnější a přímější ověřování platnosti teorie. Investoři mohou lépe reagovat na změny v síle kauzálního mechanismu a přizpůsobit své investiční rozhodnutí ještě před tím, než se projeví negativní dopady v datech. To znamená, že investor může například vyřadit určité faktory ještě dříve, než statistické testy odhalí strukturální změnu v analýze výkonnosti, což dává investorům zásadní výhodu v dynamickém a komplexním systému, jakým je trh.

Nezanedbatelnou výhodou je také zlepšitelnost. Kauzální teorie jsou flexibilní a mohou být vylepšovány v průběhu času, jak se více zjistí o mechanismech, které stojí za pozorovanými jevy. Na rozdíl od investičních strategií, které se na základě asociací zaměřují na historické vzory a pravděpodobnosti, kauzální teorie umožňují přizpůsobení a zdokonalování, což zajišťuje dlouhodobou životaschopnost těchto strategií bez nevyhnutelného poklesu jejich výkonnosti.

V konečném důsledku mohou kauzální investiční metody přetvořit investování na skutečně vědeckou disciplínu. Ekonomové se mohou stát klíčovými aktéry při začleňování kauzálního uvažování do investičních strategií. V kombinaci s pokročilými nástroji, jako jsou metody kauzálního objevu a do-kalkulace, mohou začít analyzovat rizikové charakteristiky, které vysvětlují rozdíly ve výnosech aktiv.

Finanční ekonomové, kteří se zaměří na kauzální výzkum, budou mít zásadní výhodu, pokud naváží spolupráci s nekomerčními investory, jako jsou suverénní fondy nebo nadace. Tito investoři jsou méně zatíženi komerčními zájmy a jejich cíle jsou přímo propojeny s prospěchem jejich vlastníků. Vznikající disciplína „kauzálního faktorového investování“ tak může pomoci manažerům aktiv naplnit své fiduciární povinnosti s transparentností a jistotou, kterou může poskytnout pouze vědecká metoda.

V oblasti investování je však kladeno důraz na schopnost adaptace na změny a rychlý přístup k novým alternativním datům, což umožňuje vést přirozené experimenty a jiné formy kauzálního uvažování, které byly ještě před několika desítkami let nemožné. Kauzální faktorové investování se může stát nejen cestou k vyšší výkonnosti, ale i k širšímu společenskému prospěchu, čímž posune investiční přístupy na novou, vědeckou úroveň.

Jak zkreslení médiátorem vede k falešným pozitivům: Příklad z ekonometrie

Příklad tohoto problému lze dobře demonstrovat na Monte Carlo experimentu, který simuluje řetěz mediátorů. V tomto experimentu se prozkoumává, jak může zkreslený mediator (konfoudující faktor) způsobit falešné pozitivní výsledky, když se zanedbá jeho vliv na vztah mezi příčinou a účinkem.

V první části experimentu se používá správný model, kde odhadujeme vztah mezi $X$ a $Y$ pomocí OLS. Tento model by měl správně ukázat skutečný vztah mezi těmito dvěma proměnnými, pokud neexistují žádné zkreslující faktory. Odhad se provádí pomocí standardní regresní analýzy s přidáním konstanty a proměnné $X$.

Důsledky tohoto zkreslení jsou závažné. V praxi může mít za následek, že si výzkumníci a analytici pletou korelaci s kauzalitou, což vede k nesprávným závěrům a doporučením. Tento problém je zvláště relevantní ve financích, ekonomii a sociálních vědách, kde jsou kauzální vztahy často klíčové pro tvorbu politik a rozhodování.

K tomu dochází proto, že regresní analýza nezohledňuje komplexnost vztahů mezi proměnnými a nebereme v úvahu možné zkreslení způsobené souvisejícími faktory, jako je konfoudující vliv mediátora nebo jiných proměnných. Tento příklad ukazuje, jak je důležité pečlivě přemýšlet o tom, které proměnné zahrnujeme do modelu, a jaké hypotézy testujeme.

Při analýze ekonometrických modelů je důležité nejen správně formulovat model, ale také provádět pečlivé testování a validaci výsledků. Zatímco OLS může být užitečným nástrojem, je klíčové věnovat pozornost možným zkreslením, které mohou nastat v důsledku mediátorů, konfoudujících faktorů a dalších proměnných. Tato opatrnost je zásadní pro správné porozumění vztahům mezi proměnnými a pro minimalizaci rizika falešných pozitivních nebo negativních výsledků v analýzách.