Hur kan multipla tester och överfitting påverka investeringsstrategier?

Inom området för ekonometriska modeller och faktorinvesteringar har många av de traditionella testmetoderna visat sig otillräckliga när det gäller att hantera komplexa problem som uppstår vid multipla tester. Trots att problemen med multipla tester och de därtill hörande statistiska fallen inte diskuteras i de flesta ekonometriska läroböcker, har flera forskare och matematiska samhällen varnat för de risker som uppstår när man inte tar hänsyn till dessa faktorer. Harvey (2017) påpekar att de standardiserade testmetoderna ofta är dåligt utrustade för att besvara de frågor vi ställer, och att andra discipliner har tänkt djupare på hur man korrekt hanterar tester i en sådan kontext. Trots detta finns det de som hävdar att multipla tester inte utgör ett problem i faktorinvesteringar, vilket går emot råd från exempelvis Wasserstein och Lazar (2016) och annan statistisk expertis. Harvey (2022) förklarar att dessa åsikter ofta är motiverade av kommersiella intressen som styr finansakademin.

I praktiken rapporterar eller justerar faktorforskare sällan för antalet tester som utförs under en backtest, vilket gör det svårt att skilja signal från brus. Enligt The False Strategy Theorem är det enkelt att överfitta en backtest genom selektionsbias när multipla tester genomförs, och detta gör det svårt att avgöra om resultatet är en verklig signal eller om det är ett statistiskt "flimrande". Att upprepa dessa resultat med olika uppsättningar av värdepapper, t.ex. från olika sektorer, geografiska områden eller tidsperioder, ger inte heller kausala bevis. Detta beror på att dessa resultat kan förklaras genom samma icke-kausala samband eller helt enkelt bero på statistiska fluktuationer.

Det finns också risk för att underkontrollera för relevanta variabler, vilket leder till felaktiga slutsatser om kausalitet. Om en forskare missar att inkludera en viktig variabel, som till exempel en förväxlare eller mediator, i sin modell, kan detta skapa snedvridna resultat. Ett exempel på detta kan vara om en variabel Z är en mediator mellan X och Y, eller om den fungerar som en förväxlare, vilket innebär att Z påverkar både X och Y på ett sätt som forskaren inte har tagit hänsyn till. Missar man dessa variabler blir de skattade kausala effekterna ofta felaktiga, vilket kan leda till felaktig riskhantering och investeringsstrategier.

En av de största konsekvenserna av att missa en sådan förväxlare är att man felaktigt tillskriver delar av avkastningen till en felaktig riskfaktor. Detta innebär att investeraren utsätts för både kausala och icke-kausala samband som inte avsågs av modellens specifikation, vilket kan leda till stora fel i såväl investeringsbeslut som riskbedömning. Det är också viktigt att förstå att dessa fel inte bara kan påverka den direkta avkastningen, utan också långsiktiga investeringsstrategier och portföljförvaltning.

Vad innebär kausalitet för faktorinvestering?

Faktorinvestering har länge förblivit i ett fenomenologiskt stadium där forskare främst har publicerat associativa påståenden utan att utveckla eller pröva de kausala mekanismerna som ligger bakom de observerade sambanden. Denna begränsning har gjort att majoriteten av studier på området, under de senaste femtio åren, har varit ofullständiga i sina teorier. Det som ofta presenteras som riskpremier eller anomalier inom faktorinvesteringar förblir oförklarade och därmed lägre i vetenskaplig värde. Detta fenomen ger upphov till en kritik där investerare rätteligen kan avfärda dessa påståenden som ytliga och utan substans. En sådan uppfattning kan leda till en dyster slutsats: att faktorinvestering, och i förlängningen finansiell ekonomi, inte kommer att kunna utvecklas till en riktigt vetenskaplig disciplin.

Men denna uppfattning behöver inte vara korrekt. Precis som inom andra forskningsområden, som astronomi, där experimentell data är svår att få tag på, finns det möjligheter att gå vidare. Tack vare framsteg inom kausal inferens finns nu ett sätt att gå bortom de associativa ansatserna och istället utveckla en mer vetenskapligt grundad förståelse av faktorinvestering. Det är detta synsätt som här ska beskrivas: att göra faktorinvestering till en "kausal" disciplin.

För att verkligen förstå kausalitet krävs dock ett mer raffinerat tillvägagångssätt, där man inte bara observerar statistiska samband utan också inför en intervention. En sådan intervention innebär att vi faktiskt manipulerar den ena variabeln och ser hur den påverkar den andra. Här introduceras begreppet "do-operatorn", en metod som används för att formellt definiera kausalitet. Om vi till exempel kan säga att en förändring i variabel X (som en förändring i räntesatser) leder till en förändring i Y (som aktiekurser), så är detta en kausal relation. I statistiska termer innebär det att P(Y=y | do[X=x]) är större än P(Y=y), vilket betyder att manipulation av X förändrar sannolikheten för Y.

För att undvika sådana spuriösa påståenden måste vi börja använda mer rigorösa metoder. En lösning kan vara att genomföra simulerade experiment eller använda "Monte Carlo"-modeller för att bättre förstå hur faktorer påverkar marknaderna på lång sikt. Dessutom är det viktigt att forskare inom området börjar tillämpa kausal inferens för att bygga en mer solid grund för faktorinvestering.

Hur confounders kan påverka statistiska slutsatser: Falska positiva och korrekta estimationer

Statistik och ekonometriska metoder är centrala för att förstå orsakssamband i olika system. Men dessa metoder är också känsliga för ett problem som kan leda till felaktiga slutsatser, nämligen confounders (förväxlingsfaktorer). En confounder är en variabel som påverkar både den oberoende och beroende variabeln, vilket kan skapa ett falskt intryck av ett orsakssamband. Detta problem kan manifestera sig som ett falskt positivt resultat, där en statistisk metod felaktigt indikerar att det finns ett orsakssamband, när det egentligen inte finns något.

I ett exempel från experimentell data är X en orsak, Y ett resultat, och Z är en variabel som fungerar som en mediator mellan dessa två. Om vi inte beaktar Z som en potentiell confounder, kan vi felaktigt dra slutsatsen att det finns ett orsakssamband mellan X och Y, trots att det i själva verket är Z som ligger bakom sambandet. Detta kan skapa ett falskt positivt resultat, där vi tror att en orsak finns när den inte gör det.

För att illustrera detta, kan vi använda en Monte Carlo-simulering som visar hur en confounder kan påverka vårt resultat. I simuleringen definieras en orsaksvariabel (X) och en effektvariabel (Y), med en tredje variabel (Z) som både påverkar X och Y. Denna simulering är designad för att visa hur en felaktig modell som inte beaktar Z kan resultera i ett falskt positivt resultat. När Z inkluderas i modellen, och vi kontrollerar för dess effekt, kan vi se att sambandet mellan X och Y faktiskt försvinner, vilket indikerar att vårt ursprungliga resultat var ett falskt positivt.

Denna typ av statistiskt misstag kan vara problematisk, särskilt inom ekonometriska och statistiska analyser där förväxlingsfaktorer ofta är närvarande, men inte alltid uppenbara. Ett vanligt scenario inom ekonomi och finans är när man försöker förstå effekterna av en viss policyåtgärd eller ett ekonomiskt fenomen, utan att korrekt beakta de underliggande variabler som kan påverka resultaten. I sådana fall riskerar man att dra felaktiga slutsatser om effektivitetsnivåer eller orsakssamband, vilket kan få allvarliga konsekvenser för beslutsfattande och policyutveckling.

Vid användning av statistiska metoder som OLS (Ordinary Least Squares) regression är det viktigt att noggrant överväga vilka variabler som ingår i modellen. En korrekt modell som tar hänsyn till potentiella confounders ger en mycket bättre grund för att förstå de verkliga sambanden mellan variabler. Detta är särskilt viktigt när vi arbetar med ekonomiska data, där relationerna ofta är komplexa och influenser från olika källor kan dölja eller förvränga sanningen.

För att åtgärda problemen med confounders, är det viktigt att inte bara inkludera alla relevanta variabler i sina modeller utan också att testa och validera dessa modeller noggrant. Användning av tekniker som känslighetsanalys och olika modelleringsstrategier kan hjälpa till att identifiera och korrigera för förväxlingsfaktorer. Det är också viktigt att ha en klar förståelse för de antaganden som ligger bakom de statistiska metoderna och att vara medveten om de potentiella riskerna för bias och felaktiga slutsatser.

Det är också värdefullt att notera att de flesta statistiska modeller förutsätter att alla relevanta variabler är kända och inkluderade, vilket inte alltid är fallet i praktiken. Därför är det ofta användbart att använda sig av robusta statistiska tekniker som kan hantera ofullständiga modeller eller när vissa förhållanden inte är fullt ut kända. I dessa situationer kan det vara fördelaktigt att applicera metoder för att identifiera och hantera förväxlingsfaktorer, som t.ex. instrumentvariabelteknik, som kan hjälpa till att få mer tillförlitliga resultat.

Det är också centralt att förstå att även om statistiska metoder kan ge insikter, kan de inte ensam bevisa kausalitet. Kaos, slump och samverkan mellan olika faktorer gör att kausala samband ofta är svåra att fastställa enbart genom statistisk modellering. Här spelar extern validitet och experimentell design en avgörande roll för att säkerställa att de resultat vi får faktiskt speglar verkliga orsakssamband.

Det är också viktigt för läsaren att förstå att statistiska metoder alltid innebär en viss grad av osäkerhet. Även om modeller kan ge starka indikationer på orsakssamband, innebär det inte att slutsatserna är absoluta. Vid felaktiga tolkningar riskerar vi att dra förhastade slutsatser eller fatta beslut baserade på missledande data. Modeller och data är alltid föremål för tolkning, och det är genom att tillämpa flera olika metoder och genom att beakta de teoretiska ramarna för analysen som vi kan uppnå de mest tillförlitliga och användbara resultaten.

Hur kan simulerade interventioner och kausalupptäckt förbättra förståelsen av orsakssamband i observationella studier?

I de senaste årtiondena har forskningen om kausal inferens utvecklat nya verktyg som gör det möjligt att dra slutsatser om orsak och verkan även när experimentella metoder inte är genomförbara. En viktig metod i detta sammanhang är användningen av simulerade interventioner. Här simuleras en "do-operation" i en observerad population, vilket innebär att forskaren försöker härma effekten av en intervention utan att faktiskt genomföra den. För att göra detta effektivt krävs en hypotes om det kausala grafen som ligger till grund för systemet av relationer mellan variabler.

En simulerad intervention förlitar sig på en kausal graf för att förutsäga effekten av en behandling på en observerad enhet. Grafen speglar de förväntade orsakssambanden, där forskaren genom att applicera en intervention kan uppskatta styrkan på de kausala effekterna. Simulerade interventioner kan också användas för att falsifiera en hypotes om ett kausalt samband. Om den förväntade effekten enligt den kausala grafen inte kan observeras i data, kan detta indikera att grafen behöver omprövas. Detta är en metod för att eliminera felaktiga kausala antaganden genom att visa att en viss förväntad effekt inte existerar i data.

En annan viktig metod inom kausal inferens är att använda skillnaden-i-differenser (DID), som används för att bedöma effekten av en behandling genom att jämföra skillnaden i utfall före och efter en behandling för både en behandlad grupp och en kontrollgrupp. DID bygger på antagandet om att förändringarna i kontrollgruppen speglar de förändringar som skulle ha inträffat i behandlingsgruppen om den inte hade fått behandling. Detta kräver att vi förlitar oss på en så kallad "lika-trender-ansats", vilket innebär att trenderna för både behandlings- och kontrollgrupper ska vara parallella innan behandlingen administreras.

För att säkerställa att dessa metoder är tillförlitliga kan forskare genomföra tester på förhand för att bekräfta att trenderna i de båda grupperna verkligen rör sig parallellt. Om så inte är fallet, kan det tyda på att det finns andra faktorer som påverkar resultaten och som inte har kontrollerats. För att motverka detta kan forskare ibland använda syntetiska kontrollgrupper, där man skapar en syntetisk enhet som består av en linjär kombination av icke-behandlade enheter, för att mer exakt matcha de förhållanden som fanns innan behandlingen genomfördes.

Ett annat centralt område inom kausal inferens är den så kallade kausala upptäckten, vilket innebär att man söker efter strukturen av kausala relationer genom att analysera statistiska egenskaper hos observationsdata. Här spelar olika algoritmer en viktig roll, där de mest kända är de baserade på villkorsoberoende relationer, som exempelvis PC-algoritmen och FCI-algoritmen. Dessa metoder bygger på att hitta de kausala strukturer som bäst förklarar de observerade relationerna i data.

Kausal upptäckt kan också göras genom att utnyttja maskininlärning, som i vissa fall kan hjälpa till att identifiera de viktigaste variablerna som är associerade med ett fenomen, utan att kräva detaljerad specifikation av en modell. Maskininlärning erbjuder därför en kraftfull metod för att analysera komplexa samband och generera hypoteser om orsakssamband som annars skulle vara svåra att upptäcka.

För att dra på det hela är det avgörande att förstå att både simulerade interventioner och kausal upptäckt är kraftfulla verktyg för att förstå och analysera orsakssamband i observationella studier. Trots att metoderna kräver starka antaganden om de kausala grafen och om relationerna mellan variabler, erbjuder de ändå en värdefull möjlighet att dra slutsatser om orsak och verkan även i avsaknad av strikt experimentell kontroll.