Hva er grunnlaget for faktorinvestering og dens kausale innhold?

Faktorinvestering kan defineres som en investeringsmetode som tar sikte på eksponering mot målbare karakteristikker, kalt "faktorer", som antas å forklare forskjeller i ytelsen til en gruppe verdipapirer. Dette er en videreutvikling av teorien om eiendelsprising, inspirert av det banebrytende arbeidet til Schipper og Thompson (1981), som bruker faktor- og hovedkomponentanalyse for å validere disse karakteristikkene. For eksempel mener tilhengere av verdi-faktoren at en portefølje bestående av aksjer med høy bokført egenkapital i forhold til markedsverdi (såkalte "verdiaksjer") vil overprestere en portefølje bestående av aksjer med lav bokført egenkapital i forhold til markedsverdi (såkalte "vekstaksjer").

Faktor-forskere følger vanligvis en av to prosedyrer for å finne empirisk støtte for sine hypoteser. Den første prosedyren, inspirert av Fama og MacBeth (1973), innebærer at forskeren samler inn avkastning på verdipapirer (Y), forklarende faktorer (X) og kontrollvariabler (Z). Deretter estimerer forskeren parametrene (også kalt faktor-eksponeringer eller faktorbelastninger) i en tverrsnittsregresjonsmodell for hver tidsperiode, og beregner gjennomsnittet og standardavviket for disse parameterestimatene over alle perioder. Den andre prosedyren, inspirert av Fama og French (1993), innebærer at forskeren rangerer verdipapirer i et investeringsunivers basert på en karakteristikk, og utfører to parallelle operasjoner på rangeringen. Den første operasjonen innebærer å dele investeringsuniverset i delsett definert av kvantiler og beregne gjennomsnittsavkastningen for hvert delsett. Den andre operasjonen innebærer å beregne avkastningen til en long-short portefølje, der de høyt rangerte verdipapirene får en positiv vekt og de lavt rangerte får en negativ vekt.

Forskerne som er interessert i multifaktoranalyse, vil anvende operasjonene på hvert enkelt faktor, og deretter estimere parametrene for en tidsserie-regresjonsmodell for hver undergruppe. Målet med begge prosedyrene er ikke å forklare endringer i gjennomsnittsavkastning over tid (en tidsserieanalyse), men å forklare forskjeller i gjennomsnittsavkastning på tvers av verdipapirer.

Faktor-forskerne fremsetter sin sak ved å vise at den estimerte verdien av β er statistisk signifikant, og de tolker dette som at investorer som holder verdipapirer med eksponering mot faktor X, får en belønning utover belønningen fra eksponering mot faktorer i Z.

Når det gjelder kausale antagelser, påpeker forskerne at faktorinvesteringer nesten aldri eksplisitt uttaler de kausale antagelsene de har i tankene når de gjør forskjellige modellbeslutninger. Likevel påvirker disse antagelsene analysen deres. En annen sett med kausale antagelser ville ført til en annen databehandling, valg av variabler, modellspesifikasjoner og andre viktige beslutninger i forskningen. Kausalinnholdet i en faktorinvestering er skjult i modellens spesifikasjon, estimering, tolkning og anvendelse.

Faktorinvesteringens kausale struktur bestemmes av forskerens antagelser om at eksponering for en spesiell faktor (X) forårsaker en positiv gjennomsnittsavkastning over markedet (Y), og at denne kausale effekten (X → Y) er sterk nok til å være uavhengig monetiserbar gjennom en portefølje som er eksponert for X. Derfor er faktorforskerens valg av minste kvadraters metoder, forklarende variabler og betingelsesvariabler et uttrykk for de kausale strukturene de ønsker å pålegge modellen.

En annen viktig observasjon er at faktor-forskere prioriterer kausal tolkning over prediktiv kraft. Hadde de prioritert prediktiv kraft, ville de ha brukt estimatmetoder med lavere gjennomsnittsfeil enn minste kvadraters, og akseptert noe bias i bytte mot lavere varians. Dette viser at faktor-forskerne antar at feilene er eksogene årsaker til Y, og ikke korrelerte med X.

Faktor-forskere legger også stor vekt på å teste nullhypotesen H0: β = 0 (ingen kausal effekt) mot alternativet H1: β ≠ 0 (en kausal effekt), og uttrykker resultatene gjennom p-verdier. Dette står i kontrast til metoder brukt i maskinlæring, som sjelden er opptatt av individuelle p-verdier, da de vurderer betydningen av en variabel i prediktive (assosiative) termer.

Til slutt bygger faktor-investorer porteføljer som overvektet aksjer med høy eksponering mot X og undervektet aksjer med lav eksponering mot X.

I tillegg til det tekniske innholdet som er forklart, er det viktig å merke seg at mens faktor-investering kan tilby en strukturert og kvantitativ tilnærming til investeringsbeslutninger, kan det være utfordrende å etablere klare kausale mekanismer som garanterer høy avkastning. Mange av de empiriske bevisene som støtter faktor-investeringer, er basert på observasjonelle data som kan være utsatt for skjulte variabler, tidsavhengigheter og markedsspesifikke forhold. Videre kan faktor-investeringer, selv om de påstår å være objektive, være sterkt påvirket av valg av faktorer og modellspesifikasjoner, som kan variere fra en forsker til en annen.

Hva mangler i faktormodellen for investeringer?

Faktormodellen for investeringer, til tross for sin utbredte anvendelse i akademisk litteratur, bærer preg av betydelige logiske inkonsekvenser som undergraver dens vitenskapelige verdi. En av de mest grunnleggende manglene ved denne modellen er fraværet av en eksplisitt kausal graf eller et testbart kausalt mekanisme. Når forskere introduserer faktorer som momentum, verdi, kvalitet eller lav risiko, tillegges disse en kausal betydning, men uten å dokumentere den underliggende årsaksstrukturen. Dette fører til at den empiriske testen av disse faktorene forblir på et fenomenologisk nivå, der observerte resultater aksepteres uten videre utfordring.

Problemet oppstår når faktormodellen, som angivelig bygger på kausale sammenhenger, benyttes uten å klargjøre de konkrete kausale veiene som fører til de observerte effektene. Forskerne presenterer estimerte β-verdier, som vanligvis tolkes som effekten på Y ved en intervensjon på X, uten å tilkjennegi noen forståelse av hvordan disse sammenhengene faktisk fungerer. De benytter seg av p-verdier som et mål for signifikans, uten å erkjenne at disse kan være uttrykk for tilfeldige assosiasjoner snarere enn ekte årsak-virkning-forhold.

Ettersom kausale mekanismer ikke blir eksplisitt formulert, forblir investeringsteoriene i faktormodellen uutfordret og vitenskapelig ufalsifiserbare. Et sentralt prinsipp i vitenskapen er falsifikasjon: for at en teori skal være vitenskapelig, må det være mulig å teste den og motbevise den. Uten en tydelig definert kausal mekanisme finnes det ingen måte å falsifisere teorien om faktormodellen. Derfor er det viktig å forstå at selv om faktorer kan eksistere, kan de empiriske dataene som presenteres i litteraturen være utilstrekkelige og vitenskapelig problematiske.

Dette leder oss til et annet vesentlig aspekt ved faktormodellen: den svake prestasjonen i praksis. Mange av de mest kjente indekser som prøver å fange opp effektene av faktorer – som Bloomberg-Goldman Sachs Asset Management US Equity Multi-Factor Index – har vist seg å ha skuffende resultater over tid. Den årlige Sharpe-ratioen for denne indeksen har vært lav og statistisk ubetydelig, selv etter over femten års data. En investering med en årlig Sharpe-ratio på 0,29 trenger mer enn 30 år med daglige observasjoner før den kan bli statistisk signifikant på et 95 % konfidensnivå. Dette er en påminnelse om at faktorbaserte investeringer, selv om de kan ha teoretisk støtte, ikke nødvendigvis gir en pålitelig kilde til avkastning i praksis.

En av de viktigste årsakene til denne manglende ytelsen er det vi kan kalle type-A spuriositet, et fenomen der tilfeldige variasjoner forveksles med ekte signaler. Dette skjer ofte på grunn av seleksjonsbias og feilaktige metoder som benyttes i faktorforskningslitteraturen. Et sentralt problem er p-hacking, der forskere velger de mest gunstige modellene basert på p-verdier uten å justere for den statistiske usikkerheten som oppstår ved flere tester. Dette fører til et feilaktig bilde av hva som faktisk skjer i dataene, og forvrenger forståelsen av faktormodellenes sanne verdi.

P-hacking er utbredt i faktormodellenes forskningssamfunn, og det skyldes delvis mangel på forståelse for de metodiske feilene som kan oppstå. Til tross for at statistikk har utviklet metoder for å håndtere slike problemer, har ikke forskerne innenfor faktormodell-investeringer tilpasset seg disse metodene. Dette fører til et feilaktig bilde av investeringsfaktorene, og resultater som er vanskelig å replikere utenfor opprinnelig testdata.

I lys av disse problemene er det klart at faktormodellens teoretiske tilnærming står i kontrast til dens praktiske anvendelse. Mens forskere har en tendens til å vektlegge de kausale antagelsene i sine modeller, er det i praksis ofte mangel på nødvendige forutsetninger og verifiserbare mekanismer som gjør det vanskelig å teste disse hypotesene i reelle markedsforhold. Investeringer basert på faktormodeller viser seg ofte å være dårligere enn forventet, og de teoretiske påstandene blir sjelden utfordret, noe som gjør at den vitenskapelige samfunnsdebatten i stor grad forblir ufullstendig.

For å forbedre påliteligheten og robustheten i faktormodellene er det avgjørende å utvikle metoder som kan håndtere de nevnte problemene, og særlig behovet for en klarere kausal struktur. Forskere bør ikke bare rapportere korrelasjoner og regresjoner, men bør også formulere og teste de underliggende årsakene som disse korrelasjonene antyder. Kausal inferens er en viktig komponent som for øyeblikket mangler i mye av faktorforskningslitteraturen.

Hvordan unngå spurious korrelasjoner og overfitting i backtesting

Før man trekker slutninger fra faktormodeller eller tester investeringsstrategier, er det avgjørende å forstå hvordan data kan manipuleres, enten bevisst eller utilsiktet, i prosessen med å finne "signaler" i finansmarkedene. I denne sammenheng er to konsepter spesielt viktige: multiple testing og overfitting i backtest-resultater.

Backtesting er en metode der en systematisk strategi simuleres med historiske data for å vurdere hvordan strategien ville ha prestert i fortiden. Mens backtesting kan gi investorene en indikasjon på en strategi sin økonomiske potensial, gir den ikke et bevis på årsakssammenhenger. Dette skyldes at backtesting ikke involverer noen kontrollert eksperimentell design, slik som en randomisert kontrollert studie (RCT). I stedet er det en simulering, der dataene ikke tildeles på en tilfeldig måte, noe som gjør at resultatene ofte kan være misvisende. Når forskere presenterer backtest-resultater som bevis på et faktisk årsaksforhold, kan de være ute av stand til å skille mellom signal og støy. Det er derfor lett å overfitte en strategi gjennom seleksjonsbias under flere tester, noe som fører til at vi ofte ikke kan skille mellom ekte økonomiske mønstre og tilfeldige flukter i dataene.

En annen fare ved backtesting er det som kalles "type-B spuriousness". Dette skjer når en forsker forveksler korrelasjon med årsakssammenheng, ofte på grunn av feil spesifisering av modellen. For eksempel, hvis en modell utelater viktige variabler (for eksempel eksterne faktorer eller sammenhenger som kan påvirke resultatene), vil estimeringene av de økonomiske variablene være skjeve. I slike tilfeller kan feilaktige konklusjoner om årsak og virkning føre til at en investering ser ut til å ha en sterkere eller svakere effekt enn det egentlig har. Denne typen feil kan ikke rettes opp gjennom justeringer for flere tester, men krever i stedet en dypere forståelse av de kausale mekanismene bak de observerte mønstrene.

Typisk vil feil spesifisering oppstå når viktige variabler ikke blir inkludert i modellen, som for eksempel en mellomliggende eller en forstyrrende variabel (confounder) som kan påvirke både den uavhengige og den avhengige variabelen. For eksempel kan en investering som viser seg å være lønnsom på bakgrunn av tilbakeværende tester, vise seg å være misattribuert på grunn av en forstyrrende faktor som ikke er tatt i betraktning. Når forskeren ignorerer denne faktoren, kan resultatene forvrenge investeringsstrategiens virkelige potensial.

En viktig problemstilling knyttet til type-B spuriosity er at det ofte ikke finnes en enkel måte å korrigere for denne feilen, fordi den er relatert til den underliggende kausale teorien bak modellen. Det er derfor essensielt å utvikle en teori om de økonomiske mekanismene som kan forklare de observasjonene som modellen genererer. Dette kan innebære å inkludere eksterne økonomiske faktorer, som markedsforhold, politiske hendelser eller endringer i reguleringer, som kan påvirke resultatene. Uten et slikt rammeverk for å forstå hva som skjer på et kausalt nivå, kan feilaktige investeringsbeslutninger bli tatt på bakgrunn av falske signaler.

Videre er det viktig å merke seg at et resultat fra en backtest ikke beviser at en strategi vil fungere på samme måte i fremtiden. Historiske data kan gi oss et inntrykk av hvordan en strategi ville ha utviklet seg, men det gir oss ikke garanti for at disse resultatene vil replikere seg. Markedene endrer seg kontinuerlig, og det som har vært en effektiv strategi tidligere, kan vise seg å være ineffektiv under andre økonomiske forhold.

En annen utfordring som ofte blir oversett, er at modeller som benytter lineære regresjoner kan gi falske positive eller falske negative resultater, spesielt hvis forskeren bruker forenklede antagelser om dataene. For eksempel, i en lineær modell, hvis det er en forstyrrende variabel som påvirker både den uavhengige og avhengige variabelen, kan det føre til at en forsker konkluderer med en sammenheng som faktisk ikke finnes. Dette er et klart eksempel på hvordan feil spesifikasjon kan føre til misvisende investeringsstrategier.

En løsning på disse problemene er å bruke mer robuste og realistiske modeller som tar hensyn til de kausale mekanismene som kan ligge til grunn for dataene. Dette kan innebære å inkludere flere variabler i analysene, teste hypoteser på tvers av ulike tidsepoker og markeder, samt være klar over de potensielle farene ved å overdrive styrken til statistiske sammenhenger som er observert i dataene.

I konklusjon er det essensielt for investorer og forskere å være bevisste på utfordringene som knytter seg til backtesting og økonometriske analyser. Å forstå de metodologiske begrensningene og være forsiktig med å trekke sterke kausale slutninger fra observasjoner er avgjørende for å unngå feiltolkninger og misledende investeringsbeslutninger. Den beste tilnærmingen er å kombinere historiske data med teoretisk forståelse av de økonomiske kreftene som påvirker markedene.

Hvordan Feilaktig Kontroll av Variabler Kan Påvirke Estimater av Risiko og Avkastning i Økonomiske Modeller

I økonomiske modeller er det essensielt å forstå hvordan risikoer og avkastninger varierer over tid, og hvordan ulike faktorer påvirker disse. Et av de mest utfordrende aspektene ved slike modeller er korrekt kontroll for konfoundere—variabler som påvirker både den uavhengige og avhengige variabelen, og som derfor kan forvride resultatene hvis de ikke tas i betraktning.

Når en konfounder blir utelatt fra en modell, kan det føre til at risiko- og avkastningsberegninger blir feilaktige, noe som kan ha store konsekvenser for både investorer og økonomer. En konsekvens av å overse en konfounder er risikoen for tidsvarierende risikopremier. For å illustrere dette, la oss anta at markedet belønner eksponering mot to faktorer, X og Z, med positive betingelser (β > 0, γ > 0). Hvis risikopremiene for disse faktorene er konstante, kan endringer i en annen variabel, δ, føre til endringer i den estimerte β (β̂). Hvis δ er tilstrekkelig negativ, kan det medføre at β̂ blir negativ, til tross for at de underliggende risikopremiene ikke har endret seg. Dette kan føre til at investorer feilaktig tror at markedet har endret seg, og at eksponering mot X nå blir straffet, når det i virkeligheten er endringer i kovariansen mellom X og Z som er årsaken.

Tidvis beskrives slike tidsvarierende risikopremier som et resultat av endringer i markedsforventninger, som kan være et plausibelt forklaringsgrunnlag. Likevel ignorerer denne tilnærmingen muligheten for at endringer i risikopremiene kan skyldes at en viktig konfounder er utelatt fra analysen. Et konkret eksempel kan være en forvalter som forsøker å forklare et tap i en verdistrategi ved å skylde på en endring i risikopremien for verdipapirer, mens det korrekte svaret kan være at strategien ikke ble korrekt justert for en viktig faktor som momentum (MOM), som påvirker forholdet mellom ulike risikoeksponeringer i modellen.

Overkontrollering av variabler kan også ha uønskede effekter på analyser. Statistiske metoder har tradisjonelt sett blitt brukt for å kontrollere for variabler som er relatert til den avhengige variabelen, selv om disse variablene kanskje ikke spiller en rolle i den kausale strukturen. Dette kan føre til at en variabel som egentlig ikke bør kontrolleres, blir inkludert, noe som skaper en såkalt "tilbakeveiskanal" og fører til forvrengte estimater. Eksempler på slike feil kan være når forskere kontrollerer for variabler som er medierende (de som formidler en effekt) eller kolliderende (variabler som påvirkes av to andre faktorer samtidig), noe som i praksis åpner for alternative kausale stier som kan gi feilaktige resultater.

Det er viktig å merke seg at feilkilder som disse kan påvirke selv avanserte kvantitative investeringstransaksjoner. Investorer som benytter såkalte "black-box" strategier, som er automatiserte og basert på algoritmer, risikerer å se fra systematiske gevinster til systematiske tap, nettopp på grunn av slike feil i modellens spesifikasjon. Dette skjer ofte uten at forvalterne eller investorene kan oppdage det før det er for sent. I mange tilfeller er det umulig å nøyaktig vite hvilke variabler som bør inkluderes i analysene uten en grundig forståelse og analyse av den kausale grafen som ligger til grunn for modellen.

Søking etter spesifikasjoner—dvs. valget av hvilke variabler og funksjonsformer som skal inngå i modellen basert på modellens forklaringskraft—kan også føre til alvorlige feil. Det å velge en modell fordi den forklarer dataene godt, uten hensyn til de kausale forholdene bak, kan føre til at man blander sammen to separate prosesser: den første, som er kausal oppdagelse (å forstå hva som faktisk forårsaker hva), og den andre, som er kontroll (å justere for de riktige faktorene for å isolere den sanne effekten). Dette kan føre til at analysene mister sin kausale integritet, noe som er et betydelig problem i økonomiske og finansielle modeller.

For at modeller skal gi pålitelige resultater, må forskere og analytikere være svært nøye med hvilke variabler de inkluderer, og hvorfor de gjør det. En grundig forståelse av de kausale forholdene mellom variabler, samt en vurdering av hvordan ulike faktorer kan påvirke modellen, er avgjørende for å unngå de feilene som kan oppstå ved både underkontrollering og overkontrollering. Dette kan kreve en systematisk analyse, som innebærer å bruke kausale grafer for å identifisere hvilke variabler som faktisk er nødvendige å kontrollere for, og hvordan de interagerer med de andre variablene i modellen.

Endringer i kovariansen mellom faktorer som opprinnelig ikke var ment å være eksponert, kan føre til feilaktige konklusjoner om risikopremier og avkastning. Dette understreker viktigheten av å ha et klart bilde av de kausale sammenhengene og av å bruke passende statistiske teknikker for å isolere de virkelige effektene. Feilaktig spesifikasjon og mangel på forståelse for den kausale strukturen kan i stor grad svekke påliteligheten til både investeringsstrategier og økonomiske modeller.

Hvordan randomiserte kontrollerte studier (RCT) kan styrke årsak-virkningstolkning i forskning

I vitenskapelig forskning er det avgjørende å ha kontroll over variablene som påvirker et eksperiment for å kunne trekke pålitelige konklusjoner om årsak og virkning. Et sentralt prinsipp for å oppnå dette er «ceteris paribus»-betingelsen, som innebærer at alle andre faktorer må holdes konstante når man ser på effekten av en enkelt variabel. Hvis forskeren har direkte kontroll over alle variablene i eksperimentet, kan man tillegge endringer i resultatene en årsak til den spesifikke variabelen som endres. Dette kan imidlertid være utfordrende i situasjoner hvor enkelte faktorer ikke kan kontrolleres, som for eksempel værforholdene i et eksperiment som undersøker drukningsulykker.

En løsning på dette problemet er bruken av randomiserte kontrollerte studier (RCT). I en RCT tildeles en tilfeldig gruppe en behandling (eksperimentell gruppe), mens en annen gruppe får en kontrollbehandling. Denne randomiseringen gjør det mulig for forskeren å tildele deltakere til behandling- eller kontrollgrupper på en måte som minimerer bias. Dette øker sjansene for at de to gruppene er sammenlignbare, og gjør det lettere å attribuere forskjeller i utfallet direkte til behandlingen, snarere enn eksterne faktorer som ikke er under kontroll.

Randomiseringen spiller en avgjørende rolle ved at den skaper en «ceteris paribus»-situasjon, hvor forskeren kan analysere effekten av behandlingen på en homogen gruppe. For eksempel, i et scenario der en forsker utfører et eksperiment for å undersøke effekten av økte iskrem-salg på drukningsulykker, kan forskeren gjøre dette ved å tilfeldig tildele måneder med høy og lav iskrem-salg. Ved å gjøre dette, kan eventuelle forskjeller i drukningsulykker mellom de to månedene tilskrives forskjellen i iskrem-salget, uten at værforholdene (som også kan påvirke ulykkene) forstyrrer tolkningen.

Når randomiseringen er utført, kan forskeren også benytte statistiske metoder som Monte Carlo-simuleringer for å beregne usikkerheten i eksperimentet. Dette skjer ved å beregne standardavviket på gjennomsnittene fra ulike delprøver, som gir et mål for usikkerheten i resultatene.

I mange tilfeller, for å fjerne eventuelle skjevheter fra deltakernes eller forskerens subjektivitet, kan man bruke blindede eksperimenter. I en enkeltblind studie er deltakerne uvitende om hvilken gruppe de tilhører, mens i en dobbeltblind studie er både deltakerne og forskeren uvitende om gruppefordelingen. Dette bidrar til å sikre at eventuelle effekter ikke skyldes subjektive fordommer.

Randomisert tildeling kan også brukes for å sammenligne behandlingsutfall på tvers av grupper. Forskjellen mellom resultatene for de ulike gruppene kan da tilskrives behandlingen, og dette kan tolkes i lys av det mer fundamentale problemet med årsakspåvisning, som handler om hvordan forskere kan isolere og vurdere effekten av en bestemt variabel.

Slik randomisering oppnår sitt mål kan illustreres med et enkelt eksempel. Hvis en forsker tilfeldigvis tildeler deltakere til en behandling (for eksempel økte iskrem-salg) og en kontrollgruppe, kan det utføres en sammenligning mellom de to gruppene. Fordi tildelingen til behandling og kontrollgruppe var tilfeldig, vil forskjellene i utfallet (som for eksempel antall drukningsulykker) kunne tilskrives behandlingen alene. Dette gjør at forskeren kan stole på at forskjellen i resultater reflekterer behandlingens effekt og ikke tilfeldige faktorer.

Men i noen tilfeller er det ikke mulig å gjennomføre intervensjonsstudier på grunn av praktiske eller etiske hensyn. I slike tilfeller kan forskere bruke det som kalles «naturlige eksperimenter». Dette er observasjonsstudier der en tilfeldig prosess, ofte styrt av naturen eller andre faktorer utenfor forskerens kontroll, tildeler deltakerne til behandlings- eller kontrollgrupper. Selv om naturlige eksperimenter ikke er like strenge som intervensjonsstudier, tillater de likevel forskeren å trekke årsakssammenhenger ved å anta at tildelingen til grupper er tilfeldig. Eksempler på naturlige eksperimenter kan være regresjonsdiskontinuitetsdesign (RDD), crossover-studier (COS), og differens-i-differenser (DID) studier. I disse tilfellene er tildelingen av behandling utenfor forskerens kontroll, men de kan fortsatt gi innsikt i årsak-virkning-forhold.

I regresjonsdiskontinuitetsdesign (RDD) sammenlignes resultatene mellom en gruppe som har mottatt behandling (fordi deres verdi på en tildelingsvariabel er høyere enn et visst terskelverdi) og en gruppe som ikke har fått behandling (fordi deres verdi er under terskelen). Denne designen er basert på antakelsen om at de to gruppene er sammenlignbare i alt unntatt tildelingsvariabelen, og at forskjellen i utfall kan tilskrives behandlingen.

I crossover-studier (COS) eksponeres enhetene (deltakerne) til behandlingen i en periode og deretter fjernes behandlingen, før den gis på nytt. Denne designen forutsetter at konfoundereffekter ikke varierer over tid per enhet. COS har fordelen av at hver deltaker fungerer som sin egen kontroll, noe som reduserer påvirkningen fra konfoundere, og de har høy statistisk effektivitet.

I differens-i-differenser (DID) studier sammenlignes resultatene fra før og etter en behandling, og forskeren ser på forskjellen mellom to grupper, hvor den ene har mottatt behandling og den andre ikke. Denne metoden tar høyde for tidseffekter som kan påvirke resultatene.

Når slike metoder ikke er tilgjengelige, kan andre design som case-control studier eller kohortstudier anvendes, men disse gir ikke de samme pålitelige årsak-virkning-konklusjonene som randomiserte kontrollerte studier eller naturlige eksperimenter.