Hvordan beregnes betinget sannsynlighet, kovarians og korrelasjon i multivariate fordelinger?

Betinget sannsynlighet er et fundamentalt konsept i statistikk som beskriver sannsynligheten for at en hendelse skjer, gitt at en annen hendelse har skjedd. I dette tilfellet er det nødvendig å beregne $p_{X|Y}(x|y = 0)$, som representerer den betingede sannsynligheten for $X$ gitt at $Y = 0$. Ved å bruke formelen $p_{X,Y}(1, 0)$ delt på $p_Y(0)$, kan vi finne verdien $p_{X|Y}(1|0) = 0.062$. Denne verdien fyller deretter cellen $X = 1, Y = 0$ i tabellen som oppsummerer den betingede sannsynlighetsfordelingen $p_{X|Y}$.

Når de betingede sannsynlighetene er beregnet, vil radene i tabellen nødvendigvis summere seg til 1. Dette er et viktig konsept i betingede fordelinger, ettersom summen av alle sannsynlighetene for en betinget hendelse alltid må være lik én. En tilsvarende tabell kan også konstrueres for å vise $p_{Y|X}$, den betingede sannsynligheten for $Y$ gitt $X$.

Kovarians og korrelasjon er to andre viktige begreper som knytter sammen to tilfeldige variabler. Kovarians måler hvordan to variabler samvarierer med hverandre. Hvis det er en høy sannsynlighet for at store verdier av variabelen $X$ er forbundet med store verdier av variabelen $Y$, vil kovariansen mellom de to variablene være positiv. Kovariansen defineres som:

$$\text{Cov}(X,Y) = E[(X - E[X])(Y - E[Y])]$$

Der $E[\cdot]$ betegner forventningen til en tilfeldig variabel. Alternativt kan kovariansen uttrykkes som:

$$\text{Cov}(X,Y) = E[XY] - E[X]E[Y]$$

Der $E[XY]$ er forventningen til produktet av $X$ og $Y$, og kan beregnes som summen over alle mulige verdier av $X$ og $Y$. Kovariansen gir en indikasjon på i hvilken grad to variabler har en lineær sammenheng, men for å få en mer forståelig skala, brukes ofte korrelasjon.

Korrelasjon, på den annen side, er en standardisert form for kovarians og gjør det mulig å sammenligne samvariasjonen mellom to variabler på tvers av forskjellige enheter. Korrelasjonen mellom $X$ og $Y$, betegnet som $\rho_{XY}$, er definert som:

$$\rho_{XY} = \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}$$

Hvor $\sigma_X$ og $\sigma_Y$ er standardavvikene til $X$ og $Y$. Korrelasjonen vil alltid ligge mellom -1 og 1, hvor -1 indikerer en perfekt negativ lineær sammenheng, 1 indikerer en perfekt positiv lineær sammenheng, og 0 indikerer ingen lineær sammenheng mellom variablene.

Videre, når vi går over til kontinuerlige bivariatiske fordelinger, kan vi bruke simulerte data for å illustrere hvordan to tilfeldige variabler kan være relatert til hverandre. La oss anta at både $X$ og $Y$ følger en normalfordeling $N(0, 1)$, og at de har en viss korrelasjon $\rho_{XY}$. Den bivariate fordelingen til $X$ og $Y$ kan uttrykkes gjennom forventningene, standardavvikene og korrelasjonen mellom variablene, som danner en varians-kovariansmatrise $\Sigma$.

For å uttrykke denne bivariate fordelingen kan vi bruke den følgende matriseformelen:

$$\Sigma =$$

\begin{pmatrix} \sigma_X^2 & \rho_{XY} \sigma_X \sigma_Y \\ \rho_{XY} \sigma_X \sigma_Y & \sigma_Y^2 \end{pmatrix}

For å generere simulerte bivariate data, kan vi bruke en spesifikk funksjon i et statistikkverktøy, som for eksempel R-pakken MASS, og bruke funksjonen $mvrnorm()$ for å generere data basert på en varians-kovariansmatrise.

Kovariansmatrisen kan også dekomponeres i dens komponenter, som standardavvikene og en underliggende korrelasjonsmatrise. Dette er nyttig for å forstå strukturen til bivariate eller multivariate fordelinger og gjøre videre beregninger mer håndterbare.

For videre utforskning er det viktig å forstå hvordan simulerte data kan brukes til å lage forskjellige bivariate eller multivariate distribusjoner som er korrelerte. Dette gir et praktisk verktøy for å teste hypoteser og utvikle modeller i statistikk og dataanalyse.

Hvordan evaluere en Bayesiansk regresjonsmodell: En introduksjon til prior og posterior distribusjoner

Når man arbeider med Bayesiansk statistikk, er det viktig å forstå hvordan man tolker resultatene fra modellene, spesielt i forhold til regresjonskoeffisienter og deres usikkerhet. Dette er essensielt for å kunne gjøre pålitelige inferenser basert på dataene. Her går vi gjennom noen nøkkelaspekter ved en Bayesiansk regresjonsmodell, med spesielt fokus på parameterestimater, effektive prøve-størrelser og prior-prediktive distribusjoner.

Ved å bruke Bayesiansk modellering kan vi evaluere usikkerheten rundt våre parameterestimater gjennom deres posterior distribusjon, som gir et sett med mulige verdier for parameterne etter å ha observert data. I vårt eksempel er regresjonskoeffisienten for skjæringspunktet (intercept) estimert til 168,63, med en standardfeil (Est.Error) på 1,30, og 95% troverdige intervaller (CrI) som spenner fra 166,10 til 171,21. Denne informasjonen er verdifull fordi den gir både et punktestimat og et mål på usikkerheten rundt dette estimatet. På samme måte er standardavviket (sigma) for modellen estimert til 24,99, med et troverdig intervall mellom 23,24 og 26,88. Begge disse estimatene gir innsikt i modellen og dens evne til å beskrive dataene.

Men det er ikke nok å bare se på estimatene. Det er også viktig å vurdere hvor godt modellens kjedeberegninger har konvergert. Dette gjøres ved å se på Rhat, en statistikk som sammenligner mellom- og innen-kjede estimater for hver parameter. Rhat bør være nær 1 for at man skal stole på resultatene fra modellen, og er et tegn på god konvergens når verdien er under 1,05. I vårt eksempel er Rhat verdien for alle parametrene 1,00, som indikerer at kjedene har konvergert tilfredsstillende.

For å vurdere modellens effektivitet i å trekke på data, ser vi på Bulk_ESS (bulk effektiv prøve-størrelse) og Tail_ESS (hale effektiv prøve-størrelse). Disse målene beskriver hvor mye informasjon vi har hentet fra prøvene i den typiske delen av distribusjonen (bulk) og i dens ekstreme ender (hale). Høy Bulk_ESS indikerer at vi har tilstrekkelig informasjon om midten av distribusjonen, mens Tail_ESS gir oss en pekepinn på kvaliteten på estimeringene for ekstremverdier. Hvis disse verdiene er lave, kan det være tegn på problemer med modellens konvergens eller at kjedene ikke har blandet seg godt.

Når vi har analysert posterior distribusjonen, er det også viktig å spørre oss selv hvilke antakelser priors (forhåndsinformasjon) representerer. I vårt tilfelle bruker vi uniforme priors for både μ (middelverdi) og σ (standardavvik). Priors definerer vår tro på de mulige verdiene før vi ser på dataene. I vårt eksempel er μ ∼ Uniform(0, 60000) og σ ∼ Uniform(0, 2000). Disse priorsene indikerer at vi ikke har sterke forutsetninger om de spesifikke verdiene til μ og σ, men vi antar at de ligger innenfor de spesifiserte grensene.

For å sjekke om våre priors gir realistiske data, kan vi bruke en prior-prediktiv distribusjon. Dette innebærer å generere hypotetiske datasett basert på våre priors, før vi tar hensyn til de observerte dataene. Ved å gjøre dette flere ganger kan vi se om de genererte dataene ser ut som dataene vi faktisk observerte. Denne prosessen er en viktig sjekk av om våre priors er for realistiske eller for uninformative, og gir oss en følelse av hvorvidt modellens antakelser er rimelige.

For å generere en prior-prediktiv distribusjon, trekker vi gjentatte prøver fra våre priors og bruker dem til å generere data basert på modellens sannsynlighetstetthet. Denne prosessen gir oss et sett med simuleringer som representerer potensielle data, som kan hjelpe oss å visualisere hva slags data vi kan forvente, gitt våre antakelser om priors. Hvis de genererte dataene virker urealistiske eller ikke samsvarer med det vi forventer fra virkeligheten, kan det være et tegn på at vi bør justere våre priors.

En praktisk tilnærming for å generere slike prior-prediktive distribusjoner er å bruke kode som gjentar prosessen med å trekke prøver fra priors og generere prediktive data. Denne tilnærmingen kan være tidkrevende, men den gir en dypere forståelse av hva modellens priors representerer og om de er passende for datasettet vi jobber med. Ved å generere et stort antall simuleringer (f.eks. 1000), kan vi få en god oversikt over hvordan datasett kan se ut under ulike antakelser om priors.

Når vi har laget vår prior-prediktive distribusjon, kan vi visualisere resultatene ved hjelp av histogrammer eller andre grafiske fremstillinger. Dette gir oss en klarere idé om hvordan de genererte dataene fordeler seg og hvor realistiske de er i forhold til de faktiske dataene. Hvis de prediktive dataene har en mye annen form eller skala enn de observerte dataene, kan det indikere at modellens priors ikke er hensiktsmessige.

Hvordan vurdere forskjellen mellom to betingelser i et Bayesiansk rammeverk?

I de fleste eksperimentelle studier ønsker vi å sammenligne gjennomsnittene til en avhengig variabel (DV) mellom to grupper av deltakere. La oss anta at vi har et simuleringssett der vi sammenligner responstiden mellom to grupper. Et sett med simulert data er tilgjengelig i pakken bcogsci som datasettet df_contrasts1. Simuleringen antar at responstiden i betingelse 𝐹 1 (𝜇1 = 0.8 sekunder) er lengre enn i 𝐹 2 (𝜇2 = 0.4 sekunder). De 10 simulerte deltakerne gir et sett med data som vi kan bruke til å estimere forskjellen mellom disse to gruppene.

Dataene fra disse 10 deltakerne samles sammen, og oppsummerende statistikk beregnes for de to betingelsene. Tabellen og figuren som presenteres viser at de antatte sanne betingelsene nøyaktig realiseres gjennom de simulerte dataene. Dette er et resultat av at funksjonen mvrnorm() ble brukt til å generere dataene på en slik måte at gjennomsnittsverdiene for hver betingelse ble nøyaktig oppnådd i prøvene.

Det er viktig å merke seg at i virkelige datasett vil ikke gjennomsnittsverdiene være eksakt de samme i hvert forsøk. Men i dette tilfellet kan vi bruke et Bayesiansk lineært modellrammeverk for å estimere forskjellen mellom gruppenes gjennomsnitt, basert på dataene vi har simulert. Enkelt sagt, vi bruker en Bayesian tilnærming som innebærer relativt uinformerte priorer for å estimere forskjellen i respons mellom betingelsene.

Modellen som er brukt i eksemplet gir oss følgende estimater for populasjonseffektene:

• Intercept = 𝜇1̂ = estimert gjennomsnitt for betingelse 𝐹 1

• Slope (FF2) = 𝜇2̂ − 𝜇1̂ = estimert gjennomsnitt for 𝐹 2 − estimert gjennomsnitt for 𝐹 1

Dette gir oss en enkel måte å vurdere forskjellen mellom betingelsene. For eksempel, hvis stigningen er −0.4, betyr det at det er en nedgang i gjennomsnittlig responstid når vi går fra betingelse 𝐹 1 til 𝐹 2.

Når vi ser på hvordan modellen er strukturert, blir det tydelig hvordan R-programvaren automatisk bruker "treatment contrasts" for å koding av faktorene. I dette tilfellet er den første faktornivået (𝐹 1) kodet som 0, og den andre faktornivået (𝐹 2) er kodet som 1. Dette betyr at skjæringspunktet vil estimere gjennomsnittet for 𝐹 1, og stigningen vil representere forskjellen mellom 𝐹 2 og 𝐹 1.

I et alternativt behandlingskontrastoppsett, der nivåene er omorganisert, får vi et annet sett med estimater. I denne modellen estimerer skjæringspunktet gjennomsnittet for 𝐹 2, og stigningen representerer forskjellen mellom 𝐹 1 og 𝐹 2.

Det er viktig å forstå at i en Bayesiansk tilnærming er priorene en sentral komponent som påvirker resultatene. I eksemplet er de valgte priorene ganske brede, men man bør være oppmerksom på at priorene kan endres for å reflektere mer spesifikke hypoteser om dataene. Bayesianske metoder tillater oss også å vurdere usikkerheten i estimatene, og de gir oss en 95 % troverdighetsintervall som kan brukes til å vurdere om en effekt er signifikant.

Endringene i kontrastkoding og rekkefølge av nivåene på faktoren kan ha stor betydning for tolkningen av resultatene. Derfor er det viktig å være oppmerksom på hvordan faktorer og nivåer kodes i de statistiske modellene man bruker.

I tillegg til de matematiske og statistiske beregningene som er blitt presentert, er det viktig å reflektere over hvordan ulike valg av priorer og modellspesifikasjoner kan påvirke resultatene. Bayesianske metoder gir oss en mer fleksibel tilnærming til estimering av usikkerhet, men dette innebærer også et ansvar for å velge passende priorer og fortolkninger.

Hvordan påvirker målefeil sammenhengen mellom PCU-poeng og leshastighet?

Når vi undersøker sammenhengen mellom PCU-poeng (Probability of Correct Understanding) og leshastighet, avtar styrken i korrelasjonen betydelig når målefeil tas i betraktning. Den posteriorfordelingen blir langt mer usikker og bredere enn i en enkel lineær modell, noe som gjør retningen på sammenhengen uklar. Mens en enkel modell kan vise at omtrent 94 % av sannsynlighetsmassen ligger under null (altså en klar negativ sammenheng), synker denne til 62 % når målefeil modelleres eksplisitt. Det betyr at vi ikke lenger kan være sikre på om effekten faktisk er til stede eller ikke.

I denne konteksten benyttes en modell som tar hensyn til usikkerheten i både den uavhengige variabelen (PCU) og den avhengige variabelen (leshastighet). Modellen bruker latent variabel-tilnærming hvor observasjoner av PCU og leshastighet antas å være støyete målinger av underliggende sanne verdier. Denne tilnærmingen kan formelt uttrykkes ved at de sanne verdiene for PCU modelleres som normalfordelte variabler med ukjente parametere, mens observasjonene har tilhørende standardfeil som blir inkorporert i sannsynlighetsmodellen.

Stan-modellen, som implementerer denne målefeilmodellen, unngår direkte modellering av de sanne måleverdiene ved å bruke en reparameterisering via en standardnormalfordelt latent variabel. Dette eliminerer avhengigheter mellom parametrene i MCMC-simuleringen, noe som forbedrer konvergens og sampling-effektivitet. Den fullstendige sannsynlighetsmodellen inkluderer normalfordelinger for målefeil i både uavhengige og avhengige variabler, samt priorfordelinger som regulerer modellens kompleksitet og hindrer overtilpasning.

Resultatene fra Stan-modellen stemmer godt overens med de fra brms-pakken, og bekrefter at når målefeil tas hensyn til, er det ingen entydig støtte for en sterk lineær sammenheng mellom PCU-poeng og leshastighet. Det betyr imidlertid ikke at det ikke finnes noen sammenheng, bare at evidensen er langt svakere og mer usikker.

For å slå fast fravær av en effekt, kreves mer sofistikerte metoder som Bayes-faktorer eller kryssvalidering, som vurderer modellens forklaringskraft mer helhetlig. Bayes-faktorer sammenligner modellens prediktive evne under priorfordelingen, mens kryssvalidering tester hvordan modellen generaliserer til nye, ikke observerte data. Begge metodene gir mer robuste beslutningsgrunnlag for om en effekt faktisk eksisterer eller ikke.

I kognitive studier og psykolingvistikk er systematisk meta-analyse og målefeilmodellering viktige verktøy for å syntetisere og evaluere kunnskap på en pålitelig måte. Meta-analyser bør brukes rutinemessig for å samle bevis, men det må alltid tas hensyn til potensielle biaser og usikkerheter i dataene. For å unngå feiltolkninger er det avgjørende å bruke metoder som modellerer både variasjon og målefeil, samt å validere resultatene gjennom robust statistisk inferens.

Endelig er det verdt å merke seg at nøyaktig modellering av målefeil ikke bare forbedrer forståelsen av sammenhenger i empiriske data, men også hjelper til å utvikle bedre teorier og hypoteser i kognitiv vitenskap ved å tydeliggjøre hvor solid evidensen faktisk er. Dette gir et viktig grunnlag for videre eksperimentell design og teoretisk utvikling.