Hva kan vi lære av en binomisk fordeling i statistikk?

I statistikk er det viktig å forstå hvordan data kan brukes til å estimere parametre, og binomiske fordelinger gir et nyttig verktøy for å gjøre dette. Når vi estimerer en parameter som 𝜃, kan vi bruke forskjellige metoder for å vurdere hvordan vår estimering stemmer overens med den virkelige verden. I den klassiske tilnærmingen, kjent som maksimal sannsynlighet (MLE), finner vi den verdien for 𝜃 som gir den høyeste sannsynligheten for at vårt observerte datasett vil bli produsert.

Et viktig aspekt er at når vi har et bestemt datasett, er den "mest sannsynlige" verdien for parameteren alltid knyttet til dataene vi har tilgjengelig. Dette er et sentralt prinsipp i maksimal sannsynlighet: vi søker etter den parameterverdien som gjør det mest sannsynlig at vi har fått akkurat dette settet med data. Hvis vi for eksempel har et utfall med 7 suksesser ut av 10 forsøk, vil 𝜃 (sannsynligheten for suksess) være en verdi som maksimerer sannsynligheten for å få akkurat dette resultatet.

Men dette gir oss bare et estimat basert på vårt spesifikke datasett. I praksis er dette estimatet ikke alltid den sanne verdien av 𝜃. Hvis vi gjennomfører et eksperiment med bare 10 forsøk og får 1 suksess, kan maksimal sannsynlighet gi oss en estimering av 0.10, selv om den sanne verdien for 𝜃 faktisk er 0.7. Når vi øker antall forsøk, vil imidlertid denne estimeringen nærme seg den sanne verdien, som illustrert i figur 1.3(b). Dette er et viktig poeng: med et lite utvalg av data kan den estimerte verdien fra et gitt datasett enten være høyere eller lavere enn den faktiske parameteren.

I Bayesiansk analyse er tilnærmingen forskjellig. Her antar vi ikke at parameteren 𝜃 har en spesifikk, fast verdi som vi forsøker å estimere. I stedet uttrykker vi vår tro om parameterens plausibilitet gjennom en sannsynlighetsfordeling. Denne fordelingen kan hjelpe oss med å vurdere hvor sannsynlig det er at parameteren ligger innenfor et bestemt intervall eller å finne områder der vi med høy sikkerhet kan si at parameteren befinner seg.

En viktig del av denne prosessen er å forstå hva en sannsynlighetsfordeling faktisk gir oss. I en binomisk fordeling, for eksempel, kan vi bruke funksjoner som dbinom() og pbinom() i R for å beregne sannsynlighetene for å få et bestemt antall suksesser. Dette gir oss et verktøy for å vurdere forskjellige utfall gitt et sett med parametere. Med disse verktøyene kan vi også beregne den kumulative sannsynligheten for å få et visst antall suksesser eller mer, og gjøre beregninger som hjelper oss å få en bedre forståelse av hva som skjer i et eksperiment.

Et annet aspekt som bør vektlegges er hvordan vi kan generere simulert data fra en binomisk fordeling. Dette er en nyttig teknikk for å vurdere modellen vår under forskjellige forhold, og den hjelper oss med å forstå hvordan vår estimering av 𝜃 vil endres med forskjellige antall forsøk eller forskjellige verdier for sannsynligheten for suksess.

Når man jobber med binomiske fordelinger og maksimal sannsynlighet, er det avgjørende å huske at estimeringer ikke alltid vil være nøyaktige, spesielt når utvalget vårt er lite. Økende prøvestørrelse gir ofte mer presise estimater, men man må være klar over at det kan være en usikkerhet knyttet til enhver estimering, uavhengig av hvor stor utvalget er.

Hvordan den hierarkiske implementeringen av Fast-Guess-modellen påvirker hastighets- og nøyaktighetshandelsmodellen

For å implementere den hierarkiske versjonen av modellen, antar vi at både responstidene og effekten av oppgavevanskelighet varierer mellom deltakerne, og at forskjellige deltakere har forskjellige gjetningstider. Dette medfører en endring i respons-tidsfordelingen. Den nye distribusjonen kan beskrives som følger:

Modellen for de hierarkiske justeringene antar også en Cholesky-faktorisering for gruppenivå-effektene, slik som beskrevet i seksjon 9.1.3.

Når modellen er satt opp på denne måten, kan vi simulere data for 20 deltakere, der hver deltaker utfører totalt 100 prøver. Hver deltaker ser 25 prøver for hver av de fire betingelsene. For å bygge datasettet starter vi med å definere parametrene for den sanne verdien av modellens faktorer, inkludert parametere som $\alpha$, $\beta$, $\sigma$, og andre relevante faktorer som bestemmer fordelingen av responstidene.

Simuleringen av dataene er et kritisk steg før modellens anvendelse på virkelige data. Når dataene er simulert, kan vi undersøke hvordan de reagerer på de forskjellige manipulasjonene av oppgavevanskelighet, hastighet og nøyaktighet.

Den hierarkiske implementeringen av modellen gir oss muligheten til å vurdere hvordan individuell variasjon i begge disse aspektene kan påvirke resultatene, og hvordan slike variasjoner kan fanges opp gjennom modellens struktur.

Når modellen er implementert i Stan (et kraftig verktøy for Bayesiansk modellering), får vi en strukturert tilnærming til hvordan disse effektene kan modelleres, inkludert spesifikasjonen av priorene og sannsynlighetsfordelingene for de ulike parameterne. Etter at vi har tilpasset modellen til simulerte data, kan vi analysere resultatene for å se hvordan de estimerte parameterne samsvarer med de virkelige parameterne vi har brukt til å simulere dataene.

En viktig del av å bruke denne metoden er at man kan bruke den til å vurdere hvordan forskjellige justeringer av modellen påvirker konvergensen og påliteligheten til de estimerte parameterne. Ved å bruke simulerte data kan vi identifisere eventuelle problemer med modellens struktur før den brukes på virkelige data. Dette gir oss et robust rammeverk for videre forskning, spesielt når det gjelder å forstå hvordan hastighets- og nøyaktighetshandelen påvirkes av forskjellige deltakere og betingelser.

Videre er det viktig å forstå at denne tilnærmingen kan brukes for å utvikle mer realistiske modeller for beslutningstaking under usikkerhet, som er vanlige i kognitive vitenskaper. Denne modellen gir innsikt i hvordan folk balanserer mellom raskere, men mer feilaktige responser og nøyaktige, men tregere responser, avhengig av oppgavens krav og individets egenskaper.

Hvordan forstå og implementere kontrastkoding i regresjonsanalyser

I et praktisk eksempel kan vi bruke en designmatrise for å hente ut kovariater og lagre dem som numeriske prediktorer i en dataramme. Eksemplet viser hvordan man kan kode forskjellene mellom spesifikke forhold ved hjelp av kontraster for deretter å bruke disse i en multippel regresjonsanalyse:

R
Copy code
df_contrasts3[, c("Fc2vs1", "Fc3vs2", "Fc4vs3")] <- covars[, 2:4]

fit_m3 <- brm(DV ~ Fc2vs1 + Fc3vs2 + Fc4vs3, data = df_contrasts3, family = gaussian(), prior = c(prior(normal(20, 50), class = Intercept), prior(normal(0, 50), class = sigma), prior(normal(0, 50), class = b)))

Resultatene fra analysen viser at regresjonskoeffisientene er de samme som i analysen basert på kontrastene i forrige seksjon. Dette viser hvordan kontraster fungerer som et verktøy for å kode diskrete faktor nivåer inn i en lineær regresjonsanalyse ved å numerisk representere sammenligninger mellom spesifikke forhold eller grupper av forhold. Dette er spesielt nyttig når man ønsker å forstå hvordan ulike betingelser eller grupper skiller seg ut i forhold til den avhengige variabelen.

R
Copy code
Xpol <- contr.poly(4)
(contrasts(df_contrasts3$F) <- Xpol)

fit_Pol <- brm(DV ~ F, data = df_contrasts3, family = gaussian(), prior = c(prior(normal(20, 50), class = Intercept), prior(normal(0, 50), class = sigma), prior(normal(0, 50), class = b)))

Når man går utover en lineær trend, kan man også vurdere kvadratiske eller kubiske trender. Dette kan være nyttig i tilfeller der man forventer at effekten på den avhengige variabelen ikke er lineær, men snarere viser en bølgeformet eller ikke-monoton utvikling. Et slikt mønster kan fanges opp med høyere ordens polynomiske trender som kan gi en bedre beskrivelse av de faktiske dataene.

Et annet alternativ til kontraster er å bruke monotone effekter, som innebærer at man antar en jevn økning eller reduksjon i den avhengige variabelen på tvers av nivåene av en ordnet faktor. I motsetning til kontrastene, hvor vi spesifiserer forskjeller mellom spesifikke nivåer, estimerer man i stedet en enkelt parameter som fanger opp den gjennomsnittlige endringen fra ett nivå til det neste. Dette kan være spesielt nyttig når man har en ordnet faktor og ønsker å få en helhetlig forståelse av hvordan den avhengige variabelen utvikler seg i forhold til den uavhengige faktoren:

R
Copy code
df_contrasts3$F <- factor(df_contrasts3$F, ordered = TRUE)

fit_mo <- brm(DV ~ 1 + mo(F), data = df_contrasts3, family = gaussian(), prior = c(prior(normal(20, 50), class = Intercept), prior(normal(0, 50), class = sigma), prior(normal(0, 50), class = b)))

I tillegg til kontrastkodingen og den lineære regresjonen, er det viktig å forstå hvordan skaleringsproblemer kan oppstå, spesielt når man bruker funksjoner som contr.poly(). Dette kan føre til utfordringer i definisjonen av priorer og modellens tolkning. Derfor kan det være nyttig å lage egne, tilpassede polynomiske kontraster for bedre kontroll over analysen.

Når man velger mellom kontraster og monotone effekter, bør man vurdere både datainnsamlingen og forskningsspørsmålet. Kontraster gir en mer spesifikk tilnærming til å sammenligne ulike nivåer, mens monotone effekter gir en mer generelt beskrivelse av hvordan en faktor påvirker den avhengige variabelen uten å detaljere forskjellene mellom hvert nivå.

Hva er forskjellen mellom K-fold og leave-one-out kryssvalidering?

Kryssvalidering er en metode for å evaluere modellens prediktive nøyaktighet ved å bruke forskjellige deler av datasettet til trening og testing. En av de vanligste metodene er K-fold kryssvalidering (K-fold CV), men det finnes også en annen variant, kjent som leave-one-out kryssvalidering (LOO-CV). Begge metodene er essensielle for å forstå hvordan en modell generaliserer til nye data, men de har ulike egenskaper og bruksområder.

Formelen for å beregne den logaritmiske punktvise prediktive sannsynligheten (𝑒𝑙𝑝𝑑) i K-fold CV kan skrives som:

I motsetning til K-fold CV, der flere observasjoner holdes tilbake i én fold, innebærer leave-one-out kryssvalidering (LOO-CV) at kun én observasjon holdes tilbake av gangen. Det vil si at modellen trenes på alle observasjonene bortsett fra én, og prediksjonen for denne ene observasjonen evalueres deretter. Dette gjentas for alle observasjonene i datasettet, og det gir en nøyaktig vurdering av modellens evne til å forutsi individuelle data.

I LOO-CV, der K er satt lik antall observasjoner $N$, er beregningen av prediktiv nøyaktighet nesten identisk, men hver observasjon vurderes isolert:

For å håndtere dette problematiske aspektet, finnes det tilnærminger som Pareto jevnet viktighetssampling leave-one-out (PSIS-LOO), som gir en tilnærming til LOO-CV uten behov for å trene modellen på nytt for hver observasjon. PSIS-LOO er raskere, men kan være mindre pålitelig i visse tilfeller, spesielt når dataene inneholder ekstremverdier eller feil i prosesseringen. I slike tilfeller kan det være nødvendig å bruke andre metoder for å beregne den prediktive nøyaktigheten eller bruke K-fold CV med en høyere verdi for K.

En annen viktig forskjell mellom K-fold CV og LOO-CV er hvordan prediktiv nøyaktighet tolkes. I K-fold CV rapporteres vanligvis summen av logaritmene til den punktvise prediktive sannsynligheten, som sammenlignes på tvers av forskjellige modeller. Jo høyere denne verdien er, desto bedre er modellens prediktive nøyaktighet. I LOO-CV er det imidlertid vanlig å bruke den negative summen av logaritmene for å beregne en måling kjent som LOO Information Criterion (LOOIC), som også kan brukes til å sammenligne modeller.

En viktig merknad er at forskjellen i prediktiv nøyaktighet mellom modeller kan være vanskelig å tolke uten å vurdere usikkerheten som er knyttet til estimeringen. I praksis indikerer en forskjell på mer enn 4 i den estimerte log-punktvise sannsynligheten at den ene modellen er signifikant bedre enn den andre. Hvis forskjellen er mindre enn 4, kan det være usikkerhet i estimatene, og andre faktorer bør vurderes for å avgjøre hvilken modell som er best.

I tillegg til de teoretiske aspektene ved kryssvalidering er det viktig å forstå hvordan metodene påvirkes av størrelsen på datasettet og valget av hyperparametre. For eksempel vil smale priorer i en Bayesiansk modell kunne føre til skjevhet i posteriore estimater, mens brede priorer kan føre til problemer med konvergens. Antallet prøver som brukes i modellene er også viktig, ettersom for få prøver kan føre til usikre estimater av den prediktive nøyaktigheten.

Kryssvalidering, enten det er K-fold eller leave-one-out, er et kraftig verktøy for å evaluere modellens prediktive evne, men det krever forsiktighet i tolkningen av resultatene. Det er viktig å alltid vurdere metodens usikkerhet, og å bruke andre teknikker som Bayes faktor for å få en mer komplett forståelse av modellen.