Hvordan modellere sannsynligheter i kategoriske data ved hjelp av MPT-modeller

Ved vurdering av om en modell klarer å "gjenfinne" de sanne punktverdiene til parametrene, refererer "gjenfinne" til at de sanne verdiene finnes et sted innenfor modellens posterior distribusjon. De frekvenste egenskapene til Bayesian-modeller garanterer at dersom vi simulerer data flere ganger, vil 95% av de sanne verdiene ligge innenfor 95% CrI-intervallene generert av en "godt kalibrert" modell. Dersom de sanne verdiene av noen parametere konsekvent ligger godt utenfor deres posterior distribusjon, kan dette tyde på et problem med modellspesifikasjonen. I følge Cook, Gelman og Rubin (2006) er dette en nyttig tilnærming for å verifisere at modellen vår er noenlunde korrekt. En mer prinsipiell (og beregningsmessig krevende) metode innebærer simulering-basert kalibrering (SBC), som er beskrevet i kapittel 10.2 i kapittel 10 (se også Talts et al., 2018; Schad, Betancourt og Vasishth, 2020).

En effektiv tilnærming til modellering av kategoriske svar er å bruke den kategoriske fordelingen, som gir oss større fleksibilitet i å definere hva som skjer i hver prøve. Men uten å benytte den ekstra fleksibiliteten er det ingen vesentlig forskjell på den nye modellen og den forrige. Her presenteres et eksempel hvor vi benytter den kategoriske fordelingen til å modellere individuelle svar basert på et sett med sannsynligheter. Dataene i dette tilfellet vil være en observasjon av flere kategoriske svar som antas å være generert av sannsynlighetene definert av parameteren 𝜃.

Ved å tilpasse modellen med de nødvendige parameterne, for eksempel med hjelp av Stan (et programvarepakke for statistisk modellering), vil vi kunne estimere posterior distribusjoner for sannsynlighetene for hver mulig respons. Disse posteriore estimatene er beregnet ved hjelp av de tilfeldige dataene som simuleres i modellen, og de to metodene (den originale og den kategoriske tilnærmingen) vil gi omtrent de samme parameterne, til tross for små forskjeller i den tilfeldige data-genereringen og prøvetakingsprosessen.

Modellering av evner i bilde-naming ved hjelp av MPT-modeller

Multinomial Processing Tree (MPT)-modeller gir en metode for å estimere latente variabler som har en psykologisk tolkning, basert på kategoriske data. I sin enkleste form kan en MPT-modell betraktes som en måte å modellere kategoriske svar på, der utfallet følger en multinomial eller kategorisk fordeling. MPT-modeller antar at de observerte kategoriske svarene kommer som resultat av en sekvens av underliggende kognitive hendelser, som representeres som et binært forgreinet tre. Hver forgrening i treet er knyttet til en parameter som representerer sannsynligheten for å velge enten den ene eller den andre grenen.

I modellen prøver deltakeren å identifisere et objekt fra et bilde og navngi det. Gjennom et binært forgreningstre, kan ulike sannsynligheter for å oppnå forskjellige svar beregnes. En deltaker kan enten velge å gi et korrekt svar, et relaterte ord, en blanding av ord, eller en neologisme. Hver vei i treet er knyttet til forskjellige sannsynligheter, som kan beregnes og dermed modelleres ved hjelp av MPT. I den spesifikke modellen som er beskrevet i denne sammenhengen, er de relevante parametrene: sannsynligheten for å gjøre et leksikalt valg (𝑎), sannsynligheten for å velge målordet (𝑡), sannsynligheten for å hente det korrekte fonemene (𝑓), og sannsynligheten for at en fonologisk feil fører til et reelt ord i stedet for et neologisme (𝑐).

Beregning av sannsynlighetene i MPT-grenene

For å beregne sannsynlighetene for de forskjellige svarene i MPT-modellen, benyttes en rekke formler basert på de fire underliggende parametrene som styrer treets forgreninger. For eksempel, sannsynligheten for et ikke-svar (NR) er enkelt uttrykt som:

Andre sannsynligheter, som for neologisme, formal relaterte ord eller korrekte svar, kan beregnes ved å bruke produktregelen fra sannsynlighetsteori, hvor hver gren i treet representerer en hendelse som kan påvirkes av de øvrige parametrene.

Det som er viktig å merke seg er at disse modellene ikke bare gir et mål for hvilke feil som oppstår, men også hvordan forskjellige kognitive prosesser kan påvirke et enkelt forsøk, som å navngi et bilde. Dette kan være svært nyttig i psykologisk og nevropsykologisk forskning, spesielt når man analyserer språkfunksjoner hos personer med afasi eller andre språkvansker.

Hvordan Bayes Faktorer og Priorer Påvirker Modellvurdering: En Nøkkel til Forståelse av N400-Effekten

Når vi arbeider med Bayesianske modeller for å vurdere effekter i eksperimentelle data, som for eksempel i neurokognitiv psykologi, står vi ofte overfor utfordringen med å estimere marginal log-likelihood. Dette er sannsynligheten for dataene gitt modellen, etter at modellparametrene er integrert bort. I enkle eksempler kan vi bruke funksjonen integrate() i R for å utføre denne integrasjonen. Imidlertid, når vi håndterer mer realistiske og komplekse modeller, blir ikke integrasjonen trivielt mulig, da de nødvendige integralene kan være altfor høy-dimensjonale for å løses med enkle metoder.

En standard tilnærming for å håndtere slike situasjoner er å benytte seg av bridge sampling (Gronau et al., 2017; Gronau, Singmann, og Wagenmakers, 2020). Dette er en teknikk som lar oss utføre integrasjonen med større presisjon i mer komplekse modeller. Ved å bruke funksjonen bridge_sampler() kan vi estimere den marginale log-likelihooden for hver modell. For eksempel, i studien som omhandler N400-effekten, kan vi beregne marginal log-likelihood for to modeller:

r
Copy code
margLogLik_linear <- bridge_sampler(fit_N400_h_linear, silent = TRUE)

margLogLik_null <- bridge_sampler(fit_N400_h_null, silent = TRUE)

r
Copy code
BF_ln <- bayes_factor(margLogLik_linear, margLogLik_null)

I vårt eksempel viste Bayes faktoren en sterk preferanse for den alternative modellen som inkluderte en koeffisient for cloze probability, og resultatet ble tolket som sterk støtte for effekten av denne variabelen.

Hva skjer når vi er usikre på priors?

r
Copy code
priors_vague <- c(

  prior(normal(2, 5), class = Intercept),

  prior(normal(0, 500), class = b),

  prior(normal(10, 5), class = sigma),

  prior(normal(0, 2), class = sd),
  prior(lkj(4), class = cor)
)

Når vi bruker denne prioren, kan vi fortsatt estimere effekten av cloze probability ganske godt:

r
Copy code
posterior_summary(fit_N400_h_linear_vague, variable = "b_c_cloze")

Men når vi utfører bridge sampling for modellen med den usikre prioren, ser vi at Bayes faktoren ikke gir sterke bevis for en effekt. Den estimerte Bayes faktoren er 0.58, noe som kan tolkes som bevis for nullmodellen over den alternative modellen. Dette viser hvordan priors påvirker resultatene av Bayes faktorberegningene. En vid prior, som tillater store effekter, kan gi et resultat som er uforenlig med de faktiske dataene, spesielt hvis det ikke er tilstrekkelig evidens for store effekter i dataene.

Betydningen av å forstå effekten av priors

Et viktig poeng er at Bayes faktorer aldri er helt uninformative når det gjelder valg av prior. En prior definerer alltid en viss grad av antagelser om mulige effektstørrelser. For å få et mer presist bilde av effekten kan vi gjøre en følsomhetsanalyse, der vi sammenligner flere modeller med forskjellige priors. Denne tilnærmingen lar oss se hvordan resultatene varierer avhengig av valg av prior og gir et mer nyansert bilde av hvordan resultatene påvirkes av de underliggende antagelsene.

I en følsomhetsanalyse kan vi for eksempel bruke en rekke forskjellige standardavvik i priors, som viser hvordan graden av usikkerhet om effektstørrelsen påvirker Bayes faktorene. I vårt eksempel kan vi bruke standardavvik som varierer fra 1 til 100, og analysere hvordan resultatene endres:

r
Copy code
prior_sd <- c(1, 1.5, 2, 2.5, 5, 8, 10, 20, 40, 50, 100)

BF <- c()
for (i in 1:length(prior_sd)) {
  # Beregn Bayes faktor for hver prior
}

Ved å utføre en slik følsomhetsanalyse kan vi undersøke hvordan resultater er følsomme for ulike antagelser om usikkerheten i effektstørrelsen. Dette kan hjelpe oss å forstå hvor robust modellen er og om resultatene er sensitive for valget av prior.

Det er også viktig å merke seg at en veldig stor prior, som for eksempel et standardavvik på 100, kan være urealistisk for mange praktiske eksperimentelle innstillinger, selv om slike verdier brukes for illustrasjon. I praktisk forskning bør vi være forsiktige med å velge for ekstreme priors, da det kan føre til modellfeil eller feilaktige konklusjoner.

Viktige refleksjoner

Det er derfor viktig å ha en god forståelse av både de statistiske metodene som benyttes, og hvordan ulike priorer kan endre resultatene av Bayes faktoren. En følsomhetsanalyse er en nyttig tilnærming for å vurdere hvor robuste resultatene våre er for ulike antagelser, og kan gi et mer nyansert syn på hvordan vi tolker eksperimentelle data.