Hvordan modellere bilde-navngivningsferdigheter i afasi med MPT-modeller

Modellering av kognitive prosesser, som for eksempel bilde-navngivning hos personer med afasi, kan være en utfordrende, men verdifull oppgave innenfor nevropsykologi og kognitiv vitenskap. En metode som har vist seg å være svært nyttig i slike analyser er Multinomial Processing Tree (MPT)-modellen. Denne modellen tillater oss å undersøke hvordan ulike kognitive prosesser, som behandlingen av ord og deres tilknytning til konsepter, kan bli påvirket av flere faktorer, for eksempel kompleksitet i oppgavene.

Enkelte parametere, som for eksempel $t$ (tensjon), $c$ (kontekst), samt $\alpha_a$ og $\beta_f$, har en betydelig innvirkning på resultatene. Parametrene for $a$ og $f$ justeres i henhold til dataene, med tillegg av individuelle variasjoner for hvert deltaker (subjekt), som beskrives av den tilfeldige effekten $u_a$.

Matematisk sett gir formelen

der $u_a$ representerer den tilfeldige effekten per deltaker. Dette gjør det mulig å innlemme individuelle forskjeller i modellens prediksjoner. Etter at disse individuelle justeringene er foretatt, konverteres verdiene tilbake til sannsynlighetsrommet ved å bruke den inverse logit-funksjonen:

Resultatet gir en justert sannsynlighet for at en deltaker vil velge et bestemt svar. Deretter kan en rekke ulike utfall beregnes ved hjelp av en serie spesifikke sannsynlighetsfunksjoner, som $\text{Pr\_NR}$ (sannsynlighet for "ikke-respondere"), $\text{Pr\_Neologism}$ (sannsynlighet for neologisme), og flere andre. Hver av disse funksjonene er basert på en logistisk modell, som tar hensyn til både komplekse og enkle faktorer, samt kontekstuelle innflytelser.

Et viktig aspekt ved å bruke MPT-modeller er at man kan inkludere ulike nivåer av kompleksitet i oppgavene som deltakerne blir utsatt for. For eksempel, når man modifiserer kompleksiteten av en oppgave (for eksempel ved å variere vanskelighetsgraden i bilder som skal navngis), kan dette ha en direkte innvirkning på hvorvidt deltakerne velger å bruke et korrekt eller feilaktig ord. Beregningen av effekten av kompleksitet på kognitive prosesser er en viktig del av analysen.

For å oppsummere de viktigste resultatene fra en modell som denne, kan man trekke ut estimater som:

Disse resultatene viser at økt kompleksitet har en liten, men signifikant negativ effekt på sannsynligheten for å hente frem de riktige fonemene (lydene) fra minnet. Dette kan ha praktiske implikasjoner i behandling og rehabilitering av personer med afasi, da det antyder at enklere oppgaver kan være lettere for personer med denne tilstanden.

I tillegg til å analysere slike enkle faktorer, er det også viktig å vurdere hvordan disse modellene kan forbedres eller sammenlignes med andre typer modeller. En interessant videreutvikling kunne være å teste konkurrerende modeller som antar alternative latente prosesser. En slik tilnærming kunne gi verdifulle innsikter i hvordan kognitive prosesser kan simuleres på forskjellige måter og hvordan MPT-modeller kan sammenlignes med andre metoder, for eksempel ved hjelp av Bayes faktorer eller kryssvalidering.

Så, til tross for at MPT-modeller gir en kraftig og fleksibel tilnærming til å modellere kognitive prosesser, er det viktig å validere modellene eksperimentelt før man trekker konklusjoner om de kognitive prosessene de representerer. Det er en risiko for at modellens parametere kan bli feilaktig tolket dersom den ikke er tilstrekkelig validert gjennom eksperimentell data.

Hvordan bruke prior predictive distribusjoner og modellvurdering i Bayesiansk dataanalyse

Når man jobber med Bayesian-modeller i verktøy som R, er det vanlig å definere en prior for modellens parametere. I eksemplet som er beskrevet, er det valgt en log-normal fordeling for modellen med en enkel intercept. Ved å sette argumentet sample_prior = "only" kan man simulere data kun fra prioren, uten å inkludere de faktiske dataene i analysen. Dette er viktig for å utforske hvordan modellen oppfører seg før de observerte dataene tas i betraktning.

Når det gjelder prior predictive distributions, er målet å se hvilke verdier som priors kan generere uten noen observasjoner. Dette kan gi en indikasjon på hvor realistiske de valgte priors er. I det gitte eksempelet, hvor det er brukt en normal prior med en forventning på 6 og en standardavvik på 1,5 for intercepten, vil simuleringen generere et sett med verdier som kan visualiseres. Disse visualiseringene viser hvordan de predikerte verdiene avhengig av prioren kan være, for eksempel gjennomsnitt, minimum og maksimum verdier.

Det er viktig å merke seg at ved valg av priorer er det ikke alltid mulig å bruke fullstendig informerte priors, spesielt når det ikke finnes tidligere data som kan veilede valget. Derfor er det vanlig å velge relativt upresise priors i de tidlige fasene av modellen. Etter å ha sett på de prior predictive distribusjonene, kan man bruke disse som et verktøy for å sjekke om de gir realistiske verdier. Hvis de predikerte verdiene virker for ekstreme eller urealistiske, kan man justere priorene for å reflektere mer plausibel informasjon.

Modellen som er brukt i dette tilfellet, har en log-normal fordeling, som er et godt valg for data som har en skjevfordeling, slik som i tilfelle med fingertrykkingstidene i millisekunder. Når modellen er tilpasset, kan man bruke posterior predictive checks for å sammenligne de simulerte dataene med de faktiske observasjonene. Dette gjøres gjennom funksjonen pp_check() i R, som kan visualisere hvor godt de simulerte dataene samsvarer med de observerte.

En annen viktig del av analysen er å vurdere hvordan modellens parametere, som intercept og sigma (som representerer standardavviket), tolkes. I log-normal distribusjoner er det medianen som er interessant, og det betyr at estimatet for intercepten (μ) må omregnes fra log-skalaen til millisekunder. Denne transformasjonen er avgjørende for å få meningsfulle estimater som er tilpasset de observerte dataene.

En grundig sammenligning av prediksjonene fra forskjellige modeller er også viktig. I dette tilfellet sammenlignes log-normal og normal distribusjon for å se hvilken modell som gir mer realistiske verdier for de observerte minimums- og maksimumsverdiene. Det kan være tilfeller hvor ingen modell passer perfekt, men ved å bruke visuelle verktøy og statistiske målinger kan man få en god indikasjon på hvilken modell som best beskriver dataene.

I dette tilfellet, til tross for at log-normal modellen ikke fanger de høyeste verdiene på samme måte som de faktiske dataene, viser de predikerte minimumsverdiene bedre samsvar med de observerte dataene enn den normale modellen. Dette tyder på at log-normal distribusjonen kan være et bedre valg for modelleringen av disse spesifikke dataene.

Når man utvikler slike modeller, er det viktig å være bevisst på at modellen ikke nødvendigvis er perfekt, og det kan være tilfeller hvor datadeling er nødvendig for å utforske mer komplekse modeller. For eksempel, når observasjonene inneholder både raske tastetrykk og langsomme tider, kan det være et tegn på at dataene kommer fra flere underliggende prosesser. Slike blandingsmodeller er mer avanserte, og vil bli behandlet i senere kapitler.

Det er også viktig å merke seg at selv om en modell kan gi gode prediksjoner for noen statistikker, kan det fortsatt være aspekter ved dataene som ikke blir fanget helt. Dette understreker viktigheten av å bruke flere verktøy og metoder for å validere resultatene.

Hvordan Hierarkiske Modeller Kan Forbedre Estimater Av Effekten Av Prediktibilitet På EEG-Signaler

Modellen som er definert i eksempelet, er basert på Bayesianske prinsipper og bruker et hierarkisk rammeverk for å analysere effekten av prediktibilitet på N400 EEG-signalene. Den spesifikke koden som blir brukt til å lage dette er som følger:

r
Copy code
prior = c(prior(normal(0, 10), class = b), prior(normal(0, 50), class = sigma)), data = df_eeg

Når man skriver ut sammendraget av en modell som denne, får man en liste på 75 parametere (𝛼1,...,37, 𝛽1,...,37 og 𝜎). For å gjøre resultatene lettere å forstå, kan vi benytte funksjonen bayesplot til å visualisere verdiene til 𝛽1,...,37. Dette kan være nyttig for å få en mer visuell fremstilling av effekten av ulike faktorer på N400-signalene. En annen metode for visualisering er å bruke en funksjon fra brms, som er pakket inn i stanplot.

Ved å bruke funksjonen variables(fit_N400_np) kan vi få tilgang til de interne navnene som brms tilordner til parametrene. Disse navnene kan for eksempel være b_factorsubj, etterfulgt av et subjektindeks og deretter :c_cloze. For å gjøre det lettere å forstå, kan man endre disse etikettnavnene tilbake til de opprinnelige numeriske indeksene for hvert subjekt og plotte resultatene i en figur som for eksempel figur 5.7.

Modellen som benyttes her, estimerer ikke en unik populasjonsnivåeffekt. I stedet estimeres det forskjellige effekter for hvert enkelt subjekt. Selv om dette kan gi oss en mer detaljert innsikt i variasjonen mellom individer, kan det også føre til problemer som under- eller overpassende av dataene, spesielt når det ikke finnes nok data for enkelte individer.

For å illustrere dette, viser Figur 5.7 effekten av cloze probability for hvert subjekt, sammen med den gjennomsnittlige effekten for alle subjektene (den solid vertikale linjen). Dette gir en visuell representasjon av hvordan effekten varierer fra subjekt til subjekt.

En videre forbedring av modellen er å implementere et hierarkisk modellrammeverk som tar hensyn til både individuelle avvik (random effects) og felles effekter. Dette kan bidra til å unngå problemer som oppstår når man kun fokuserer på individuelle subjekter uten å ta hensyn til gruppens felles struktur.

De tilfeldige effektene representerer individuelle justeringer av både interceptet (𝛼) og skråningen (𝛽). Hvis 𝑢1 er positiv, vil subjektet ha et mer positivt EEG-signal enn gjennomsnittet, og hvis 𝑢2 er positiv, vil subjektet ha en mer positiv respons på endringer i cloze probability. Dette kan være nyttig når vi ønsker å forstå hvordan individuelle forskjeller påvirker responsen på prediktibilitet.

I denne modellen estimeres tre standardavvik: 𝜎, 𝜏𝑢1 og 𝜏𝑢2. Disse representerer variasjonen i den generelle fordelingen, samt variasjonen mellom individene. Dette kan være nyttig for å forstå hvor mye de enkelte subjektene avviker fra den felles, overordnede effekten.

En viktig fordel med å bruke et hierarkisk modellrammeverk som dette er at man kan oppnå en mer presis estimat av effekten av prediktibilitet på EEG-signalene, samtidig som man tar hensyn til de individuelle variasjonene mellom subjektene. Dette kan gi bedre innsikt i hvordan prediktibilitet påvirker N400-responsen, både på individnivå og på populasjonsnivå.

Hvordan implementere prediktive distribusjoner og regresjonsmodeller i Stan?

Et viktig aspekt ved å bruke Stan er hvordan man håndterer prediktive sjekker. For eksempel, i regresjonsmodellen for elevens pupillstørrelse, kan vi først passe modellen på dataene, og deretter bruke funksjonen ppc_dens_overlay() fra pakken bayesplot for å visualisere densitetene fra de prediktive distribusjonene. Dette kan være nyttig for å vurdere hvordan de estimerte modellene passer de observerte dataene.

Når vi ønsker å lage prediktive sjekker for posterior distribusjoner, kan vi først samle data og lage et Stan-program. Deretter kan vi lagre predikerte verdier i variabelen yrep_pupil, som inneholder en matrise av dimensjonene $N_{samples} \times N_{observations}$. Hver rad i matrisen representerer et enkelt trekk fra den posterior-prediktive distribusjonen. Deretter kan vi bruke funksjoner som ppc_dens_overlay() for å visualisere disse prediksjonene sammenlignet med de faktiske observasjonene.

Videre er det viktig å merke seg at når vi jobber med interaksjoner i Stan, kan vi utvide modellen ved å inkludere nye variabler som interaksjoner mellom kognitive belastninger og forsøksnummer. Denne utvidelsen vil tillate oss å analysere hvordan forskjellige faktorer kan samhandle for å påvirke pupillens størrelse. Modellen vi skaper vil inkludere nye parametere, som regresjonskoeffisientene for de nye variablene, og disse koeffisientene vil bli trukket fra identiske prior-distribusjoner.

Når man skriver Stan-modeller for interaksjoner, må vi være oppmerksomme på bruken av matriseoperasjoner. I stedet for element-for-element multiplikasjon kan vi bruke * til matrise-multiplikasjon, og .* til elementvis multiplikasjon. Et vanlig problem oppstår når man har flere prediktorer, og i slike tilfeller kan det være mer effektivt å bruke den innebygde funksjonen _glm i Stan. Denne funksjonen gir en raskere og mer effektiv implementasjon av lineær regresjon og kan være et nyttig verktøy for å håndtere flere prediktorer samtidig.

Et annet viktig aspekt av Stan-modellering er hvordan vi håndterer forskjellige distribusjoner for parametrene. Stan tilbyr en rekke muligheter for å angi distribusjoner for regresjonsparametre, for eksempel å bruke normalfordelinger for koeffisientene og en positiv normalfordeling for standardavviket. Det er viktig å forstå hvordan disse distribusjonene påvirker resultatene og hvordan vi kan justere modellens hyperparametre for å få bedre resultater.

I eksemplet med pupillstørrelse og interaksjoner, defineres modellen i Stan som en normalfordelt regresjon med både kognitive belastninger og trialnummer som prediktorer, samt deres interaksjon. Stan-modellen for dette kan være relativt kompleks, men det er avgjørende å definere de riktige priorene for å sikre at vi får meningsfulle estimater. I tillegg vil modellen bruke Hamiltonian Monte Carlo (HMC) for å utføre sampling, noe som gir presise estimater for parameterne.

For å oppsummere, i Stan-modellering er det viktig å forstå hvordan ulike distribusjoner og priorer påvirker modellens resultater. Når vi implementerer regresjonsmodeller med flere prediktorer og interaksjoner, bør vi alltid vurdere effektiviteten av modellens implementasjon og bruke de innebygde funksjonene for å sikre nøyaktige og pålitelige prediksjoner. Gjennom både prior- og posterior-prediktive sjekker kan vi få innsikt i hvordan modellen fungerer og justere den deretter.

I tillegg til det ovenfor nevnte, er det viktig å være oppmerksom på konvergensen til modellen. Ved å bruke verktøy som Rhat og n_eff, kan vi vurdere om modellen har konvergert til en stabil løsning og om vi har tilstrekkelig med effektive prøver. Hvis konvergensen ikke er god nok, kan det være nødvendig å justere modellens parametre, som for eksempel adapt_delta, for å få bedre resultater.