Hvordan evaluere prediktiv nøyaktighet ved hjelp av kryssvalidering i Stan

Når man bygger statistiske modeller, spesielt i kontekster som psykologi eller lingvistikk, er det avgjørende å vurdere hvor godt modellen forutsier nye data. Kryssvalidering (CV) er en metodikk som gjør nettopp dette, og gir et mål for modellens generaliseringsevne. I denne sammenhengen vil vi fokusere på teknikker som Leave-One-Out Cross-Validation (LOO-CV) og K-fold Cross-Validation (K-fold-CV), implementert i verktøyene Stan og loo-pakken. Dette er to teknikker som gir innsikt i modellens prediktive nøyaktighet, og kan bidra til å avgjøre hvilken modell som er best når man sammenligner alternativer.

Leave-One-Out Cross-Validation (LOO-CV) i Stan

I eksempelet nedenfor, hvor vi bruker Stan for å fitte en modell og loo-pakken for å evaluere den, kan vi observere hvordan modellen presterer basert på log-likelihood-estimatene. For både den alternative modellen (fit_pupil_int_ll) og den null-modellen (fit_pupil_int_null_ll), viser resultatene at vi ikke kan avgjøre hvilken modell som har bedre prediktiv nøyaktighet utelukkende ved hjelp av PSIS-LOO.

r
Copy code
loo_int <- loo(fit_pupil_int_ll)

loo_null <- loo(fit_pupil_int_null_ll)
loo_compare(loo_int, loo_null)

Resultatene fra LOO-cv viser at begge modellene har relativt sammenlignbare elpd (expected log pointwise predictive density) verdier, og ingen av modellene skiller seg betydelig ut. Dette kan tyde på at datamengden ikke er stor nok, eller at effekten som prøves å påvises er liten.

K-fold Cross-Validation i Stan

I et typisk oppsett for K-fold-CV i Stan, som vist nedenfor, kan man splitte dataene i 10 fold, trene modellen på 9 fold, og deretter evaluere på den holdte folden. Prosessen innebærer å bruke funksjonene sampling() for å tilpasse modellen, og gqs() for å generere kvantiteter som brukes til å beregne log-likelihood for de holdte foldene.

r
Copy code
df_pupil$fold <- kfold_split_random(K = 10, N = nrow(df_pupil))

# deretter kjøres sampling og evaluering for hver fold

Etter at log-likelihood for alle foldene er beregnet, kan vi bruke funksjonen elpd() for å få et samlet mål for modellens prediktive nøyaktighet. Som for LOO-CV kan resultatene være vanskelig å tolke i tilfeller hvor modellene er svært like. I eksempelet med K-fold-CV, er forskjellen i elpd mellom de alternative og null-modellene igjen minimal.

r
Copy code
elpd_pupil_kfold <- elpd(log_pd_kfold)

elpd_pupil_null_kfold <- elpd(log_pd_null_kfold)
loo_compare(elpd_pupil_kfold, elpd_pupil_null_kfold)

Igjen ser vi at K-fold-CV, på tross av grundig testing, ikke gir entydige resultater. Dette kan skyldes en rekke faktorer, inkludert modellens kompleksitet, dataens sparsommelighet, eller den lille størrelsen på effektene som vi prøver å identifisere.

Viktige Betraktninger ved Modellvalidering

Når man bruker kryssvalidering, er det flere faktorer som kan påvirke resultatene. For det første er det viktig å merke seg at kryssvalidering ikke alltid gir definitive svar, spesielt når modellene er relativt like. I situasjoner hvor dataene er sparse, eller effektene er små, kan det være vanskelig å skille mellom modellene. Dette er spesielt relevant i psykologi og lingvistikk, hvor små effekter kan være vanlige.

Ytterligere Lesning

For de som ønsker en dypere forståelse av kryssvalidering, finnes det flere viktige ressurser. Gelman et al. (2014) diskuterer kryssvalidering i statistisk kontekst, og Gronau og Wagenmakers (2018) samt Vehtari et al. (2019) gir innsikt i fordelene og ulempene ved forskjellige kryssvalideringsteknikker. I tillegg finnes det flere blogginnlegg og FAQs, for eksempel fra Aki Vehtari, som gir praktiske råd for implementering og feilsøking når man bruker kryssvalidering i modeller.

Hvordan kan blandingsmodeller og sekvensielle prøveakkumulatorer forklare reaksjonstid og nøyaktighet?

Blandingsmodeller, spesielt i kognitiv vitenskap, gir en fleksibel ramme for å forstå hvordan ulike underliggende prosesser kan bidra til observerte data, slik som reaksjonstid og nøyaktighet i eksperimenter. En sentral innsikt er at slike modeller ofte består av flere komponenter som sammen fanger kompleksiteten i kognitiv atferd. For eksempel kan en "fast-guess"-modell kombinere en komponent som representerer raske, intuitive svar med en annen som reflekterer mer gjennomtenkte beslutninger.

Sammenligningen av slike modeller krever at de opererer på samme avhengige variabler og skalaer. Man kan ikke for eksempel direkte sammenligne en modell som kun forklarer nøyaktighet med en som modellerer både nøyaktighet og reaksjonstid uten å gjøre nødvendige omparametriseringer. Dette understreker viktigheten av konsistens i modellering for å sikre gyldige sammenligninger.

Fordelene med den lognormale løpsmodellen sammenlignet med andre sekvensielle modeller er flere: den er relativt enkel, noe som letter utvidelser til mer komplekse modeller; den har færre problemer med konvergens under estimering; og den kan enkelt håndtere valg mellom flere alternativer, ikke bare binære valg. Selv om mer fleksible modeller som drift-diffusjonsmodellen ofte foretrekkes, er den lognormale løpsmodellen pedagogisk nyttig og praktisk anvendelig, særlig i situasjoner med hierarkiske data.

I en konkret anvendelse, som i en leksikal beslutningstest der forsøkspersoner skal avgjøre om en streng bokstaver utgjør et ord eller ikke, kan denne modellen brukes til å analysere hvordan faktorer som ordfrekvens påvirker både reaksjonstid og nøyaktighet. Ved å log-transformere og sentrere ordfrekvens kan man fange opp hvordan høyere frekvens typisk fører til raskere og mer nøyaktige avgjørelser.

Det er avgjørende å forstå at modelltilpasning og evaluering i slike sammenhenger krever grundige kontroller for konvergens og prediktiv validitet. Blanding av data og marginalisering er komplekse aspekter som må håndteres nøye for å sikre pålitelige konklusjoner. Ufullkommenheter i modellen kan reflektere både begrensninger i selve modellens struktur og i datamaterialets egenskaper, som for eksempel vanskeligheten med å modellere langsomme feil.

Å sammenligne modeller handler ikke bare om statistisk tilpasning, men også om hvorvidt modellen fanger essensen av de empiriske funnene som er viktige for forskningsspørsmålet. Dette innebærer å veie kompleksitet opp mot tolkbarhet og generaliserbarhet.

Hvordan Modellere Respons Tider i Valgoppgaver ved Bruk av Akkumulatormodeller

Modellering av responstider i kognitive valgoppgaver, som den leksikalske beslutningsoppgaven, kan være utfordrende, særlig når man forsøker å forstå hvordan individer tar beslutninger under tidspress. En av de mest brukte tilnærmingene for å modellere slike valgprosesser er den såkalte log-normale akkumulatormodellen. Denne modellen forsøker å fange kompleksiteten i beslutningsprosesser, spesielt når responsene kan variere på grunn av både underliggende beslutningsprosesser og støy (kontaminantdistribusjoner).

Når vi har en respons tid som er mindre enn 0 (𝑇𝑛 < 0), kan det indikere at tidene våre for responsene ikke følger den normale logaritmiske fordelingen, men heller er utsatt for støy fra en kontaminantdistribusjon. I slike tilfeller representeres log-likelihooden i modellen som:

hvor 𝑝𝑙𝑛𝑟𝑎𝑐𝑒 = 0. Dette uttrykket betyr at vi benytter en enkel uniform fordeling, med en vektet miksing mellom en kontaminantdistribusjon og en log-normal fordeling, der parameteren 𝜃𝑐 bestemmer blandingsforholdet mellom de to distribusjonene. I Stan-koden for denne modellen er dette implementert som:

stan
Copy code
target += log(theta_c) + uniform_lpdf(rt[n] | min_rt, max_rt) + log(0.5);

Når 𝑇𝑛 er større enn 0 (𝑇𝑛 > 0), kan dette bety at responstiden er mer kompleks og kan beskrives av en miks av en kontaminantdistribusjon og en log-normal akkumulatormodell. Modellen i slike tilfeller bruker en log-sum-exp-funksjon som også er benyttet i andre modeller for rask beslutningstaking. Den kombinerte log-likelihooden ser slik ut:

I Stan-koden ser dette ut som:

stan
Copy code
target += log_sum_exp( log(theta_c) + uniform_lpdf(rt[n] | min_rt, max_rt) + log(.5), log1m(theta_c) + lognormal_race2_lpdf(T | nchoice[n], mu, sigma));

Denne miksen er viktig fordi den tillater modellen å være fleksibel nok til å håndtere både ideelle og ikke-ideelle data, der det finnes en viss grad av forurensning i de observerte responstidene.

En praktisk utfordring i bruk av slike modeller er konvergensproblemer, som kan oppstå ved utilstrekkelig informasjon om parameterne, spesielt når man arbeider med store datasett eller høyt kompleksitetsmodeller. Et typisk eksempel er når parameteren 𝜃𝑐 for blandingsandelen mellom kontaminant- og log-normal distribusjoner er satt til svært høye verdier som kan føre til at kjedene stagnerer og ikke konvergerer effektivt. For å håndtere dette kan man justere priorene for parameterne, spesielt ved å sette en øvre grense for 𝜃𝑐, for å sikre at modellen konvergerer raskere og på en mer pålitelig måte.

Når man har gjennomført tilpasning av modellen på de observerte dataene, vil resultatene gi en god indikasjon på hvordan parameterne i modellen relaterer seg til de observerte beslutningstidsdataene. Eksemplene på resultatene som kan komme fra modelltilpasningen inkluderer estimater for 𝛼, 𝛽, 𝜎, 𝑇₀, og 𝜃𝑐, som gir innsikt i de underliggende kognitive prosessene.

En annen viktig utfordring når man benytter slike modeller er skaleringsproblemet, spesielt med parameteren 𝑇₀, som representerer ikke-beslutningstiden. Hvis denne verdien er svært høy, som for eksempel 300 ms, kan det være nødvendig å bruke en log-transformasjon av denne parameteren (𝑙𝑇₀ = log(𝑇₀)) for å forenkle samplingprosessen og gjøre modelltilpasningen mer effektiv. Dette skaper en modell med mindre parameterheterogenitet og kan føre til raskere konvergens og mer stabile resultater.

Endelig er det viktig å merke seg at modellens effektivitet og nøyaktighet avhenger sterkt av datakvaliteten. Modellen kan være svært følsom for støy og kan ikke alltid håndtere ekstremverdier i de observerte dataene uten videre justeringer. Derfor er det essensielt å bruke robust statistikk og forskjellige metoder for å verifisere resultatene før man trekker konklusjoner om de kognitive prosessene bak beslutningstakingen.

Hvordan bruke log-normal sannsynlighetsmodell for å tilpasse data fra en enkel deltaker som trykker på en knapp gjentatte ganger

Når man samler inn data fra eksperimenter som innebærer repetitiv atferd, for eksempel når en deltaker trykker på en knapp mange ganger, er det ofte nødvendig å benytte statistiske modeller som kan håndtere tid og responstider. Log-normal modellering er en metode som kan brukes til å analysere slike data, spesielt når responstidene er skjeve og ikke følger en normalfordeling.

Log-normal distribusjonen er nyttig når dataene er positive og skjeve, som ofte er tilfelle i eksperimenter som involverer tid eller responsfrekvenser. I slike tilfeller er det ofte mer passende å bruke en log-normal modell enn en enkel normalfordeling, ettersom log-transformasjonen kan gjøre dataene mer symmetriske. I denne typen modellering representeres variabelen som en logaritmisk transformasjon av den opprinnelige verdien, og dette kan hjelpe til med å håndtere skjevheter i dataene som kan oppstå fra naturlige prosesser som involverer tid eller ventetid.

Likelihood og priors for log-normal modellen

I log-normal modellering, som i all statistisk modellering, er det viktig å spesifisere både likelihood og priors på en passende måte. Likelihood-funksjonen beskriver hvordan de observerte dataene kan være et resultat av de underliggende modellparametrene. For log-normal modellen betyr dette at vi antar at de logaritmerte dataene følger en normalfordeling, noe som gjør det mulig å bruke standard statistiske teknikker for å estimere parameterne. De viktigste parametrene i denne modellen er gjennomsnittet og standardavviket til de log-transformerte dataene.

Priors er antakelser som gjøres om verdiene til modellparametrene før dataene observeres. Når man bruker en log-normal modell, kan man bruke diffuse eller informative priors avhengig av hvor mye tidligere kunnskap man har om de underliggende prosessene. For eksempel, hvis man har grunn til å tro at deltakerens responstider vil være innen et bestemt område, kan man bruke en informert prior som reflekterer dette.

Modellimplementering i brms

I praksis kan log-normal modellen implementeres i R ved hjelp av pakken brms, som gir et grensesnitt til Stan, et kraftig verktøy for probabilistisk programmering. I brms kan modellen spesifiseres ved hjelp av en enkel formel, og det er mulig å inkludere både faste og tilfeldige effekter. For eksempel, i et eksperiment hvor hver deltaker trykker på knappen flere ganger, kan man modellere hver deltakers responstid som en tilfeldig effekt, mens de faste effektene kan representere faktorer som tid, oppgavebelastning eller andre eksperimentelle variabler.

Hvordan kommunisere resultatene?

For log-normal modellen kan man se på prediksjonene av log-transformationene og vurdere om de samsvarer med de faktiske observasjonene. Det er også viktig å kommunisere usikkerheten i resultatene. Siden alle modeller har en viss grad av usikkerhet, er det viktig å bruke credible intervals (som er Bayesiansk analog til konfidensintervallene) for å indikere hvor sikkert man er på estimatene.

Beskrivende tilstrekkelighet

En annen viktig vurdering i statistisk modellering er den beskrivende tilstrekkeligheten til modellen, det vil si hvor godt modellen fanger opp de underliggende mønstrene i dataene. For en log-normal modell er det ofte nyttig å sammenligne de observerte dataene med modellens prediksjoner, og vurdere om det er systematiske avvik. I noen tilfeller kan det være behov for å justere modellen, for eksempel ved å inkludere flere variabler eller ved å endre måten vi spesifiserer priors på.

Hva er viktig å huske på?

Når man bruker log-normal modeller i eksperimenter som involverer repetitiv atferd, er det viktig å være oppmerksom på noen aspekter som kan påvirke resultatene. For det første er det avgjørende å vurdere hvordan eventuelle eksterne faktorer som kan påvirke deltakerens ytelse (som distraksjoner eller endringer i oppgavebelastning) er inkludert i modellen. I tillegg er det viktig å være klar over at log-normal distribusjonen ikke alltid er den beste løsningen for alle typer data, og at andre modeller kan være mer hensiktsmessige avhengig av datatypen og de spesifikke forholdene i eksperimentet.

En annen viktig påminnelse er at det er flere måter å tilpasse log-normal modeller på, og at det er viktig å vurdere om modellen som brukes, gir de beste resultatene for de spesifikke spørsmålene man ønsker å besvare.

Hvordan optimalisere modeller med hierarkisk struktur i Stan

Modellering med иерархическими структурами в Stan требует внимательности к деталям, особенно в контексте проблем с сходимостью и точностью. В данном разделе рассматривается методика построения и настройки таких моделей, в частности, использование некорректной параметризации для решения распространённых проблем с сходимостью, а также оптимизация поведения модели в условиях ограничений вычислительных систем.

Одной из важнейших техник, часто необходимой для устранения проблем с сходимостью, является некорректная перепараметризация. Она позволяет более эффективно справляться с вызовами, возникающими при использовании вероятностных моделей. Для примера рассмотрим иерархическую модель, которая включает в себя различные уровни влияния переменных на зависимые переменные. Такой подход позволяет учитывать различия между субъектами и минимизировать смещение оценок.

Возьмём за основу модель с варьирующимся перехватом. Этот тип модели используется для анализа, где каждый субъект имеет свой собственный корректив, учитывающий специфичные особенности данных для каждого наблюдения. Например, при анализе ЭЭГ сигналов можно предположить, что каждый субъект может иметь уникальный перехват, отличающийся от общего, но для всех будет одинаково действовать эффект, связанный с вероятностью закрытия слов (cloze probability).

Стандартная форма модели с варьирующимся перехватом может быть записана как:

Далее, переходим к более сложной иерархической модели, где предполагается, что каждый субъект может иметь не только варьирующийся перехват, но и варьирующуюся наклонную. В этой модели ослабляется жесткое предположение о том, что все субъекты реагируют одинаково на изменения в предсказателе (в данном случае переменной закрытия). Для этого предполагается, что корректировки для перехвата и наклона не коррелируют между собой.

Математическая запись такой модели выглядит следующим образом:

Для реализации таких моделей в Stan используется следующий код:

stan
Copy code
data {
  int N;
  vector[N] signal;
  int N_subj;
  vector[N] c_cloze;
  array[N] int subj;
}
parameters {
  real sigma;
  real tau_u;
  real alpha;
  real beta;
  vector[N_subj] u;
}
model {
  target += normal_lpdf(alpha | 0, 10);
  target += normal_lpdf(beta | 0, 10);
  target += normal_lpdf(sigma | 0, 50) - normal_lccdf(0 | 0, 50);
  target += normal_lpdf(tau_u | 0, 20) - normal_lccdf(0 | 0, 20);
  target += normal_lpdf(u | 0, tau_u);
  target += normal_lpdf(signal | alpha + u[subj] + c_cloze * beta, sigma);
}

Кроме того, важным моментом является подготовка данных для модели. Например, центрирование предсказателя (в данном случае переменной $cloze$) помогает улучшить сходимость модели, минимизируя влияние сильных смещений в исходных данных. Центрирование может быть выполнено с использованием стандартных методов, например, через вычитание среднего значения из каждого наблюдения.

r
Copy code
df_eeg <- df_eeg %>% mutate(c_cloze = cloze - mean(cloze))

Для итоговой оценки модели в Stan используется стандартная процедура, которая выводит средние значения для ключевых параметров, таких как $\alpha$, $\beta$, $\sigma$ и $\tau_u$, а также проверяет конвергенцию модели с помощью статистики $Rhat$.

Важным аспектом является возможность адаптации модели в зависимости от сложности данных и особенностей исследуемого процесса. Разные сценарии могут требовать более сложных или более простых подходов, и важно всегда проверять результаты на консистентность и значимость.