Hvordan Finite Mixtures Kan Forklare Balansen Mellom Hastighet og Nøyaktighet i Kognitive Prosesser

Stan tillater kun kontinuerlige parametere, noe som er et resultat av algoritmens krav om å kunne beregne de deriverte av den logaritmiske posteriorfordelingen i forhold til alle parametere. Diskrete parametere er ikke deriverbare, ettersom de har "brudd". I probabilistiske programmeringsspråk som WinBUGS, JAGS, PyMC3 og Turing, kan diskrete parametere benyttes, men ikke i Stan. I Stan kan vi imidlertid omgå dette problemet ved å marginalisere ut indikatorvariabelen 𝑧. Hvis 𝑝1 opptrer i blandingen med sannsynlighet 𝜃, og 𝑝2 med sannsynlighet 1 − 𝜃, kan den sammensatte sannsynligheten defineres som en funksjon av Θ (som sammenfatter blandingssannsynligheten 𝜃 og parameterne for 𝑝1 og 𝑝2, Θ1 og Θ2), og viktigst av alt forsvinner 𝑧𝑛:

Denne formelen representerer at hver sannsynlighetsfunksjon, 𝑝1 og 𝑝2, er vektet i henhold til sannsynligheten for at de er den relevante genererende prosessen. For våre formål kan vi si at marginalisering fungerer. Den leseren som er interessert i de matematiske detaljene rundt marginalisering, kan finne mer informasjon i kapitlets videre lesningsseksjon.

Selv om Stan ikke kan tilpasse en modell med en diskret indikator for den latente klassen z, som vi benyttet i den forrige formelen, vil denne tilnærmingen være svært nyttig når vi skal generere syntetiske data. I de følgende seksjonene vil vi modellere et kjent fenomen – nemlig balansen mellom hastighet og nøyaktighet – ved å anta en underliggende prosess for blandede modeller.

Mixturmodellen for Hastighet-Nøyaktighet Trade-off: Fast-Gjettingsmodellen

Når vi står overfor flere valg som krever en rask beslutning, kan vi velge å øke hastigheten på beslutningstakingen på bekostning av nøyaktigheten, eller vi kan prioritere nøyaktighet på bekostning av hastighet. Dette kalles hastighet-nøyaktighet trade-off, et fenomen beskrevet av Wickelgren i 1977. Den mest populære klassen av modeller som kan inkorporere både responstider og nøyaktighet og gi en forklaring på denne balansen er de sekvensielle prøvemodellene, som inkluderer drift-diffusjonsmodellen (Ratcliff, 1978), lineær ballistisk akkumulator (Brown og Heathcote, 2008) og log-normal race-modellen (Heathcote og Love, 2012). Imidlertid har en alternativ modell, kalt Ollmans enkle fast-gjettingsmodell (Ollman 1966; Yellott 1967, 1971), blitt foreslått som en enklere måte å forklare denne balansen på.

Fast-gjettingsmodellen antar at oppførselen i en valgoppgave (som den globale bevegelsesdeteksjonen) er drevet av to distinkte kognitive prosesser: (i) en gjettingsmodus og (ii) en oppgave-engasjert modus. I gjettingsmodusen er responstiden rask, men nøyaktigheten er på tilfeldige nivåer, mens i oppgave-engasjert modus er responstiden langsommere, og nøyaktigheten nærmer seg 100 %. Dette betyr at mellomliggende verdier for responstid og nøyaktighet bare kan oppnås ved å blande responser fra de to modusene.

I denne modellen antar vi at responstidene avhenger av valgoppgavens vanskelighetsgrad, og at sannsynligheten for å være i en av de to modusene er avhengig av hastighetsinsentivene gitt i instruksjonene. For å forenkle modellen, ignorerer vi muligheten for at nøyaktigheten også påvirkes av valgoppgavens vanskelighetsgrad. Vi ser heller bort fra muligheten for at deltakerne kan være biased til én bestemt respons i gjettingsmodusen.

Den Globale Bevegelsesdeteksjonsoppgaven

En måte å undersøke menneskers og primaters atferd på når de konfronteres med to-alternativ tvangssvalg, er ved å benytte den globale bevegelsesdeteksjonen i et tilfeldig punkt kinamatogram (Britten et al. 1993). I denne oppgaven ser deltakerne en mengde tilfeldige prikker på skjermen. En andel av prikkene beveger seg i en bestemt retning (for eksempel til høyre), mens de andre beveger seg i tilfeldige retninger. Deltakernes mål er å estimere den overordnede bevegelsesretningen. En av årsakene til at denne oppgaven er populær, er at den tillater finjustering av vanskelighetsgraden på oppgavene (Dutilh et al. 2019). Vanskeligheten øker når andelen prikker som beveger seg koherent (koherensnivået) er lavere.

Fast-gjettingsmodellen til Ollman (1966) antar at atferden i denne oppgaven (og i enhver annen valgoppgave) er styrt av to kognitive prosesser: (i) gjettingsmodus og (ii) oppgave-engasjert modus. I gjettingsmodusen er responstiden rask, men nøyaktigheten er på tilfeldige nivåer, mens i oppgave-engasjert modus er responstiden langsommere, og nøyaktigheten nærmer seg 100 %. Dette betyr at mellomliggende verdier for responstid og nøyaktighet bare kan oppnås ved å blande responser fra de to modusene. Videre forutsetter modellen at responstidene avhenger av vanskelighetsgraden på oppgaven, og at sannsynligheten for å være i én av de to tilstandene avhenger av hastighetsinsentivene som gis i instruksjonene.

Implementering av Modellen

Modellen til Ollman har noen enkle forutsetninger, og ved å analysere et datasett fra Dutilh et al. (2019) kan vi undersøke hvordan denne modellen passer til virkelige data. Datasettet inneholder omtrent 2800 prøver for hver av de 20 deltakerne i en global bevegelsesdeteksjonsoppgave. Det er to nivåer av koherens som resulterer i både enkle og vanskelige oppgaver, og det er gjennomført under instruksjoner som enten understreker hastighet eller nøyaktighet.

Når vi ser på fordelingen av responstider i dette datasettet, kan vi ikke nødvendigvis se en tydelig bimodal fordeling, noe som kan forventes i en ideell fast-gjettingsmodell. Likevel viser dataene at feilaktige responser var raskere, spesielt når instruksjonene vektla nøyaktighet.

Viktig Å Forstå

For å forstå den kognitive dynamikken i hastighet-nøyaktighet trade-off, er det viktig å merke seg at det ikke nødvendigvis er en enkel, lineær sammenheng mellom hastighet og nøyaktighet. Modeller som bruker blandede prosesser kan gi en mer nyansert forståelse av hvordan ulike kognitive tilstander påvirker beslutningstakingen. Videre er det essensielt å innse at ulike insentiver i oppgaveinstruksjoner kan føre til forskjellige strategier, som igjen påvirker både responstiden og nøyaktigheten.

Endringene i deltakeres atferd avhenger ikke bare av oppgavens vanskelighetsgrad, men også av hvordan hastighetsinsentiver og nøyaktighetsinsentiver manipuleres. Dette belyser hvordan modeller som fast-gjettingsmodellen, til tross for sin enkle natur, fortsatt kan gi verdifulle innsikter i kognitive prosesser under beslutningstaking.

Hvordan tolke modelltilpasningen i psykologiske eksperimenter

Når vi vurderer tilpasningen av en modell i eksperimentelle data, er det flere viktige aspekter å ta hensyn til. Modellen vi benytter kan gi innsikt i individuelle forskjeller, reaksjonstider, og beslutningsprosesser som er relevante i psykologi og kognitiv vitenskap. En av de vanligste metodene for å evaluere slike modeller er gjennom analyse av parameterne som er estimert under eksperimentet.

I vårt tilfelle har vi gjort flere antakelser om hvordan dataene våre oppfører seg, og har benyttet et akkumuleringsmodell for å beskrive deltakerens respons på stimuli. Resultatene av denne modellen gir oss informasjon om både de generelle trender i dataene og de individuelle variasjonene som finnes blant deltakerne.

Når vi ser på de estimerte parametrene, er det tydelig at det er en systematisk tendens til at deltakerne er mer tilbøyelige til å svare med "ikke-ord" i stedet for "ord", gitt at de andre faktorene holdes konstant. Dette kan utledes fra verdiene til parameterne 𝛼, som representerer grenseverdiene for akkumuleringsprosessen for hver beslutningstaker, minus deres akkumuleringstempo. En lavere verdi for 𝛼 indikerer at grensen for beslutningen er nærmere, eller at hastigheten på akkumuleringen er høyere for en gitt akkumulator. For eksempel, når vi ser på verdiene til 𝛼[2] og 𝛼[1], er det en betydelig forskjell, der 𝛼[2] er mindre enn 𝛼[1]. Dette antyder at deltakerne har en tendens til å være mer forsiktige i sin beslutningstaking når de skal velge ord, sammenlignet med når de skal velge ikke-ord. I tillegg er tau_u[1] og tau_u[4] relativt store, noe som tyder på betydelige individuelle forskjeller mellom deltakerne. Den høye og positive korrelasjonen mellom R_u[1,4] bekrefter at de deltakerne som er mer forsiktige når det gjelder å akkumulerer bevis for ord, også er mer forsiktige når det gjelder ikke-ord.

Det er også viktig å merke seg at oppgaven ser ut til å ha blitt godt forstått av deltakerne, ettersom vi ser en økning i hastigheten på akkumuleringen av bevis for ord (beta[1] > 0) og en nedgang i hastigheten for ikke-ord (beta[3] < 0), slik vi forventet. Dette resultatet samsvarer med tidligere funn i litteraturen, som viser at høyere frekvens av ord gjør dem lettere å identifisere korrekt, sammenlignet med ord med lavere frekvens (beta[2] > 0 og beta[4] < 0).

Non-decision-tiden (T_0) viser seg å være relativt lang, noe som kan virke uventet gitt at normal lesing av ord i en setning vanligvis tar rundt 200–400 ms. Dette kan skyldes ekstra prosesser som ikke er direkte relatert til beslutningstakingen, men heller til forberedelser eller venting før selve beslutningen tas. Forholdet mellom ikke-beslutningsresponsene (theta_c) er relativt lite (1 %), men disse responsene er nødvendige for å estimere non-decision-tiden på en meningsfull måte.

Modellen er sensitiv for valg av prior-distribusjoner, noe som er en viktig innsikt. Som vi har sett, kan valg av priors ha stor påvirkning på hvordan modellen tilpasser seg dataene, spesielt når informasjonen i dataene er begrenset. I slike tilfeller er det viktig å bruke velinformerte priors for å styrke modellens prediktive kraft.

I tillegg til å analysere de estimerte parameterne, er det nyttig å utføre en posterior prediktiv sjekk ved hjelp av kvantileprobabilitetsplott. Dette gir en visuell fremstilling av hvordan de simulerte dataene stemmer overens med de observerte dataene. Ved å analysere slike plott kan vi bedre forstå hvilke deler av modellen som fungerer godt, og hvor det er rom for forbedring. Prediksjonen av responstider og valg, kombinert med simuleringer fra modellens posterior, kan avsløre subtile nyanser i beslutningsprosessene som kanskje ikke er åpenbare gjennom bare analyse av de estimerte parameterne.

En annen viktig komponent ved en slik prediktiv sjekk er at den gir oss mulighet til å vurdere hvordan eksperimentelle manipulasjoner påvirker responstidene. Når vi ser på kvantileprobabilitetsplottet, kan vi direkte sammenligne den predikerte fordelingen av responstider med de faktiske observasjonene, og dermed få en bedre forståelse av modellens presisjon. Dette er viktig når vi prøver å avgjøre om modellen på en tilfredsstillende måte fanger opp de underliggende prosessene som styrer beslutningstakingen i eksperimentet.

Med et slikt rammeverk for modelltilpasning og prediksjon kan vi få en dypere innsikt i hvordan deltakerne tar beslutninger, og hvordan ulike faktorer som ordets frekvens eller deltakerens individuelle egenskaper kan påvirke deres responstider og valg. Dette gir oss et kraftig verktøy for å utforske kognitive prosesser på en mer detaljert og nyansert måte.

Hva er forskjellen på modeller med variabel intercept og skråninger og ikke-poolende modeller?

I statistiske modeller som omhandler data fra forskjellige individer, er det viktig å forstå hvordan variasjon mellom subjektene håndteres. I en hierarkisk modell, som den vi ser på her, kan man skille mellom variabelintercept og skråninger, og de som benytter en mer forenklet tilnærming som ikke-pooling.

En modell med variabel intercept og skråninger tar hensyn til at både intercept (den gjennomsnittlige verdien) og skråning (endringen i responsen relatert til prediktoren) kan variere fra subjekt til subjekt. For eksempel, i et EEG-eksperiment hvor vi ser på den elektriske responsen på stimulus (som i tilfelle av N400-effekten), kan hvert individ ha et ulikt nivå av respons (intercept) og en ulik følsomhet for stimulus (skriving). Denne tilnærmingen gjør det mulig å fange opp disse individuelle forskjellene ved å gi hvert subjekt en egen justering, representert ved 𝑢1 for intercept og 𝑢2 for skråning.

I motsetning til dette har den såkalte "ikke-pooling"-modellen en enklere tilnærming, der hvert subjekt behandles separat, og justeringen for både intercept og skråning er uavhengig for hvert enkelt individ. Dette kan være nyttig i noen tilfeller, men det tar ikke hensyn til felles mønstre i dataene på tvers av subjektene. Modellen som benytter variabel intercept og skråninger derimot, lar dataene fra alle subjektene bidra til beregningene av de globale effektene, og gjør det mulig å "shrinke" (redusere variasjonen) på justeringene for å få mer robuste estimater.

Videre blir disse modellene ofte utstyrt med priors på de ulike parametrene, og hyperparametrene som styrer disse priors er også viktige. For eksempel, i modellen vi ser på her, har vi en prior på 𝜏𝑢 som styrer variasjonen mellom subjektene, og vi bruker en normalfordeling for dette (Normal(0, 20)). Dette gir en fleksibel måte å uttrykke usikkerheten i modellens antagelser om variasjonen mellom subjektene, og hvordan denne variasjonen er relatert til de globale effektene.

Når vi bruker "brms"-pakken for å tilpasse modellen, defineres priors for både intercept og skråning, og for standardavvikene til justeringene 𝑢1 og 𝑢2. Disse parameterne er nødvendige for å tilpasse modellen og forstå hvordan variablene i eksperimentet påvirker resultatene. Det er viktig å merke seg at denne typen modell tillater oss å analysere både de individuelle justeringene per subjekt og de globale effektene i samme modell. Et eksempel på en kommando som brukes til å tilpasse modellen kan være fit_N400_v <- brm(n400 ~ c_cloze + (c_cloze || subj), prior = prior_v, data = df_eeg).

Det er også mulig å visualisere resultatene ved hjelp av grafer som viser posterior-distribusjonene for parametrene, og det gir oss en klarere forståelse av hvordan hver deltaker påvirkes av de manipulerte betingelsene. Dette kan være nyttig i å utforske heterogeniteten i effektene, for eksempel ved å sammenligne justeringene for intercept og skråning på tvers av individer. Slike visualiseringer gjør det mulig å bedre forstå variasjonen i dataene og hvilken rolle den enkelte deltakers respons spiller i de overordnede effektene.

I sammenligning med en modell uten pooling, hvor hvert subjekt behandles isolert, gir modellen med variabel intercept og skråninger en mer sofistikert måte å fange opp felles mønstre, samtidig som den tar hensyn til individuelle forskjeller. I tilfeller hvor vi har mistanke om at det er en korrelasjon mellom intercept og skråning, kan vi ytterligere forbedre modellen ved å anta en kovariansmatrise mellom disse to, noe som tillater en mer detaljert modellering av hvordan de to aspektene kan samhandle på tvers av individer.

Endelig er det viktig å merke seg at priors og hyperpriors spiller en kritisk rolle i hvordan modellen konvergerer og hvilke resultater den gir. Å gjøre følsomhetsanalyser for å sjekke at priors ikke er for informative, er en viktig del av modellvalideringen. Dette hjelper oss å forsikre oss om at de priorene vi har valgt er tilstrekkelig nøytrale og ikke påvirker resultatene på en unødvendig måte.

Hvordan modellere EEG-data med varierende effekter: En tilnærming til N400-effekten

Modellen 𝑀𝑠𝑖ℎ introduserer en ny tilnærming for å modellere EEG-data, der både gjennomsnittlig spenning (intercept) og effektene av forutsigbarhet (helning) kan variere på tvers av både forsøkspersoner og stimuli. Denne modellen åpner for mer realistiske antagelser om hvordan individuelle forskjeller i både personer og objekter påvirker de målte EEG-signalene. Modellen er spesielt nyttig i eksperimentelle design som benytter seg av Latin square-strukturer, der både personer og stimuli fungerer som tilfeldige effekter—hver deltaker ser bare én instans av hver stimulus. Men i dette tilfellet antar vi at det finnes en mulig korrelasjon mellom variabelt intercept og helning både for deltakerne og for stimuli.

I modellen 𝑀𝑠𝑖ℎ er EEG-dataene modellert med noen sentrale antakelser. Først og fremst antar vi at gjennomsnittsverdiene for N400-spatio-temporal-vinduet er normalfordelte. Deretter tar vi høyde for at både gjennomsnittlig signalspenning og effekten av forutsigbarhet kan variere mellom deltakerne, og at dette avhenger av en gruppenivå-intercept og helning, samt en korrelasjon mellom disse. Tilsvarende gjelder også for stimuli, hvor vi antar at gjennomsnittlig spenning og effekten av forutsigbarhet varierer på tvers av objektgruppen.

For å beskrive forholdet mellom EEG-signalene og forutsigbarheten på tvers av deltakerne og objektene, bruker vi en lineær modell som tar høyde for både individuelle intercepts og helninger for hver deltaker og objekt. Den generelle modellen kan skrives som:

I denne formelen representerer $u_{\text{subj}[n],1}$ og $w_{\text{item}[n],1}$ de tilfeldige effektene for deltakerne og objektene på interceptet, mens $u_{\text{subj}[n],2}$ og $w_{\text{item}[n],2}$ representerer de tilfeldige effektene på helningen. $\alpha$ og $\beta$ er de faste effektparametrene, mens $\sigma$ er standardavviket.

Videre er det viktig å definere passende priors for parametrene. For eksempel antas $\alpha$ og $\beta$ å være normalfordelte med en gjennomsnitt på 0 og en standardavvik på 10, mens $\sigma$ er antatt å følge en normalfordeling med et positivt standardavvik på 50. For de tilfeldige effektene for deltakerne og objektene (representert ved $u$ og $w$) antar vi at de følger en multivariat normalfordeling med en kovariansmatrise $\Sigma$.

Etter at modellen er spesifisert, kan vi benytte programvaren brms for å passe modellen. En typisk kode for å sette opp modellen kan være:

r
Copy code
fit_N400_sih <- brm(n400 ~ c_cloze + (c_cloze | subj) + (c_cloze | item), 
                    prior = prior_sih, data = df_eeg)

Når modellen er estimert, kan vi undersøke resultatene gjennom sammentrekkene av de gruppebaserte effektene for både deltakerne og objektene. For eksempel kan vi observere hvordan standardavviket for interceptet og helningen varierer på tvers av både deltakerne og objektene. For deltakerne viser resultatene at det er en betydelig variasjon i både interceptet og helningen, men at effekten av forutsigbarhet ($c_{\text{cloze}}$) er relativt konstant på tvers av deltakerne. Den samme analysen for objektene viser også variasjon, men i mindre grad.

Et annet viktig aspekt ved denne modellen er hvordan vi kan validere at den faktisk fanger opp den nødvendige variasjonen i EEG-signalene. Posterior predictive checks kan gi oss verdifull innsikt i om modellen vår klarer å fange den totale signalfordelingen i dataene. Dette kan visualiseres gjennom overlappende densitetsplotter for de prediktive distribusjonene:

r
Copy code
pp_check(fit_N400_sih, ndraws = 50, type = "dens_overlay")

I slike plotter kan vi se om de observerte dataene passer godt med de predikerte verdiene. Hvis vi ser systematiske avvik, kan dette indikere at modellen misfitter for noen deltakere eller objekter.

I tillegg er det viktig å ta hensyn til tekniske utfordringer som kan påvirke nøyaktigheten i EEG-målingene. For eksempel kan store nivåer av impedans mellom elektrodene og huden føre til økt støy i opptakene, og dette kan variere mellom deltakerne. Det er derfor nyttig å sjekke om modellen vår er god nok til å fange denne variasjonen i støyen. En måte å gjøre dette på er å sammenligne de observerte standardavvikene for deltakerne med de prediktive standardavvikene, som kan visualiseres gjennom plotter som grupperer dataene etter deltaker.

Resultatene viser at for noen deltakere ligger de observerte standardavvikene utenfor de prediktive distribusjonene, noe som tyder på at vi kan ha misfittet støyen for disse deltakerne. Dette peker på et behov for å vurdere ytterligere modelljusteringer, kanskje ved å inkludere variabler som bedre kan fange støyens individuelle variasjon.

Slike tekniske detaljer er avgjørende for å sikre at modellen vi bygger ikke bare er statistisk korrekt, men også at den reflekterer de faktiske forholdene i EEG-dataene på en meningsfull måte. Det er nødvendig å kontinuerlig validere modellen med ulike metoder og sørge for at den gir pålitelige resultater på tvers av både deltakere og objekter.

Hvordan Kontrollere For IQ Når Man Sammenligner Respons Tider Mellom Grupper

I denne studien undersøker vi i hvilken grad et treningsprogram kan redusere responstiden i forhold til en kontrollgruppe. Spørsmålet vi søker å besvare, er om treningsprogrammet (𝐹 2) fører til raskere responstider sammenlignet med kontrollgruppen (𝐹 1). For å gjøre dette, har vi lastet inn et simulert datasett og anvendt en statistisk modell som kan estimere effekten av treningsprogrammet på responstider.

Dataene viser at gruppen som har deltatt i treningsprogrammet (𝐹 2), har en gjennomsnittlig raskere responstid enn kontrollgruppen (𝐹 1). I vårt eksempel er den estimerte forskjellen i responstider omtrent 25 ms raskere for gruppen 𝐹 2. Dette antyder at treningen har hatt en positiv effekt på responstidene, slik vi hadde forventet. Imidlertid er det viktig å merke seg at vi ikke kan trekke noen konklusjon om årsak bare basert på denne observasjonen. Vi må også ta høyde for andre faktorer som kan ha påvirket resultatene.

For å kontrollere for andre variabler som kan ha påvirket responstiden, inkluderte vi en ekstra faktor i analysen: IQ. Vi fant at gjennomsnittlig IQ for gruppen 𝐹 2 var betydelig høyere enn for gruppen 𝐹 1 (115 mot 85). Denne forskjellen kan ha påvirket resultatene, og vi må derfor vurdere om forskjellen i responstider kan tilskrives treningen, eller om den rett og slett skyldes forskjellen i IQ mellom gruppene.

Vi kan kontrollere for IQs effekt ved å inkludere IQ som en kovariat i vår statistiske modell. Når vi justerer for IQ, finner vi at forskjellen i responstider mellom gruppene ikke lenger er signifikant. Estimatet for forskjellen mellom gruppene er nå nær null (ca. +7 ms), og de 95 % konfidensintervallene spenner over et bredt område fra -20 ms til +33 ms. Dette indikerer at den opprinnelige forskjellen i responstider kanskje ikke var et resultat av treningen, men heller av forskjellen i IQ mellom de to gruppene.

Det er viktig å merke seg at i en slik analyse, hvor vi prøver å isolere effekten av en variabel (her treningen) ved å kontrollere for en annen variabel (her IQ), må vi gjøre noen forutsetninger. En av de viktigste forutsetningene i slike analyser er at forholdet mellom den kontrollerte variabelen (IQ) og resultatvariabelen (responstid) er likt på tvers av gruppene. Dette kalles for antakelsen om "likhet i regressjonshelling" i statistiske analyser som ANCOVA. Hvis denne antakelsen ikke holder, kan resultatene bli skjeve.

I vårt tilfelle kan vi sjekke denne antakelsen ved å inkludere et interaksjonsterm i modellen, som vil undersøke om effekten av IQ på responstider er forskjellig mellom gruppene. Resultatene fra modellen viste at interaksjonseffekten er nær null, noe som tyder på at forholdet mellom IQ og responstider er det samme i begge gruppene, og at vi derfor kan kontrollere for IQ uten å forvrenge resultatene.

Det er også verdt å merke seg at det er viktig å transformere kontrollerende variabler før de legges til i modellen. I vårt tilfelle senterte vi IQ-variabelen ved å trekke fra gjennomsnittet, og i mer komplekse modeller kan det også være nødvendig å standardisere variabelen ved å dele den på standardavviket. Dette sikrer at alle prediktorer er på samme skala, noe som er viktig for at modellen skal fungere optimalt.

I denne analysen ser vi at det i utgangspunktet virket som om treningsprogrammet førte til raskere responstider, men etter å ha kontrollert for IQ, forsvant den opprinnelige forskjellen. Dette understreker viktigheten av å inkludere relevante kontrollvariabler i eksperimentelle design, slik at vi kan trekke mer presise og gyldige konklusjoner om årsak og virkning.

For videre tolkning av disse resultatene, kan det være nyttig å vurdere flere faktorer som kan påvirke responstidene i kognitive oppgaver, for eksempel motivasjon, oppmerksomhet eller individuelle forskjeller i kognitive evner utover IQ. Videre, i eksperimentelle studier som denne, er det viktig å sørge for at gruppene er sammenlignbare på flere dimensjoner før man trekker slutninger om effekten av et treningsprogram eller annen behandling. Dette kan inkludere både statistiske justeringer som vi har gjort her, samt mer grundig eksperimentell design for å minimere skjevheter i tildelingen av deltakerne til ulike grupper.