Kuinka rakennetaan stokastisia prosesseja ja Markovin ketjuja

Stokastisen prosessin rakentaminen voidaan aloittaa määrittelemällä normaalijakauma. Oletetaan, että meillä on peräkkäinen joukko normaalijakaumia $\{Z_n: n = 0, 1, \dots\}$ , joissa jokaisella on nollakeskiarvo ja varianssi yksi. Kun $Z^{(n)} = (Z_0, Z_1, \dots, Z_n)$ on satunnaisvektori, niin satunnaisvektori $X^{(n)} = A(Z^{(n)})'$ on normaali, jonka keskiarvo on nolla ja kovarianssimatriisi on $AA'$ , jossa $A$ on mikä tahansa $(n+1) \times (n+1)$ -matriisi. Lineaarialgebran tunnetun tuloksen mukaan on olemassa matriisi $A$ , joka täyttää ehdon $AA' = (\sigma_{ij})_{i,j=0,\dots,n}$ . Näin ollen $X^{(n)}$ on halutunlainen jakauma $\mu_{0,\dots,n}$ . Koska tämä pätee kaikille $n$ , on olemassa jakaumajoukko, joka täyttää Kolmogorovin johdonmukaisuusehdon. Kolmogorovin olemassaoloteoreeman mukaan voidaan löytää todennäköisyysavaruus $(\Omega, \mathcal{F}, P)$ , jossa on määritelty nollakeskiarvolla varustettu Gaussin prosessi $\{X_n: n = 0, 1, \dots\}$ , jonka kovarianssit ovat $\sigma_{ij}$ .

Seuraavaksi tarkastellaan Markovin prosesseja. Olkoon $S$ laskettavissa oleva tilatila, jonka elementtejä merkitään $i, j, k$ tai $x, y, z$ , ja oletetaan, että meillä on siirtymätodennäköisyysmatriisi $p = (p_{ij})_{i,j \in S}$ , jolla on seuraavat määrittelyominaisuudet: (1) $p_{ij} \geq 0$ , ja (2) $\sum_{k \in S} p_{ik} = 1$ kaikille $i, j \in S$ . Tällaisen matriisin ja todennäköisyysjakauman $\mu = (\mu(i), i \in S)$ avulla voidaan rakentaa, kullekin $n \geq 0$ , jakauma $\mu_{0,1,\dots,n}$ $S^{n+1}$ -tilassa, jossa sigma-algebra $\mathcal{S} \otimes (n+1)$ kattaa kaikki $S^{n+1}$ -alijoukot. Tällöin yksittäiselle joukkoon $\{(i_0, i_1, \dots, i_n)\}$ kuuluvalle yhdistelmälle on määritelty todennäköisyys:

\mu_{0,1,\dots,n}(\{(i_0, i_1, \dots, i_n)\}) = \mu(i_0) p_{i_0i_1} p_{i_1i_2} \dots p_{i_{n-1}i_n}.

Jotta voimme varmistaa, että nämä loppuulottuvuuden jakaumat muodostavat johdonmukaisen sekvenssin, on todettava, että

\sum \mu_{0,1,\dots,n}(\{(i_0, i_1, \dots, i_n)\}) = \mu_{0,1,\dots,n+1}(\{(i_0, i_1, \dots, i_{n+1})\}),

koska summassa $\sum_{i_{n+1} \in S} p_{i_n i_{n+1}} = 1$ . Kolmogorovin olemassaoloteoreeman mukaan tällaisella rakennetuilla prosesseilla on todennäköisyysavaruus $(\Omega, \mathcal{F}, P)$ , jossa on määritelty satunnaismuuttujat $\{X_n: n = 0, 1, \dots\}$ , jotka muodostavat Markovin ketjun alkuperäisen jakauman $\mu$ ja siirtymätodennäköisyysmatriisin $p$ .

Markovin ketjut voidaan määritellä myös äärellisellä tai laskettavissa olevalla tilatiloilla $S$ . Tällöin otetaan huomioon, että Markov-prosessi $\{X_n: n = 0, 1, \dots\}$ omaa Markovin ominaisuuden, jos kullekin $n$ ja $m$ , ehdollinen jakauma $P(X_{n+1} = j_1, \dots, X_{n+m} = j_m \,|\, X_0 = i_0, \dots, X_n = i_n)$ on sama kuin ehdollinen jakauma $P(X_{n+1} = j_1, \dots, X_{n+m} = j_m \,|\, X_n = i_n)$ .

Kun tarkastellaan Markov-ketjua, sen tilatila voi olla äärellinen, laskettavissa oleva tai jatkuva. Jos tilatila on äärellinen, kuten $\{0, 1\}$ , ja siirtymätodennäköisyysmatriisi on

p = \begin{pmatrix} 1-p & p \\ q & 1-q \end{pmatrix},

missä $p \in (0, 1)$ ja $q \in (0, 1)$ , voidaan helposti laskea, kuinka todennäköisyysjakauma $P(X_n = 0)$ kehittyy ajan myötä:

P(X_n = 0) = (1 - p - q)^n \mu(0) + q \sum_{j=0}^{n-1} (1 - p - q)^j.

Laskennan avulla voidaan huomata, että tällainen ketju saavuttaa lopulta vakaan jakauman, joka riippuu siirtymätodennäköisyyksistä $p$ ja $q$ .

Markovin prosessien ja ketjujen keskeinen piirre on niiden "muistiinpanemattomuus": seuraava tila riippuu vain nykyisestä tilasta eikä edellisistä tiloista. Tämä tekee Markov-prosesseista erittäin hyödyllisiä monilla alueilla, kuten taloustieteissä, fysiikassa ja tietojenkäsittelytieteessä, jossa tarvitaan yksinkertaisia malleja, jotka voivat kuvata monimutkaisempia ilmiöitä.

Miten määritellä ja tutkia uusintaprosessia sekä siihen liittyviä Markovin ketjuja?

Uusintaprosessit ovat tilastollisia malleja, joissa tietyt tapahtumat, kuten elinajat, uusivat itsensä tietyin aikavälein, ja tutkimuksessa keskiössä on ymmärtää näiden prosessien vuorovaikutuksia ja niihin liittyviä aikoja. Yksi tärkeimmistä käsitteistä uusintaprosessien tutkimuksessa on, että tietyt satunnaisprosessit, kuten paluuajat ja uusintavälit, voivat käyttäytyä itsenäisesti toistensa suhteen, mikä tekee mahdolliseksi niiden analysoinnin Markovin ketjujen avulla.

Määritellään satunnaismuuttuja $\tau$ , joka ottaa arvot $\mathbb{Z}_+ \cup \{\infty\}$ , ja joka on niin sanottu $\{F_k\}_{k \geq 0}$ -pysähtymisaika, missä $\{F_k\}_{k \geq 0}$ on kasvava sigmapartition. Pysähtymisajan määritelmä on sellainen, että $\{\tau \leq k\} \in F_k$ kaikilla $k \geq 0$ . Tämä edellyttää, että prosessit, jotka liittyvät tähän pysähtymisaikaan, voivat olla täysin riippumattomia, mutta niiden jakaumat saattavat olla tiedossa tietyissä tiloissa, kuten tietyissä aikarajoissa.

Pysähtymisajan perusperiaate tuo esiin tärkeitä piirteitä uusintaprosessissa: sen ajalliset siirtymät voivat olla itsenäisiä ja samankaltaisia useiden toistojen aikana, ja siksi voidaan määrittää siirtymäprosessit, jotka kuvaavat aikarajoja ja siirtymisiä uusintatilojen välillä. Markovin ketjujen osalta tämä tarkoittaa sitä, että perusprosessin siirtymät voivat olla ajasta riippumattomia ja riippua vain edellisestä tilasta.

Tämän perusteella voidaan määritellä uusintaprosessi $\{S_k: k \geq 0\}$ , missä $S_k = \eta_y(k)$ on k:nnen uusinnan ajankohta, ja se esiintyy tietyllä aikavälillä. Jos alkuperäinen tilanne $\eta_0$ on määritelty nollaksi, niin tämä tarkoittaa, että prosessi on lähtötilassa. Tämä liittyy myös niin sanottuun paluuajan käsitteeseen, joka määritellään seuraavasti: $N_n = \inf \{k \geq 0 : \eta(k) \geq n\}$ . Tämä prosessi voi olla myös hyödyllinen ajallisena pisteprosessina, jossa käsitellään kasvavaa satunnaista aikarajaa $S_0 < S_1 < S_2 < \dots$ , joka toteutuu satunnaisesti.

Erilaisilla mallinnustavoilla, kuten Fellerin uusintateoreemalla, on suuri merkitys uusintaprosessien ymmärtämisessä. Fellerin teoreeman mukaan, jos $f$ on yhteinen todennäköisyysmassafunktio ja $\mu = \mathbb{E}[Y_1] < \infty$ , niin rajoittamaton aikaväli, $N_{n+m} - N_n$ , lähestyy tasaisesti $m/\mu$ , mikä on keskiarvo ja osoittaa prosessin pitkän aikavälin käyttäytymistä. Tämä on erityisen tärkeää silloin, kun on kiinnostusta mallintaa ajallisia tapahtumia, kuten elinajat tai paluuaikojen pituudet, joissa keskiarvot ja pitkäaikainen käyttäytyminen määrittävät prosessin ennustettavuutta.

Tämä yhteys Markovin prosessien ja uusintaprosessien välillä voi olla keskeinen, koska se takaa, että jos prosessi täyttää tietyt ehdot, kuten Markovin ketjun perusominaisuudet ja jatkuvat siirtymät, niin prosessin kehitys voidaan ennustaa ja mallintaa luotettavasti. Tämän perusteella voidaan tehdä huomioita siitä, miten satunnaiset aikatapahtumat voivat kehittyä ja mikä on niiden rooli pitkän aikavälin ennusteissa.

Tässä yhteydessä on tärkeää huomata, että satunnaismuuttujat ja niiden käytös voivat vaihdella tilojen välillä ja niiden siirtymät voivat vaikuttaa merkittävästi siihen, kuinka prosessi kehittyy ajan myötä. Eri siirtymien ajallinen riippuvuus ja Markovin ketjun ominaisuudet määrittävät sen, kuinka hyvin prosessi voi lähestyä tasapainotilaa ja kuinka nopeasti se päätyy pysyvään tilaan, jolloin ennustettavuus kasvaa. Tätä prosessia voidaan myös tarkastella ajallisten syklien ja uusintakertojen avulla, jolloin voidaan arvioida prosessin luonteen pitkäaikaisia vaikutuksia ja käyttäytymismalleja.

Mikä on satunnaisten karttojen i.i.d.-sekvenssien rooli dynaamisissa järjestelmissä ja kuvan koodauksessa?

Tarkastellessamme epäyhtälöä (C1.1) huomaamme, että jos $F_u(y) > v$ , niin (inversin määritelmän mukaan) $F_u^{ -1}(v) \leq y$ (koska $y$ kuuluu joukkoon, jonka yli otetaan infimumin määrittäessä $F_u^{ -1}(v)$ ). Yhtälö (C1.1) antaa yksinkertaisesti Lebesgue-mittauksen välin $[0, F_u(y))$ pituudelle. Toisaalta, johdettaessa epäyhtälöä (C1.2), huomataan ensin, että jos $v = 1$ , niin välin $[0, 1]$ sisällä on jono $y_n$ , joka laskee arvoa $F_u^{ -1}(v)$ , ja täyttää ehdon $y_n > F_u^{ -1}(v)$ kaikille $n$ . Tällöin $F_u(y_n) > v$ pätee kaikille $n$ , ja $F_u$ :n oikeanpuoleinen jatkuvuus takaa, että $F_u(F_u^{ -1}(v)) \geq v$ . Tällöin $y \geq F_u^{ -1}(v)$ implikoi $F_u(y) \geq v$ , todistaen epäyhtälön (C1.2). Koska $m(\{1\}) = 0$ , niin yhdessä (C1.1) ja (C1.2) voidaan päätellä, että

m(\{v \in [0, 1]: F_u^{ -1}(v) \leq y\}) = F_u(y) \quad (u \in D, y \in [0, 1]).

Tässä $\gamma_v = \{\gamma v : v \in [0, 1]\}$ , jossa $\gamma_v(u) = \sum F_u^{ -1}(v)$ ja $u \in D$ , määrittelee $\gamma$ -joukon, joka voidaan tunnistaa merkintäjoukolla $[0, 1]$ , ja tätä kautta voidaan määritellä Borelin sigma-kenttä $Q = m$ . Tällöin saadaan

\tilde{p}(u, [0, y] \cap D) = Q(\{\gamma : \gamma(u) \in [0, y] \cap D\}), \quad y \in [0, 1], u \in D.

Tämän tarkastelun taustalla on mittateoreettinen analyysi, kuten Blumen-thalin ja Corsonin (1972) tarjoama kokonaiskuva. Tämä liittyy myös satunnaisten dynaamisten järjestelmien kuvantamiseen, kuten Diaconiksen ja Shashahinin (1986) sekä Barnsleyn ja Eltonin (1988) tutkimuksiin, joissa i.i.d. (itsenäisten ja identtisesti jakautuneiden) satunnaiskarttojen iteroinnilla on saatu aikaan kuvan koodauksen mielenkiintoinen sovellus. Kuvan esittäminen perustuu todennäköisyysmitta $\nu$ , joka jakaa massan $1/b$ kullekin $b$ mustalle pisteelle. Tämä mitta $\nu$ likimääräistetään satunnaisesti valitun kahdenulotteisen affiinikartan luomalla invariantilla todennäköisyydellä, jota säädellään sopivalla vastaavuusalgoritmilla.

Tehtävämme on siis tutkia, kuinka nämä satunnaiskartat vaikuttavat mittateoreettisessa ympäristössä ja kuinka ne voivat tuottaa relevantteja tuloksia kuvan koodauksen ja dynaamisten järjestelmien analyysissä.

Jatkamme seuraavaksi osassa 3.5, joka käsittelee ei-väheneviä karttoja $\mathbb{R}^+$ -avaruudessa. Yleistämämme teoreemaa, kuten Teoreemaa 5.1, hyödynnetään tässä kontekstissa monidimensionaalisten tapauksien käsittelyyn. Tämä lähestymistapa on hyödyllinen myös keskeisten raja-arvoteoreemojen, kuten keskivertoisen raja-arvoteoreeman (Central Limit Theorem), todistamisessa. Koko osassa esitämme lyhyen käsittelyn Bhattacharyan ja Leen (1988) menetelmästä, jota on myöhemmin muokattu ja laajennettu asianmukaiseksi yleistykseksi Teoreemalle 5.1 monidimensionaaliselle $\mathbb{R}^+$ -avaruudelle.

Vaikka Teoreema C5.1 ei ole täydellinen yleistys Korollaarista 5.2, joka pätee i.i.d. (jatkuville) monotonisille kartoille, Teoreema C5.1 olettaa, että kartat $\alpha_n$ ovat i.i.d. (mitattavissa olevia) monotonisesti kasvavia. Tämä huomioitava ero on keskeinen analyysin kannalta, sillä yhdensuuntaisesti kasvavat kartat eroavat analyysiltään niistä, joissa on sekventiaalisia muutosvaihtoehtoja.

Satunnaisten ja ei-vähenevien karttojen analyysi jatkuu monivaiheisessa laskennassa, ja on ratkaisevan tärkeää huomata, että pätevän metrivälin valinta on avainasemassa. Esimerkiksi, jos $S$ on suljettu osa $\mathbb{R}^d$ :sta ja $\alpha_n$ on i.i.d. sekvenssi, niin metrin $d_A$ ja siihen liittyvän mittateoreettisen analyysin avulla voidaan todistaa, että konvergenssi metrin $d_A$ mukaan implikoi heikon konvergenssin.

Yksi tärkeimmistä seikoista on, että tätä analyysiä ei voida suoraan soveltaa, jos $\alpha_n$ voi olla sekä kasvava että laskeva samaan aikaan, mikä tuo lisähaasteita analyysiin.

Miten markoviset päätöksentekoprosessit ja kilpailutulojen epävakaus vaikuttavat taloudelliseen kasvumalliin?

Markov-mallien ja kilpailutulojen epävakauden yhdistäminen talousdynaamisiin teorioihin tarjoaa syvällisiä näkemyksiä taloudellisen käyttäytymisen ja kasvun mekanismeista. Markovin päätöksentekoprosessit, joissa on puutteellista tilatietoa, ovat keskeinen väline taloustieteellisissä malleissa, joissa tulevaisuus riippuu aiemmista päätöksistä ja tilanteista, mutta kaikki tilat eivät ole tunnettuja. Tämä tilanne tuo esiin merkittäviä haasteita optimaalisten politiikkojen ja strategioiden määrittelyssä. Sawarigi ja Yoshikawa (1970) esittivät tutkimuksessaan, että kun päätöksenteko on epävarmaa ja riippuu vain osasta tilatietoa, strategiset valinnat voivat johtaa merkittäviin poikkeamisiin odotetusta tuloksesta.

Dynaamisessa ohjelmoinnissa, kuten Schal (1975) on todennut, optimaalisen politiikan löytämisen edellytykset muuttuvat huomattavasti, kun tilatiedot ovat epätäydellisiä. Markov-ketjut ja niihin liittyvät iteratiiviset funktiot tuovat esiin sen, kuinka systeemin käyttäytyminen voi olla ennakoimatonta, erityisesti pitkässä juoksussa. Jos ajanjaksojen määrä kasvaa, järjestelmän käytös voi muuttua ennustamattomaksi tai epävakaaksi. Tämä on erityisen tärkeää, kun tarkastellaan talouskasvun malleja, kuten Solow (1956) ja Uzawa (1964) ovat tehneet, sillä kilpailutulojen tasapaino voi järkkyä ja johtaa systeemisiin epäjatkuvuuksiin.

Kilpailutulojen epävakaus, jota Scarf (1960) käsittelee, ilmenee, kun markkinavoimien keskinäinen vuorovaikutus johtaa tilanteisiin, joissa taloudelliset tasapainot eivät ole stabiileja. Talouden muutos voi siis aiheuttaa arvaamattomia ja jopa dramaattisia muutoksia pitkällä aikavälillä. Tällainen kilpailutulojen epävakaus on erityisesti merkityksellinen silloin, kun taloudelliset mallit eivät huomioi kaikkia ulkoisia tekijöitä tai tulevaisuuden epävarmuutta.

Dynaamiset kasvumallit, kuten Azariadis (1990) ja Benhabib (1990) ovat kehittäneet, tekevät selväksi, että epävakaus voi syntyä, kun talouden kasvu ei ole enää tasapainoista. Tällöin pitkän aikavälin taloudelliset ennusteet voivat muuttua radikaalisti riippuen siitä, kuinka hyvin talous pystyy sopeutumaan markkinoiden häiriöihin ja muutoksiin. Koko talouden dynaaminen käyttäytyminen voi näin ollen olla alttiina epälineaarisille ilmiöille, kuten yksittäisten taloudellisten toimijoiden toiminnalla on huomattava vaikutus järjestelmän käyttäytymiseen.

Tässä kontekstissa Ramsey-mallin, jota Sorger (1992, 1994) on käsitellyt, rooli kasvaa, koska se tarjoaa tehokkaita työkaluja optimaalisen kasvupolitiikan määrittämiseksi. Kyseinen malli auttaa ymmärtämään, kuinka talouden eri sektorit voivat saavuttaa tasapainon ottaen huomioon rajalliset resurssit ja epätäydellisen tiedon. Kuitenkin, kuten Stokey ja Lucas (1989) toteavat, dynaamiset mallit eivät ole aina yksiselitteisiä, ja talouden kasvu voi siirtyä spiraaliin, joka vie sen pois alkuperäisestä tasapainotilasta.

Tällaiset mallintamisessa ilmenneet haasteet nostavat esiin erään keskeisen kysymyksen: Miten talouden toimijat voivat reagoida optimaalisti epävarmuuteen ja epävakauteen, kun he eivät kykene saamaan täydellistä kuvaa nykyisestä tilasta tai tulevaisuudesta? Tämä on kysymys, joka on tärkeä niin yksittäisille talouden toimijoille kuin talouspolitiikan tekijöille. On huomattava, että optimaalisen päätöksenteon saavuttaminen vaatii paitsi matemaattista mallinnusta, myös kykyä huomioida talouden laajemmat rakenteet ja häiriötekijät.

Lopuksi on syytä muistuttaa, että vaikka dynaamiset kasvumallit tarjoavat hyödyllisiä näkökulmia talouden kehitykseen, ne voivat olla monimutkaisia ja epävakaita, erityisesti silloin, kun otetaan huomioon puutteellinen tieto ja epävakaat markkinat. Talouden pitkäaikaiset ennusteet voivat olla epäluotettavia, ellei oteta huomioon kaikkia mahdollisia muutoksia ja häiriöitä. On tärkeää ymmärtää, että talouden dynaaminen käyttäytyminen ei ole vain seurausta yksittäisten taloudellisten tekijöiden muuttumisesta, vaan se on seurausta monen eri tekijän ja vuorovaikutusten yhteisvaikutuksesta.

Miten neuroinflammatoriset prosessit vaikuttavat kipukokemukseen?
Miten ulkomaalaisten vaikutus voi muuttaa Yhdysvaltain poliittista prosessia?
Miksi otoskoko ja sen määrittäminen ovat keskeisiä tutkimussuunnitelmissa?
Miten Mamdani-päättelymalli ennustaa suolapitoisuutta jokisuistoissa?
Miten kvanttifysiikka selittää päätöksentekomme epäjohdonmukaisuudet?