Markov-prosessien analyysissä siirtymätodennäköisyyksien arvioiminen on keskeinen osa, joka vaatii tarkkaa huomiota siihen, miten eri ryhmien käyttäytyminen voi vaikuttaa kokonaispopulaation dynamiikkaan. Erityisesti silloin, kun kyseessä on heterogeeninen populaatio, yksinkertaiset satunnaisotannat voivat johtaa virheellisiin johtopäätöksiin siirtymätodennäköisyyksistä. Tämä käy ilmi, kun tarkastellaan siirtymätodennäköisyyksiä, jotka kuvaavat yksilöiden siirtymistä tilasta toiseen tietyn ajan kuluessa.

Esimerkiksi, jos otetaan satunnainen näyte populaatiosta ja lasketaan, kuinka suuri osa siirtyy tilasta 0 tilaan 1 yhden ajanjakson aikana, saamme arvioita, jotka voivat poiketa todellisista siirtymätodennäköisyyksistä. Tämä arvio on puolueellinen ja voi olla suurempi kuin populaation todellinen siirtymätodennäköisyys, ellei populaatio ole homogeeninen. Mikäli populaatio on heterogeeninen, kuten työmarkkinassa työttömyys- ja työllisyystilojen välillä, yksinkertaiset satunnaisotannat voivat yliarvioida siirtymätodennäköisyyksiä.

Käytännössä tämä tarkoittaa sitä, että esimerkiksi työttömyysmarkkinoilla arvioitun siirtymätodennäköisyyden yliarviointi voi johtaa virheellisiin ennusteisiin, jotka väittävät, että yksilöt siirtyvät työttömyydestä työllisyyteen nopeammin kuin todellisuudessa tapahtuu. Tämä voi johtua siitä, että samassa tilassa pysyminen, olipa kyseessä työttömyys tai työllisyys, on itse asiassa yleisempää kuin mitä otannasta saatavat yksinkertaiset arviot näyttävät.

Erityisesti heterogeenisten populaatioiden osalta voidaan havaita myös, että siirtyminen eri tilojen välillä tapahtuu odotettua harvemmin kuin yksinkertaisilla otanta-arvioilla olisi ennakoitu. Tämä puolestaan voi vaikuttaa pitkän aikavälin ennusteisiin ja siirtymien arviointiin. Siksi on tärkeää ymmärtää, että otannan kautta saadut arviot siirtymätodennäköisyyksistä voivat olla virheellisiä, ellei otannan edustavuus ole huolellisesti tarkasteltu ja populaation rakenne huomioitu.

Tämä liittyy myös Markov-prosessien pysyvyyteen ja vakautumiseen pitkällä aikavälillä. Jos tarkastellaan jaksollista Markov-ketjua, jonka periodi on suurempi kuin yksi, voidaan havaita, että jaksojen välillä tapahtuvat siirtymät eivät ole välttämättä tasaisesti jakautuneita. Esimerkiksi, jos jollain osalla populaatiosta on jakso, jolloin he pysyvät tilassaan pidempään kuin muilla, tämä voi vaikuttaa siirtymätodennäköisyyksien arviointiin ja ennusteiden tarkkuuteen.

Tämän vuoksi on tärkeää ottaa huomioon, että Markov-prosessin siirtymätodennäköisyyksiä arvioitaessa on oltava erityisen tarkka populaation heterogeenisuuden suhteen. Yksinkertaiset otanta-arviot saattavat antaa vääriä johtopäätöksiä, ellei niitä osata soveltaa oikein heterogeenisiin populaatioihin.

Lopuksi, vaikka siirtymätodennäköisyyksiä voidaan arvioida ja käyttää monin tavoin ennusteiden tekemiseen, on tärkeää ymmärtää, että pidemmän aikavälin tarkastelu ja tarkat, perusteelliset analyysit, jotka ottavat huomioon populaation rakenne ja erityispiirteet, ovat avainasemassa, kun pyritään saamaan realistisia ja tarkkoja ennusteita.

Markov-ketjujen positiivinen palautuvuus ja pysyvät jakaumat

Markov-ketjun invariantin todennäköisyyden olemassaolon todistaminen perustuu olennaisten tilojen käsitteeseen ja ketjun palautuvuuteen. Kun tarkastellaan Markov-ketjua, jonka tilat ovat äärellisiä, voidaan osoittaa, että tällaisella ketjulla on ainakin yksi invariantti todennäköisyys. Tämän todistamiseksi ensin osoitamme, että olennaisten tilojen luokka EE on ei-tyhjä. Jos kaikki tilat ovat epäolennaisia ja siten siirtyviä (Propositio 7.2), niin p(n)ij→0p(n)_{ij} \to 0 kun n→∞n \to \infty kaikille i,j∈Si, j \in S (Lause 7.1). Tämä vastaa siihen, että tilojen siirtyminen mahdollistaa todennäköisyyksien summan lähestymisen nollaan, mikä johtaa ristiriitaan. Tällöin tiedämme, että vähintään yksi tila on olennaista.

Jos EE koostuu yhdestä kommunikoivien tilojen ekvivalenssiluokasta, voidaan Markov-ketjua rajoittaa tähän osajoukkoon ja osoittaa invariantin todennäköisyyden olemassaolo käyttäen joko Korollaaria 5.1 tai Lauseen 5.2 tuloksia. Mikäli EE koostuu useista kommunikoivien olennaisten tilojen ekvivalenssiluokista E1,E2,…,EmE_1, E_2, \dots, E_m, niin edellä esitetyn perusteella voidaan todeta, että jokaisella EjE_j (1 ≤ j ≤ m) on oma invariantti todennäköisyytensä, joka voidaan laajentaa koko tilatilaan SS.

Tällöin voidaan käyttää Lauseen 5.2 tuloksia ja huomata, että Markov-ketjun pitkäaikainen käyttäytyminen lähestyy aina tietyntyyppistä tasapainotilaa, joka määrittyy invariantin todennäköisyyden kautta. Tämä koskee erityisesti äärellisiä tilatiloja, mutta ei laajene äärettömiin laskettavissa oleviin tilatiloihin, joissa monet irreduktiiviset Markov-ketjut voivat olla siirtyviä, eli niillä ei ole invarianttia jakaumaa.

Tässä osiossa tarkastellaan myös, miten Markov-ketjun pysyvyyden ja tasapainon saavuttaminen liittyy sen palautuvuuteen. Tärkeä käsite on positiivinen palautuvuus, joka määritellään niin, että tilan xx palautusaika ηx\eta_x on äärellinen, eli Ex[ηx]<∞E_x[\eta_x] < \infty. Jos taas tilan palautusaika on äärettömän suuri, puhumme nollapalautuvuudesta, eli Ex[ηx]=∞E_x[\eta_x] = \infty. Kun kaikki Markov-ketjun tilat ovat positiivisesti palautuvia, voidaan sanoa, että ketju on positiivisesti palautuva Markov-ketju.

Positiivisen palautuvuuden ja invariantin jakauman välillä on suora yhteys. Jos Markov-ketjulla on positiivinen palautuva tila ii, niin sillä on invariantti jakauma, jonka painot πj\pi_j voidaan laskea kaavalla πj=lim⁡n→∞1n∑m=1np(m)ij\pi_j = \lim_{n \to \infty} \frac{1}{n} \sum_{m=1}^n p(m)_{ij}, jossa p(m)ijp(m)_{ij} on siirtymätodennäköisyys tilasta ii tilaan jj. Tämä jakauma on ainutlaatuinen ja sille voidaan todeta olevan invariantti tulo.

Jos Markov-ketjun kaikki tilat ovat positiivisesti palautuvia, niin voidaan osoittaa, että invariantti jakauma on sekä ainutlaatuinen että koko ketjulle pätevä. Tätä voidaan edelleen käyttää ketjun pitkäaikaisen käyttäytymisen ennustamiseen. Erityisesti merkityksellistä on, että invariantti jakauma ei riipu alkuperäisestä tilasta vaan se pätee kaikilla alkuperäisillä tiloilla, ja ketju saavuttaa tämän tasapainotilan ajan myötä.

Kun Markov-ketju on palautuva, voidaan myös tutkia sen konvergenssia pitkäaikaisessa käytöksessä. Tällöin keskeinen tulos on, että jos ketju on positiivisesti palautuva, niin siirtymätodennäköisyydet konvergoivat kohti invarianttia jakaumaa, eli:

lim⁡n→∞1n∑m=1np(m)ij=πj\lim_{n \to \infty} \frac{1}{n} \sum_{m=1}^n p(m)_{ij} = \pi_j

Tämä tarkoittaa, että pitkäaikaisessa käytöksessä ketjun tilojen todennäköisyydet lähestyvät tietyntyyppistä tasapainotilaa. Tällöin ketjun dynaaminen käyttäytyminen ei enää riipu alkuperäisestä tilasta, vaan se keskittyy invarianttiin jakaumaan.

On tärkeää huomioida, että Markov-ketjujen dynaamiset ominaisuudet voivat vaihdella suuresti riippuen siitä, onko ketju positiivisesti palautuva vai ei. Jos ketju ei ole palautuva, se voi olla esimerkiksi siirtyvä, eikä sillä siten ole invarianttia jakaumaa. Tämä ero vaikuttaa siihen, miten ketjun käyttäytymistä voidaan ennustaa pitkällä aikavälillä ja miten sitä voidaan soveltaa käytännön tilanteisiin.

ESP32 ja HTTP-protokollat IoT-projekteissa: Verkkopalvelimen ja asiakaskommunikaation toteutus
Mikä on markkinahinnan hinnoittelu ilman ennalta määrättyä mittaria?
Uusiutuvien energialähteiden integroiminen veden suolanpoistoon ja käsittelyyn
Miten ihmiset oppivat ja uskovat väärää tietoa: Misinformaatio ja muistijärjestelmämme