Miten F on tiheysnolla (0,∞):ssa ja sen ominaisuudet

F:n tiheysnollaksi osoittamiseksi (0,∞):ssa tarkastelemme tilannetta, jossa 0 < c < d. Tavoitteena on osoittaa, että aina löytyy x ∈ (c, d), joka ei kuulu joukkoon F. Tämä on ilmeistä, jos jompikumpi raja, c tai d, ei kuulu F:ään. Oletetaan kuitenkin, että sekä c että d kuuluvat F:ään. Tämä tarkoittaa, että c ja d voidaan esittää jatkoinhakoina: c = [a0θ; a1θ, a2θ, …], d = [b0θ; b1θ, b2θ, …]. Koska c < d, on selvää, että a0 ≤ b0, ja jos a0 = b0, niin a1 ≥ b1. Jos taas a0 = b0 ja a1 = b1, niin a2 ≤ b2, ja niin edelleen. Määritellään N = min{k ≥ 0: ak = bk}. Tarkastellaan ensin tilannetta, jossa N on parillinen. Tällöin aN < bN.

Jos c = [a0θ; a1θ, …, aNθ] ja y ∈ (1, θ), niin voimme valita x := [a0θ; a1θ, …, aNθ, y], joka on suurempi kuin c ja pienempi kuin [a0θ; a1θ, …, aN−1θ, (aN + 1)θ], joka puolestaan on pienempi tai yhtä suuri kuin d. Näin ollen x ∈ (c, d), mutta (6.29) huomioiden, x ei kuulu F:ään. Jos taas c ei ole sama kuin [a0θ; a1θ, …, aNθ], niin c = [a0θ; a1θ, …, aNθ, rN+1] ja 0 < rN+1 < θ, eli rN+1 > 1. Jos N+1 θ y ∈ (1, rN+1 θ), niin saamme jälleen, että c < x := [a0θ; a1θ, …, aNθ, y] ja x < [a0θ; a1θ, …, aN−1θ, aNθ, rN+1] ≤ d, joten x ∈ (c, d) ja x ∈/ F. Tämä sama argumentti pätee myös, jos N on pariton.

Seuraavaksi käsitellään mielenkiintoinen invarianttijakauma, joka liittyy tilanteeseen, jossa θ = 1. Tässä kontekstissa π merkitsee Markov-prosessin invarianttia todennäköisyyttä, jossa P(Z1 = 0) = α ja P(Z1 = 1) = 1 − α, missä 0 < α < 1. Tämä jakautumistoiminto on annettu seuraavasti:

Tässä $x = [a1, a2, \dots]$ on tavallinen jatkuva fraktioesityksen laajennus. Kun x on rationaalinen, tämä sarja päättyy, kun $x_n+1 = 0$, mutta irrationaalisten lukujen tapauksessa saamme äärettömän sarjan laajennuksen. Tämän perusteella π on singulaarinen ja sillä on täydellinen tuki (0,∞), kuten on osoitettu edellisessä todistuksessa.

Mikäli $X$ noudattaa edellä käsiteltyä invarianttijakaumaa, voidaan todeta, että sen odotusarvo on $E[X] = 1$, mikä kertoo keskimääräisen käyttäytymisen tilassa. Tämä on merkittävä piirre, joka osoittaa, että vaikka prosessi voi käydä läpi monimutkaisempia väyliä, sen keskimääräinen arvo pysyy vakiona tietyllä tasolla.

Tarkasteltaessa prosessia, jossa $X_n = \max(X_n + ε_n+1, 0)$, tämä ehdotus tarkoittaa, että arvon ei koskaan sallita laskea negatiiviseksi. Tämäntyyppiset prosessit, joissa muuttuja rajoitetaan tietyille alueille, ovat keskeisiä taloudellisessa mallinnuksessa ja riskinhallinnassa. Esimerkiksi talouden agentti, joka aloittaa tietyllä alkupääomalla ja kuluttaa osan siitä, investoi jäljelle jäävän osan tulevaisuudessa, voi käyttää tällaista mallia simuloimaan taloudellista käyttäytymistä pitkällä aikavälillä.

Miten dynaaminen ohjelmointi ja optimaalinen politiikka liittyvät päätöksentekoon epävarmuudessa?

Dynaamisessa ohjelmoinnissa käsitellään tilanteita, joissa päätöksentekijällä on rajallinen joukko vaihtoehtoja valittavanaan ja hän tekee valintoja toistuvasti useassa ajanjaksossa. Tällöin tärkeä kysymys on, kuinka valita politiikka tai strategia, joka tuottaa parhaan mahdollisen tuloksen pitkällä aikavälillä, ottaen huomioon, että nykyiset valinnat vaikuttavat tulevaisuuden mahdollisuuksiin. Politiikka, joka optimoi päätöksentekijän kokonaistulot, tunnetaan optimaalisen politiikkana. Tämän saavuttaminen on mahdollista vain, jos päätöksentekijä ymmärtää hyvin järjestelmän liikkeet ja vaikutukset tulevaisuudessa.

Tässä mallissa on useita tärkeitä elementtejä. Ensimmäinen on toimintojen joukko, joka on päätöksentekijän käytettävissä. Toinen elementti on järjestelmän liikeyhtälö, joka määrittelee, kuinka systeemi muuttuu valitun toiminnan seurauksena. Tämä liikeyhtälö liittää jokaisen (s, a) parin tietyn todennäköisyyden kautta siirtymisen tilasta s tilaan s’ seuraavassa ajanjaksossa. Kolmas tärkeä osa on hyötyfunktion, joka määrittelee, kuinka paljon tuottoa päätöksentekijä saa valitsemastaan toiminnasta tiettyyn tilaan. Tuloa voi tulkita joko taloudellisena hyötynä tai muuna hyödyllisenä määränä, joka syntyy toiminnan seurauksena. Neljäs tekijä on diskonttokerroin, joka heijastaa, kuinka paljon nykyhetken päätöksellä on painoarvoa verrattuna tulevaisuuden päätöksiin.

Dynaamisessa ohjelmoinnissa on tärkeää ymmärtää arvonlaskennan periaate, joka määrittelee, kuinka tulevaisuuden odotetut tulot lasketaan ottaen huomioon valitun politiikan vaikutus. Arvotoiminto, V(s), kertoo, mikä on paras mahdollinen kokonaistulo, joka voidaan saavuttaa, jos aloitetaan tilasta s. Tämä määräytyy funktionaalisen yhtälön avulla, jossa maksimoidaan nykyiset tulot ja tulevaisuuden odotetut tulot diskontattuna. Jos politiikka on optimaalinen, niin kyseinen toiminta maksimoi kokonaisarvon tietyssä tilassa s.

Kun tarkastellaan toimintojen ja poliitikkojen optimaalisuutta, huomio kiinnittyy siihen, että optimaalinen politiikka ei aina ole yksinkertainen. Joskus optimaalinen politiikka voi olla staattinen, eli sama toiminta valitaan aina samassa tilassa riippumatta aikaisemmista valinnoista. Tällöin politiikka on määritelty yhdellä funktionaalisella säännöllisyydellä, joka maksimoidaan tietyllä tilalla. Toisaalta, jos tilanne on dynaamisempi, optimaalinen politiikka voi olla monimutkainen ja ottaa huomioon tilan historian ja aikaisemmat valinnat. Tässä tapauksessa politiikka määritellään todennäköisyyksien jakaumalla, joka kuvaa, kuinka päätöksentekijä reagoi tulevaisuuden epävarmuuteen.

Tämän mallin avulla on mahdollista löytää optimaalinen toimintastrategia epävarmuuden vallitessa. Kuitenkin on tärkeää muistaa, että optimaalinen politiikka voi olla vaikeasti saavutettavissa, erityisesti jos tilojen määrä on suuri tai jos toimintojen vaikutukset tulevaisuudessa ovat monimutkaisia. Tässä tapauksessa dynaaminen ohjelmointi tarjoaa välineitä, joilla voidaan laskea ja arvioida politiikkojen vaikutuksia, vaikka niitä ei voida suoraan havaita tai testata.

Lopuksi on huomioitava, että vaikka optimaalinen politiikka on malli, joka maksimoi kokonaistulot, sen löytäminen ei ole aina yksinkertaista. Joissain tapauksissa voi olla tilanne, jossa ei ole olemassa yksittäistä optimaalista politiikkaa. Esimerkiksi tietyissä malleissa voi olla, että eri politiikat tuottavat saman lopputuloksen, mutta eroavat toisistaan siinä, kuinka ne jakavat tulot eri aikaväleillä tai tiloissa. Siksi on tärkeää arvioida ei pelkästään lopullista kokonaistuloa, vaan myös politiikan väliarvoja ja sen pitkäaikaisia vaikutuksia.