Lemma 9.3 esittelee kilpailuohjelmien tarkentamisen ja antaa välttämättömiä ehtoja optimaalisen ohjelman määrittämiseksi. Olkoon (x, y, c) ohjelma, jossa x > 0. Tällöin on olemassa tiukasti positiivinen hinnan sekvenssi p=(pt)p = (p_t), joka täyttää ehdot (G) ja (M) jos ja vain jos seuraavat ehdot pätevät: (i) xt>0,yt>0,ct>0x_t > 0, y_t > 0, c_t > 0 kaikilla t0t \geq 0, (ii) u(ct)=δu(ct+1)f(xt)u'(c_t) = \delta u'(c_{t+1}) f'(x_t) kaikilla t0t \geq 0. Tämä sääntö on keskeinen, koska se yhdistää kulutuksen, tuotannon ja investoinnin dynaamiset suhteet toisiinsa.

Tämä Lema osoittaa, että dynaamisessa optimoimisessa kulutus- ja tuotantosuhteet, joita ohjaa osittaisderivaatat u(ct)u'(c_t) ja f(xt)f'(x_t), saavat varsin erityisiä arvoja tietyissä tilanteissa. Ehto u(ct)=δu(ct+1)f(xt)u'(c_t) = \delta u'(c_{t+1}) f'(x_t) voidaan ymmärtää niin, että kulutuksen marginaalinen hyöty on tasapainotettu seuraavan ajan tuotannon ja kulutuksen marginaalisella tuotolla.

Tämä ilmentää, että optimaalisen ohjelman kulutus- ja investointipolitiikka on yhteydessä toisiinsa dynaamisella tavalla. Tällöin tulevaisuuden kulutuksen hyödyllisyyden ja nykyisen tuotannon välinen suhde on keskeinen tekijä, joka määrittää optimaalisen investoinnin ja kulutuksen tason.

Kun oletamme, että (x, y, c) on optimaalinen ohjelma x:stä, johon pätee x>0x > 0, niin löytyy tiukasti positiivinen hinnan sekvenssi p=(pt)p = (p_t), joka täyttää ehdot (G) ja (M), ja lisäksi raja-arvo limtptxt=0\lim_{t \to \infty} p_t x_t = 0. Tämä "IF"-ehto tarkoittaa sitä, että pitkällä aikavälillä hinnan taso lähestyy nollaa, mikä on tyypillistä pitkän aikavälin optimaalisille ohjelmille, joissa resurssien käyttö laskee ajan myötä kohti vakaata tasapainoa.

Ramsey-Eulerin ehto (RE), joka on tietyllä tavalla "konditionaalinen" tila, jossa tuotannon ja kulutuksen marginaaliset tuottot ovat tasapainossa, on tärkeä. Tämä ehto väittää, että nykyinen kulutus on tasapainossa tulevaisuuden kulutuksen kanssa, mutta siihen vaikuttaa myös nykyinen tuotanto. Jos tämä ehto ei täyty, ohjelman optimaalinen rakenne ei ole toteutettavissa, ja järjestelmä ei ole dynaamisesti kestävä.

Tämän jälkeen, teoreettinen tulos, jonka mukaan optimaalinen ohjelma saavuttaa loppujen lopuksi tietyn staattisen tasapainon, on keskeinen osa dynaamisen optimoinnin ymmärtämistä. Kun x<xδx < x^*_\delta, optimaalinen ohjelma lähestyy stationaarista tasapainoa xδ,yδ,cδx^*_\delta, y^*_\delta, c^*_\delta, joka on niin kutsuttu kultainen sääntö. Tämä malli osoittaa, että alkuperäisestä tason laskusta huolimatta järjestelmä saavuttaa pitkällä aikavälillä optimaalisen investoinnin, tuotannon ja kulutuksen tason.

Tällöin optimaalisen siirtymän funktio α(x)=i(f(x))\alpha(x) = i(f(x)) määrittää, kuinka pääoman käyttö muuttuu ajassa ja miten ohjelma kehittyy kohti tasapainoa. Siirtymän funktio on keskeinen analyysissä, koska se auttaa arvioimaan, miten eri alkuarvot vaikuttavat tulevaisuuden optimaalisuuteen. Jos alkuperäinen taso xx on pienempi kuin kultainen sääntö xδx^*_\delta, siirtymätoiminto α(x)\alpha(x) nostaa sitä kohti tasapainoa, ja päinvastoin.

Pitkän aikavälin vakauden kannalta on tärkeää huomata, että dynaaminen järjestelmä on taipuvainen kohti tasapainoa, mutta siirtyminen tästä tasapainosta on asteittaista ja riippuu aloitustasosta. Tämä käyttäytyminen tunnetaan "turnpike"-ominaisuutena, jossa alkuperäinen arvo konvergoituu kohti optimaalista ratkaisua.

Lopuksi, optimaalinen investointipolitiikka i(y)=yc(y)i(y) = y - c(y) on jatkuvasti kasvava funktio, mikä tarkoittaa, että jos resurssien käytön taso yy kasvaa, myös optimaalinen investointi kasvaa. Tämä on linjassa Ramsey-Eulerin ehdon kanssa ja takaa, että järjestelmän resurssien käyttö ja investointipäätökset kasvavat kohti optimaalista tasapainoa.

Dynaamisessa optimoinnissa on siis tärkeää huomata, että optimaalinen ohjelma ei ole staattinen vaan se voi kehittyä ja siirtyä tasapainoon ajan kuluessa. Tärkeää on myös ymmärtää, että dynaamiset systeemit ovat riippuvaisia alkuperäisistä arvoista, ja pienet muutokset alkuperäisissä arvoissa voivat vaikuttaa suuresti pitkän aikavälin ratkaisuihin.

Kuinka Markov-prosessit saavuttavat ainutlaatuisen vakaapisteen täydellisissä metrissä

Kun tarkastellaan dynaamisia järjestelmiä ja niiden käyttäytymistä, erityisesti Markov-prosesseja, yksi keskeisistä käsitteistä on niiden konvergenssi vakaapisteeseen. Tämä pätee erityisesti silloin, kun käsittelemme Markov-prosessia, jonka siirtymismatriisi tai siirtymiskartta muodostaa täysin tiukan supistuksen. Analysoidaan, kuinka tällaiset prosessit saavuttavat ainutlaatuisen vakaapisteen ja miksi tämä on tärkeää.

Oletetaan, että meillä on joukko mittausfunktioita αn\alpha_n, jotka määrittelevät Markov-prosessin siirtymät. Jos prosessi on i.i.d. (itsenäinen ja identtisesti jakautunut), voidaan käyttää seuraavaa väitöstä:

dK(TNμ,TNν)(1χ~)dK(μ,ν),d_K(T^*N \mu, T^*N \nu) \leq (1 - \tilde{\chi}) d_K(\mu, \nu),

missä TT^* on operaattori, joka määrittelee prosessin siirtymisen, ja dKd_K on Kolmogorovin etäisyys, joka mittaa kahden todennäköisyysjakauman välistä etäisyyttä. Tämä lauseke osoittaa, että TNT^*N on tiukka supistus, ja koska TT^* itsessään on supistus, voidaan osoittaa, että prosessi konvergoi vakaapisteeseensä.

Tämän vuoksi, jos valitsemme alkuperäisen jakauman μ\mu ja analysoimme, kuinka se kehittyy ajan myötä, voidaan nähdä, että

dK(Tnμ,Tnν)=dK(TN(T(nN)μ),TN(T(nN)ν))(1χ~)nNdK(μ,ν).d_K(T^{*n} \mu, T^{*n} \nu) = d_K(T^*N (T^*(n-N)\mu), T^*N (T^*(n-N)\nu)) \leq (1 - \tilde{\chi})^{\frac{n}{N}} d_K(\mu, \nu).

Tämä tarkoittaa, että jakaumat TnμT^{*n} \mu ja TnνT^{*n} \nu lähestyvät toisiaan eksponentiaalisesti, mikä johtaa siihen, että prosessilla on ainutlaatuinen vakaapiste, joka on määritelty seuraavasti:

Tπ=π.T^* \pi = \pi.

Tässä π\pi on tämä vakaapiste, ja voidaan osoittaa, että se on ainoa sellainen, joka täyttää tämän ehdon.

Täydellisyys ja Cauchy-sekvenssit

Kun tarkastellaan mittausjoukkojen P(S) täydellisyyttä ja niiden konvergenssia, on tärkeää huomata, että jos μn\mu_n on Cauchy-sekvenssi P(S)P(S):ssä, niin sen jakautumien funktioiden (df) rajoitus on myös jakauman funktio, ja se konvergoituu äärettömyyteen asti. Tämä tarkoittaa, että voidaan löytää yksiselitteinen funktio, joka kuvaa tätä rajoitusta ja jonka avulla voidaan osoittaa, että prosessi konvergoi vakaapisteeseen.

Markov-prosessien jatkuvuus ja atomittomuus
Mikäli alkuperäinen jakauma μ\mu on atomioton, eli sen jakautumistoiminto on jatkuva, tämä jatkuvuus säilyy myös Markov-prosessin eri vaiheissa. Tämä tarkoittaa, että jos X0X_0 on jatkuva jakauma, niin myös X1X_1, X2X_2 jne. säilyttävät jatkuvuuden. Tällöin myös vakaapiste π\pi on jatkuva ja atomiton, jos alkuperäiset funktiot ovat tiukasti monotoneja.

Esimerkki: Markov-prosessin konvergenssi

Otetaan esimerkki, jossa S=[0,1]S = [0, 1] ja αn\alpha_n on joukko monotoneja funktioita, jotka määrittävät siirtymän SS-joukossa. Esimerkiksi:

f(x)={1/3+x/3,0x1/31/2+x/3,1/3<x2/31/2+x/2,2/3<x1f(x) = \begin{cases} 1/3 + x/3, & 0 \leq x \leq 1/3 \\ 1/2 + x/3, & 1/3 < x \leq 2/3 \\ 1/2 + x/2, & 2/3 < x \leq 1
\end{cases}

Tässä voidaan tarkastella, kuinka P[Xn(0)x]P[X_n(0) \leq x] käyttäytyy ajan kuluessa. Tällöin P[Xn(0)x]P[X_n(0) \leq x] on vähenevä funktio n:n suhteen, ja se konvergoituu tiettyyn raja-arvoon F0(x)F_0(x), joka on alkuperäinen jakauma, kun taas P[Xn(1)x]P[X_n(1) \leq x] on kasvava funktio n:n suhteen, joka konvergoituu toiseen raja-arvoon F1(x)F_1(x).

Jakautumisen estäminen

Esimerkiksi, jos käytämme joukkoa f1f_1 ja f2f_2, kuten esimerkissä 5.2, voidaan huomata, että tämä prosessi ei aiheuta jakautumista, sillä molemmat funktiot f1f_1 ja f2f_2 jakavat yhteisen vakaapisteen, mikä tarkoittaa, että prosessi konvergoi eksponentiaalisesti ja saavuttaa vakaapisteen, joka on ainoa mahdollinen.

Tämän tyyppinen käyttäytyminen on tyypillistä tietyille Markov-prosesseille, jotka noudattavat tiukasti supistuvia sääntöjä ja joilla on voimakas konvergenssi vakaapisteeseen.