I et kvasi-integrabelt Hamilton-system kan potensialfunksjonen for hvert subsystem ii uttrykkes som

QiUi(Qi)=gi(x)dx,\int Q_i U_i(Q_i) = g_i(x)dx,

hvor gi(Qi)g_i(Q_i) og Ui(Qi)U_i(Q_i) (for i=1,2,,ni = 1, 2, \dots, n) tilfredsstiller de nødvendige betingelsene som er nevnt i ligning (1.5). For å analysere systemets dynamikk, introduseres en transformasjon av de kanoniske koordinatene:

Qi(t)=Aicosφi(t)+Bi,Pi(t)=Aiνi(Ai,φi)sinφi(t),φi(t)=φi(t)+ϵi(t),Q_i(t) = A_i \cos \varphi_i(t) + B_i, \quad P_i(t) = -A_i \nu_i(A_i, \varphi_i) \sin \varphi_i(t), \quad \varphi_i(t) = \varphi_i(t) + \epsilon_i(t),

hvor AiA_i og BiB_i er relatert ved

Ui(Ai+Bi)=Ui(AiBi)=Hi.U_i(A_i + B_i) = U_i(A_i - B_i) = H_i.

De umiddelbare frekvensene νi(Ai,φi)\nu_i(A_i, \varphi_i) er gitt ved:

νi(Ai,φi)=ddt[Ui(Ai+Bi)Ui(Aicosφi+Bi)].\nu_i(A_i, \varphi_i) = \sqrt{\frac{d}{dt}\left[U_i(A_i + B_i) - U_i(A_i \cos \varphi_i + B_i)\right]}.

Det er viktig å merke seg at frekvensene for hvert subsystem ii kan anses som en funksjon av AiA_i og φi\varphi_i. For å forenkle videre analyse, definerer vi den gjennomsnittlige frekvensen ωi(Ai)\omega_i(A_i) av subsystemet som

ωi(Ai)=12π02πνi(Ai,φi)dφi.\omega_i(A_i) = \frac{1}{2\pi} \int_0^{2\pi} \nu_i(A_i, \varphi_i) d\varphi_i.

Ved å bruke denne definisjonen kan vi gjøre en approksimasjon av φi(t)\varphi_i(t) som

φi(t)ωi(Ai)t+ϵi(t).\varphi_i(t) \approx \omega_i(A_i) t + \epsilon_i(t).

Transformasjonen Qi,PiAi,φiQ_i, P_i \rightarrow A_i, \varphi_i fører til et nytt sett av differensialligninger som beskriver systemets dynamikk. For de n subsystemene, etter transformasjonen, får vi:

dAidt=k=1sϵFi(1)(A,φ,ξ)+ϵ1/2Gik(1)(A,φ)ξk(t),\frac{dA_i}{dt} = \sum_{k=1}^s \epsilon F^{(1)}_i(A, \varphi, \xi) + \epsilon^{1/2} G^{(1)}_{ik}(A, \varphi) \xi_k(t),

hvor ξk(t)\xi_k(t) representerer støyprosesser som påvirker systemet. Dette kan også skrives for de andre koordinatene som beskriver systemets tidavhengige bevegelse:

dφidt=νi(Ai,φi)+ϵFi(2)(A,φ,ξ)+ϵ1/2Gik(2)(A,φ)ξk(t).\frac{d\varphi_i}{dt} = \nu_i(A_i, \varphi_i) + \epsilon F^{(2)}_i(A, \varphi, \xi) + \epsilon^{1/2} G^{(2)}_{ik}(A, \varphi) \xi_k(t).

Denne formuleringen tar hensyn til både interne og eksterne resonanser i systemet, som oppstår når subsystems naturlige frekvenser ωi(Ai)\omega_i(A_i) og de harmoniske eksitasjonsfrekvensene ωr \omega_r er i resonans. For resonans tilstander kan vi anta at forholdene mellom de forskjellige frekvensene for systemet tilfredsstiller relasjonene:

r=1si=1nEurωr+Iuiωi=ϵχu,\sum_{r=1}^{s} \sum_{i=1}^{n} E_u^r \omega_r + I_u^i \omega_i = \epsilon \chi_u,

hvor EurE_u^r og IuiI_u^i er hele tall, og ϵχu\epsilon \chi_u er en liten avkoblingsparameter. Hvis denne resonansen er til stede, fører det til en ny sett av bevegelsesligninger for de resulterende vinklene ψu\psi_u, som er en lineær kombinasjon av de originale vinkelvariablene.

Denne dynamikken kan videre beskrives som

dAidt=Vi(A,φ)+ϵk=1sσi(1)(A)dBk(t),\frac{dA_i}{dt} = V_i(A, \varphi) + \epsilon \sum_{k=1}^s \sigma_i^{(1)}(A) dB_k(t),

der Vi(A,φ)V_i(A, \varphi) representerer den deterministiske drivkomponenten og σi(1)(A)\sigma_i^{(1)}(A) er diffusjonskoeffisientene som relaterer støyprosessen til systemets bevegelser.

For systemer som involverer flere subsystems og støyprosesser, som for eksempel i eksempelet med to koblede Duffing-oscillatorer, kan man bruke ligningene for akselerasjonene og de harmoniske forstyrrelsene:

X¨1+(β11+β12X12+β13X22)X˙1+ω012X1+α1X13=E1cos(φt)+ξ1(t)+X1ξ2(t),\ddot{X}_1 + (\beta_{11} + \beta_{12}X_1^2 + \beta_{13}X_2^2) \dot{X}_1 + \omega_{01}^2 X_1 + \alpha_1 X_1^3 = E_1 \cos(\varphi t) + \xi_1(t) + X_1 \xi_2(t),

der ξk(t)\xi_k(t) representerer bredbåndsstøyen som påvirker systemet. Den transformerte beskrivelsen gjør det mulig å finne en effektiv numerisk tilnærming for løsningen av slike komplekse systemer, og videre kan man bruke den stochastiske gjennomsnittsmetoden for å få en forståelse av hvordan systemet reagerer på eksterne støyeksitasjoner og resonanser.

Når resonansene oppstår, enten de er interne eller eksterne, vil systemet vise et mer kompleks dynamisk svar som kan analyseres gjennom det stochastiske gjennomsnittsmetodene. Denne fremgangsmåten gir en mulighet til å forstå hvordan små støyeksitasjoner kan påvirke et system som ellers er i en stabil tilstand, og hvordan resonanser kan føre til uventede fenomener som forsterking av oscillasjoner eller destabilisering.

Hvordan kan man utlede optimal kontroll i stokastiske kvasi-Hamiltonske systemer?

I analysen av kvasi-Hamiltonske systemer utsatt for stokastiske forstyrrelser er målet ofte å finne en optimal kontrollstrategi som minimerer en kostnadsfunksjonal innenfor en gitt tidsramme. Systemets dynamikk beskrives av Itô-ligninger, og kontrollstrategien u(2) påvirker både systemets bane og kostnaden assosiert med kontrollen. I dette rammeverket formuleres kontrollproblemet som en variasjonsoppgave hvor den totale kostnaden – bestående av en løpende kostnadsfunksjon f og en sluttkostnad g – skal minimeres.

Verdi­funksjonen V(h, t) representerer den forventede kostnaden fra et gitt tidspunkt t og til sluttidspunktet tf, betinget på at systemet befinner seg i tilstand h ved tid t. Dynamisk programmering gir da en parabolsk partiell differensialligning, hvor den optimale kontrollen fremkommer ved å minimere høyresiden av ligningen med hensyn til kontrollen u(2). Den nødvendige betingelsen for optimalitet leder til et uttrykk der kontrollkraften uttrykkes eksplisitt i form av den partielle deriverte av verdifunksjonen. Dette gir en negativ, ikke-lineær tilbakekoblingslov som i hovedsak virker dempende når ∂V/∂h > 0.

Et viktig særtilfelle oppstår når kostnadsfunksjonen har kvadratisk form i kontrollvariabelen, f(h, u(2)) = f1(h) + u(2)^T R u(2), der R er en positivt definit symmetrisk matrise. Da får man et lukket uttrykk for optimal kontrollkraft:
u(2)* = −(1/2) R⁻¹ ∂V/∂h ∂h/∂p.
Denne kontrollen er proporsjonal med den generaliserte hastigheten og avledet av verdifunksjonens gradient, noe som gjør den egnet til implementering i fysiske systemer.

Når kontrollkraften er underlagt en grense, |u_i| ≤ b_i, fører dette til en annen type optimal styring – kjent som bang-bang-kontroll. Her er kontrollkraften konstant i størrelse, men skifter retning avhengig av fortegnet på den generaliserte hastigheten. Uten behov for løsning av en differensialligning, følger styringsloven direkte:
u(2)* = −b_i · sgn(Q̇_i).
Denne typen kontroll er særlig nyttig når fysisk implementering krever enkle, binære kontrollhandlinger, for eksempel i mekaniske systemer med tørre friksjonselementer.

For asymptotisk analyse over uendelig horisont vurderes ergodisk optimal kontroll, der kostnadsfunksjonen representerer et tidsgjennomsnitt. Her brukes en annen verdi­funksjon som tilfredsstiller en ikke-homogen ordinær differensialligning med konstant γ, som representerer den minimale gjennomsnittlige kostnaden. Ligningen inneholder fortsatt bidrag fra kontrollvariabelen og løses analogt, hvor optimal kontrollkraft igjen uttrykkes som en funksjon av verdi­funksjonens gradient.

Ved å substituere de optimale kontrollene tilbake i den stokastiske Itô-ligningen, får man en ny, gjennomsnittlig dynamikk for systemets Hamilton-funksjon. Den resulterende ligningen:
dH = m(H)dt + σ(H)dB(t),
beskriver utviklingen av systemets energi under optimal kontroll. Her inngår kontrollkraftens virkning i driftleddet m(H), og støyens effekt opprettholdes i diffusionsleddet σ(H).

Effektiviteten av kontrollen vurderes gjennom to kriterier. Den første er kontroll-effektivitet, kw, som måler prosentvis reduksjon i standardavviket til systemresponsen. Den andre er kontroll-effektivitet per styrke, μw, som relaterer systemets forbedring til variansen i påført kontrollkraft. Disse målene gir innsikt i hvor godt kontrollstrategien fungerer relativt til innsatsen som kreves for å implementere den.

For eksempel i et kontrollert Duffing-oscillatorsystem – hvor kontrollen deles i to komponenter, en for å linearisere stivheten (u(1)) og en for å styre responsen (u(2)) – viser det seg at implementering av optimal kontroll reduserer variabiliteten og stabiliserer systemet selv under påvirkning av hvit Gaussisk støy.

Det er viktig å merke seg at ved implementering av optimal kontroll i praksis, må man forholde seg til systemets fysiske begrensninger, nøyaktigheten i modellene og tilgangen på sanntidsinformasjon om systemets tilstand. Dessuten forutsetter hele rammeverket at stokastiske størrelser som inngår i modellen kan estimeres presist, noe som i mange anvendelser krever en solid forståelse av både systemets fysikk og statistisk signalbehandling.

Det er også avgjørende for leseren å forstå at verdifunksjonen og kontrollkraften er dypt koblet sammen. Enhver tilnærming som forsøker å løsrive beregningen av optimal kontroll fra analysen av verdi­funksjonen mister grunnlaget for optimaliteten. Dermed er løsningen av den dynamiske programmeringsligningen ikke bare en teknisk nødvendighet, men en integrert del av forståelsen for hvordan optimal styring utspiller seg i stokastiske systemer. Videre er den negative tilbakekoblingen i optimal kontroll ikke bare et matematisk resultat, men en refleksjon av et fysisk prinsipp: energi må fjernes fra systemet på en måte som er proporsjonal med bevegelsen for å oppnå stabilisering.