Hvorfor er konvolusjon essensiell i nevrale nettverk, og hvordan fungerer den?

Konvolusjon er et fundamentalt verktøy i maskinlæring, spesielt innenfor nevrale nettverk som Convolutional Neural Networks (CNN). Operasjonen innebærer at et lite filter eller en kjerne beveges over et større dataområde, for eksempel et bilde, hvor hver posisjon resulterer i en ny verdi i et utdatafelt. Ved å multiplisere elementene i kjernen med de tilsvarende elementene i inputmatrisen og summere resultatene, kan man trekke ut lokale mønstre i dataene, slik det illustreres i eksempelberegninger som å finne verdier i utdatafunksjoner ved hjelp av skiftekjerner.

Denne metoden skiller seg fra fullstendig tilkoblede nettverk ved at den utnytter tre sentrale prinsipper: sparsom interaksjon, parameterdeling og ekvivalente representasjoner. Sparsom interaksjon innebærer at hver neuron i en konvolusjonslag kun er koblet til et begrenset område i inputen, kalt det lokale reseptive feltet, i motsetning til full tilkobling som inkluderer alle nevroner. Dette gjør det mulig å identifisere detaljer som kan være viktige i små områder, for eksempel kanter eller teksturer i et bilde.

Ekvivarians, spesielt oversettelsesekvivalens, betyr at dersom inputen forskyves, vil også utdataen forskyves på samme måte. Matematisk uttrykkes dette ved at en forskyvning av inputen etterfølges av konvolusjonen, og dette er ekvivalent med at konvolusjonen utføres først og deretter forskyvningen. Dette er avgjørende i bilder og andre typer data hvor det ikke nødvendigvis er viktig hvor i bildet et objekt befinner seg, men at det finnes.

I praktiske anvendelser håndterer CNN ofte flerkanalsdata, slik som fargebilder med rødt, grønt og blått, der både input og output representeres som tredimensjonale tensorer. Dette innebærer at konvolusjonskjernen i slike tilfeller må være en firedimensjonal tensor, som veier sammen informasjon over alle kanaler i inputen for å produsere de ulike kanalene i outputen. Hver utgangskanal kan tolkes som en funksjon som registrerer spesifikke trekk i dataene, som kanter, teksturer eller komplekse mønstre.

I tillegg til kjernene kan det legges til bias-termer for hver utgangskanal, som er delt over alle romlige posisjoner, noe som gir nettverket større fleksibilitet i representasjonene. Parametere som stride og padding styrer hvordan kjernen beveger seg over inputen og hvordan kantinformasjon behandles. En større stride betyr at kjernen hopper over flere posisjoner, som fører til en nedskalering av outputdimensjonen, mens padding legger til ekstra verdier langs kantene for å bevare dimensjonene eller forhindre informasjonstap.

Konvolusjonslag kombineres gjerne med ikke-lineære aktiveringsfunksjoner som introduserer kompleksitet og læringskapasitet, og med pooling-operasjoner som reduserer dimensjonalitet ved å trekke ut representative verdier fra lokalt sammenhengende områder. Max-pooling er en vanlig metode som fremhever den sterkeste responsen i et område, og bidrar til å gjøre nettverket mer robust mot små forskyvninger og forvrengninger.

Konvolusjonens betydning strekker seg også utenfor nevrale nettverk, for eksempel i wavelet-transformasjoner og scattering-transformer som gir matematiske verktøy for å analysere og forstå egenskapene til CNN, spesielt i multiskala- og multilagsstrukturer.

Det er viktig å forstå at konvolusjon ikke bare er en teknisk operasjon, men en nøkkelmekanisme som muliggjør effektiv, robust og lokalisert mønstergjenkjenning i komplekse datastrukturer. Den reduserer kompleksiteten ved å fokusere på relevante lokasjoner, samtidig som den bevarer informasjonens struktur gjennom parameterdeling og ekvivalens. Å ha innsikt i hvordan parametere som stride, padding og kanalstruktur påvirker modellen, er essensielt for å kunne designe effektive nevrale nettverk tilpasset ulike oppgaver.

Hvordan oppstår og forstås entropihastighet og informasjonsrate i stokastiske prosesser?

I en stokastisk prosess som gjennomgår gjentatte overganger mellom tilstander, vil en stasjonær fordeling, betegnet som π, etter tilstrekkelig mange iterasjoner oppstå. Denne stasjonære tilstanden innebærer at sannsynligheten for å befinne seg i en hvilken som helst tilstand ikke endres videre i påfølgende overgangstrinn, noe som matematisk uttrykkes som π = Aπ, hvor A er overgangsmatrisen. Entropihastighet (entropy rate) for en tilfeldig prosess defineres som gjennomsnittlig entropi per symbol over en sekvens av målinger, og tilsvarer innovasjonsentropien, altså entropien til en tilfeldig variabel betinget på dens fortid.

For en Markov-kjede kan entropien av den stasjonære fordelingen og entropihastigheten uttrykkes ved hjelp av overgangssannsynlighetene og den stasjonære fordelingen: entropien til den stasjonære fordelingen er en sum over sannsynlighetene multiplisert med logaritmen til disse, mens entropihastigheten er en forventet betinget entropi over overgangsmatrisen. Informasjonsraten (Information Rate, IR) kombinerer disse to begrepene for å beskrive hvordan informasjon propagere i tid i en stokastisk prosess. Den er definert som forskjellen mellom entropien til den stasjonære fordelingen og entropihastigheten, og tilsvarer den gjensidige informasjonen mellom tidligere og fremtidige tilstander. For en Markov-prosess er denne avhengigheten begrenset til nåværende tilstand.

For mer generelle stasjonære tidsserier kan informasjonsraten utvides til å fange opp informasjonsoverføring over arbitrært lange fortider, der man ser på gjensidig informasjon mellom nåværende observasjon og dens fortid. Her introduseres også begrepet prediktiv informasjonsrate (Predictive Information Rate, PIR) som måler forskjellen i informasjonsrate mellom en- og flertrinnsforutsigelser. Sammen med betinget entropi av nåtiden gitt både fortid og fremtid, kalt «erasure entropy», utgjør disse målene en statistisk relasjon mellom fortid, nåtid og fremtid.

Et eksempel på en nesten deterministisk Markov-kjede er en der overgangsmatrisen nærmest er diagonal, med nesten sikker overgang til neste tilstand i sekvensen. I slike tilfeller blir entropihastigheten tilnærmet null, og informasjonsraten nær maksimal, noe som indikerer høy avhengighet til fortiden og god forutsigbarhet. Omvendt, i en fullt blandet prosess der overgangssannsynlighetene er omtrent like for alle tilstander, er entropien og entropihastigheten like store, og informasjonsraten går mot null, noe som betyr at kunnskap om fortiden ikke gir informasjon om fremtiden.

Utvidelsen av disse konseptene til ikke-Markovske og ikke-lineære prosesser, som de som modelleres ved hjelp av RNN, LSTM, CNN eller Transformere, krever måling av entropi i prediksjonsfeil sammenlignet med entropien til prosessen uten tidsstruktur, altså i en uavhengig og identisk fordelt (i.i.d.) kontekst. I slike modeller representeres data i latente tilstander, som aktiveringene i skjulte lag i nevrale nettverk, der informasjonsteoretiske rammeverk som Information Bottleneck kan brukes for å forstå og optimalisere forholdet mellom representasjonens kompleksitet og prediksjonsevne.

Det er viktig å forstå at informasjonsraten og relaterte mål ikke bare gir tallfestede størrelser på usikkerhet og avhengighet, men også fungerer som indikatorer på forutsigbarheten i en prosess. Høye verdier av IR og PIR innebærer en strukturert og historisk avhengig prosess, mens lave verdier indikerer nærmest tilfeldig oppførsel. Å beherske disse begrepene gir et grunnlag for å analysere og modellere tidsavhengige fenomener i både teoretiske og praktiske anvendelser innen maskinlæring og signalbehandling.

For å utdype forståelsen bør leseren også være oppmerksom på hvordan stasjonaritet påvirker entropiberegningene, og hvordan valg av modellstruktur (Markov vs. ikke-Markov) endrer tolkningen av informasjonsoverføring. Videre spiller den matematiske formalismen rundt betinget entropi og gjensidig informasjon en nøkkelrolle for å kunne anvende teorien i praksis, spesielt i komplekse systemer med skjulte tilstander og dynamiske avhengigheter.

Hvordan kan nevrale nettverk forstås som Gaussiske prosesser?

I regresjonsmodellen hvor en observert etikett $t$ genereres som $t = y + \varepsilon$, der støyen $\varepsilon$ følger en normalfordeling $\mathcal{N}(0, \sigma^2)$, kan vi uttrykke sannsynligheten for observasjonen gitt den underliggende funksjonen $y$ som $p(t|y) = \mathcal{N}(t|y, \sigma^2)$. Når vi har en treningsmengde med $N$ datapunkter med input-funksjoner $x_1, \ldots, x_N$ og tilhørende etiketter $t_1, \ldots, t_N$, kan den betingede sannsynligheten uttrykkes ved en multivariat normalfordeling $p(t_N|y_N) = \mathcal{N}(t_N|y_N, \sigma^2 I)$, hvor $y_N$ representerer de sanne verdiene. Antagelsen om at funksjonen $y_N$ følger en Gaussisk prosess (GP) med en kovariansmatrise $K$, der $K_{nm} = K(x_n, x_m)$, gir oss at den marginale sannsynligheten for observasjonene er $p(t_N) = \mathcal{N}(t_N|0, L_N)$, hvor $L_N = K_N + \sigma^2 I$.

Når det gjelder nevrale nettverk (NN), kan vi betrakte funksjonen $y(x; \theta)$, bestemt av parametrene $\theta$, som en stokastisk prosess når vektene $\theta$ initieres med tilfeldige variabler. For et enkelt fullt tilkoblet nettverk med én skjult lag, der vektene initieres som $W^{(1)}_{jk} \sim \mathcal{N}(0, \sigma_W^2)$ og $W^{(2)}_{ij} \sim \mathcal{N}(0, \sigma_W^2 / d_1)$, vil den lineære transformasjonen i første lag $\tilde{y}_j = \sum_k W^{(1)}_{jk} x_k$ følge en Gaussisk fordeling, da den er en lineær kombinasjon av Gaussiske variable. Som en funksjon av $x$ er $\tilde{y}_j(x)$ dermed en Gaussisk prosess med null forventning og kovarians $\sigma_W^2 x^T x'$.

Denne forståelsen lar oss generalisere til dypere nettverk med flere lag. Ved å initere vektene i alle lag med normalfordelte variable, og la antall nevroner i hvert lag gå mot uendelig, kan man rekursivt definere kovariansmatrisene i hvert lag. For laget $l$ blir kovariansen $\Sigma^{(l)}(x, x')$ gitt ved forventningen over aktiveringer med normalfordelte inputvariabler, normalisert med en faktor $c_\sigma$ for stabilitet. Slik bygger man en fullstendig GP-kovariansfunksjon for den dype nettverksfunksjonen $f(x; \theta)$.

Denne forbindelsen mellom nevrale nettverk og Gaussiske prosesser viser at brede, tilfeldig initierte nevrale nettverk oppfører seg som stokastiske prosesser med eksplisitt kjente fordelinger, noe som åpner for en analytisk forståelse av nettverksoppførsel uten behov for trening. Samtidig gir GP-rammeverket en naturlig metode for usikkerhetsvurdering i prediksjoner, noe som ofte mangler i tradisjonell nevrale nettverkspraksis.

Videre er det viktig å merke seg at valg av aktiveringsfunksjon og vektinitiering har stor betydning for GP-kovariansen, og dermed for nettverkets representasjonsevne og generalisering. Analytisk beregning av forventningene over aktiveringsfunksjoner med normalfordelte input er avgjørende for å bestemme nettverkets endelige GP-egenskaper. Derfor knytter denne teorien også dype nettverksdesignvalg til formelle statistiske egenskaper, noe som er sentralt for å utvikle bedre arkitekturer og forstå deres begrensninger.