Hur formaliseras djupinlärning matematiskt?

Djupinlärning vilar på tre matematiska pelare: funktionsapproximation, optimeringsteori och statistisk inlärning. Denna teoretiska struktur blir begriplig först när man betraktar neurala nätverk som avbildningar mellan mätbara funktionsrum. Riskfunktionalen, som definierar förlusten för ett nätverk över en sannolikhetsfördelning av data, etableras som en funktionell avbildning över dessa rum. Den är Frechet-deriverbar under milda villkor, vilket gör det möjligt att använda variationella principer för att formulera inlärning som ett optimeringsproblem i oändligdimensionella rum.

Hypotesrymden som neurala nätverk spänner över analyseras via två centrala komplexitetsmått: VC-dimensionen för diskreta klassificeringsproblem och Rademacherkomplexitet för kontinuerliga funktioner. Dessa verktyg tillåter en exakt kvantifiering av generaliseringsförmåga och risken för överanpassning. I praktiken innebär detta att modeller med hög komplexitet kräver striktare regularisering för att undvika att bara memorera träningsdata.

Universella approximationssatser utgör en annan grundbult i förståelsen av djupinlärningens kapacitet. Ett neuralt nätverk med ett dolt lager och icke-linjära aktiveringsfunktioner kan approximera varje kontinuerlig funktion på ett kompakt intervall, vilket här visas genom en kombination av konvolutionsoperatorer och Stone-Weierstrass sats. Dock är det inte approximationsförmågan i sig, utan felets struktur, dess kontroll och nätverkets regularitetsegenskaper som avgör praktisk användbarhet.

Djup kontra bredd—kapacitetsanalysen klargör att ett mycket djupt nätverk inte alltid är bättre än ett brett, men att vissa funktioner kräver djup för att kunna uttryckas effektivt. Fourieranalys används här som ett verktyg för att gränssätta nätverkets uttryckskraft, tillsammans med inbäddningar i Sobolevrum och kompakthetsargument enligt Rellich-Kondrachov. Dessa resultat knyter ihop nätverkets arkitektur med dess funktionella kapacitet i ett exakt matematiskt ramverk.

Träningsdynamikens teori fördjupar förståelsen ytterligare. Gradiensflöde i oändligdimensionella rum, stationära punkter och Hessianspektrum kartlägger nätverkens optimeringslandskap. I det så kallade NTK-regimet (Neural Tangent Kernel) linjäriseras nätverkets beteende kring initialisering, vilket förklarar varför överparametriserade nätverk ofta konvergerar till lösningar med god generaliseringsförmåga, trots sin komplexitet.

Den matematiska analysen förlängs till att omfatta moderna arkitekturer såsom konvolutionella nätverk, rekurrenta nätverk, transformermodeller, GANs och variational autoencoders. Deras uttrycksförmåga förstås bäst genom de rum av funktioner de opererar inom, snarare än genom enskilda komponenter. Detta skapar en gemensam formell grund oavsett arkitekturell variation.

Optimiseringsalgoritmerna utgör den praktiska länken mellan teori och tillämpning. Stokastisk gradientnedstigning (SGD) formaliseras som en stokastisk differentialekvation, medan metoder som Adam och RMSProp förstås genom adaptiva momentuppskattningar. Dessa betraktas inte längre som tekniska detaljer utan som instanser av mer generella optimeringsprinciper i stokastiska miljöer.

För att fördjupa denna förståelse krävs ytterligare fokus på sambandet mellan nätverksarkitektur och generaliseringsförmåga, särskilt i höga dimensioner. Stabilitetsegenskaper under små perturbationer av data, samt nätverkens robusthet mot adversariala exempel, är områden där det funktionella perspektivet erbjuder kraftfulla verktyg. Dessutom är övergången från diskreta till kontinuerliga inlärningsmiljöer—särskilt i reinforcement learning—ett rikt fält för vidare matematisk förfining.

Hur djupa nätverk överträffar ytliga nätverk i att approximera komplexa funktioner

Ett grundläggande problem inom djupa neurala nätverk är deras kapabilitet att approximera komplexa funktioner, särskilt sådana med avancerade frekvenskomponenter. Traditionellt sett kräver ytliga nätverk ett exponentiellt stort antal neuroner för att kunna approximera en funktion när värdet på e är stort. Detta beror på nätverkets bristande förmåga att utnyttja den hierarkiska strukturen för att effektivt representera högfrekventa komponenter. I kontrast kan ett djupt nätverk, genom att använda sin djupstruktur, uppnå samma approximation med ett polynomialiskt mindre antal parametrar. Denna förmåga att approximera komplexa funktioner är en viktig aspekt av djupa nätverks expressivitet.

För att konkretisera, om f(x) = cos(2n£ • x) med ||£|| = — max, kräver ett djupt nätverk betydligt färre parametrar än ett ytligt nätverk för att approximera f med samma noggrannhet. Detta exempel visar på den stora fördelen med djupa nätverk, där strukturen gör det möjligt att representera komplexa funktioner på ett sätt som annars skulle kräva exponentiellt fler parametrar i ett ytligt nätverk.

När man studerar de dynamiska träningsprocesserna i djupa nätverk, måste man ta hänsyn till hur nätverken anpassar sig till förändringar under träning. Flera forskare, som Trevisan et al. (2023), har visat hur kunskapsdestillation i djupa nätverk kan förstås genom Neural Tangent Kernel (NTK)-ramverket. NTK ger insikt i hur träningen utvecklas i ett linjärt läge när nätverken blir överparametriserade, vilket innebär att många av de icke-linjära effekterna från träningens tidiga skeden blir försumbar. När nätverkets bredd närmar sig oändligheten tenderar nätverket att utvecklas som ett linjärt system, där uppdateringarna av parametrarna styrs av den så kallade NTK-matrisen.

Denna linjära beskrivning av träningsdynamik är inte bara relevant för djupa nätverk utan även för den mer praktiska tillämpningen av dessa nätverk i olika domäner, som till exempel i fysikinformerade neurala nätverk (PINNs). För PINNs, som hanterar fysikaliska system, är det viktigt att förstå när NTK-teorin inte längre räcker till. Bonfanti et al. (2024) påpekade att när PINNs arbetar utanför NTK-regimen, tenderar deras prestanda att försämras. Detta beror på att dessa nätverk blir känsliga för både initialisering och viktuppdateringar, vilket gör att deras träning inte längre följer en linjär dynamik.

En annan viktig aspekt att förstå är hur gradientflödet styrs av förlustfunktionen under träningen. Gradientflödet, som beskriver hur nätverkets parametrar förändras över tid, styrs av den negativa gradienten av förlustfunktionen. Vid stationära punkter av gradientflödet är gradienten lika med noll, vilket betyder att nätverket inte längre gör några förändringar i sina parametrar. Analys av dessa stationära punkter, genom att undersöka Hessianmatrisen (andra derivatan av förlustfunktionen), gör det möjligt att identifiera om dessa punkter motsvarar lokala minima, maxima eller sadelpunkter.

Hur Hyperparameterjustering Påverkar Prestanda hos Neurala Nätverk: En Matematiskt Rigorös Process

När man tränar neurala nätverk är val av hyperparametrar en avgörande komponent som direkt påverkar modellens prestanda. Hyperparametrar, som inlärningshastighet, regularisering, viktinitiering och optimeringsstrategier, måste noggrant justeras för att säkerställa effektiv och stabil träning. Denna process, som kallas hyperparameterjustering, är både matematisk och datorintensiv, särskilt när det gäller högdimensionella och icke-konvexa hyperparameterutrymmen.

En grundläggande aspekt av denna justering är träningens förlustfunktion, som ofta uttrycks som ett empiriskt riskmått som beräknas över träningsdatasetet. I detta sammanhang används vanligen en tvär-entropi-förlust för klassificeringsuppgifter, som kvantifierar avvikelsen mellan modellens förutsägelse och den verkliga etiketten. För att optimera denna förlustfunktion används gradientbaserade metoder som stokastisk gradientnedstigning (SGD). Uppdateringarna av parametrarna styrs av formeln:

$\theta^{(t+1)} = \theta^{(t)} - \eta \nabla_{\theta} L_{\text{train}}(\theta^{(t)}; h)$

När förlustfunktionen närmar sig ett kritiskt punkt kan den approximativt analyseras genom en andra ordningens Taylor-expansion. Den resulterande approximationen ger insikter om den lokala krökningen av förlustytan, där positiva egenvärden indikerar konvexa riktningar och negativa egenvärden pekar mot sadelpunkter.

$L_{\text{reg}}(\theta; h) = L_{\text{train}}(\theta; h) + \lambda \|\theta\|^2$

En annan viktig aspekt av hyperparameterjustering är viktinitieringsstrategin. En bra viktinitiering är viktig för att säkerställa att aktiveringar och gradienter förblir stabila genom hela nätverket. He-initialisering, som är anpassad för ReLU-aktiveringsfunktionen, säkerställer att variansen av aktiveringar inte kollapsar under träningsprocessen.

Sökning av optimala hyperparametrar kan göras med hjälp av olika metoder, som grid search, random search eller mer avancerade tekniker som bayesiansk optimering. Vid bayesiansk optimering byggs en surrogatmodell (t.ex. en Gaussisk process) som approximativt förutsäger valideringsförlusten. Genom att använda en förvärvsfunktion, som förväntad förbättring, kan sökningen balansera mellan att exploatera områden med låg förlust och att utforska osäkra områden.

Hyperparameterjustering är en extremt datorkrävande process, särskilt när hyperparameterutrymmet är högt dimensionellt och optimeringsproblemet är inbäddat. Tidig stoppning är en populär strategi som innebär att träningen stoppas när förbättringen av valideringsförlusten sjunker under ett visst tröskelvärde. På så sätt förhindras överträning och onödiga beräkningskostnader.

Vidare har metoder som Hyperband börjat användas för att effektivt hantera resursfördelning och optimering. Hyperband allokerar resurser dynamiskt baserat på delvisa träningsutvärderingar, vilket gör att mer resurser kan tilldelas de lovande konfigurationerna.

Förutom de tekniker som redan nämnts, är det viktigt att förstå att hyperparameterjustering inte är en engångsprocess. Eftersom datamängder och uppgifter kan förändras, måste justeringen kontinuerligt revideras för att optimera modellen för nya förhållanden. Detta innebär att det inte finns någon "universal" uppsättning hyperparametrar som fungerar för alla problem, och att det är nödvändigt att experimentera och anpassa inställningarna baserat på specifika krav.