Hur man hanterar och kvantifierar osäkerhet vid metakognitiva beslut i maskininlärning

Inom metakognition, särskilt när det gäller artificiell intelligens och maskininlärning, är en central aspekt att förstå och hantera osäkerhet. Ett av de mest intressanta och utmanande problemen är att separera de olika källorna till osäkerhet i modeller och att exakt kvantifiera dessa osäkerheter för att kunna fatta mer informerade beslut. Detta gäller särskilt när vi arbetar med sensorbaserade system, där mätningsfel och osäkerheter kan ha stor inverkan på slutresultaten. Ett bra exempel på detta kan ses i användningen av termistorer.

Termistorer, som är temperaturberoende motstånd, uppvisar en icke-linjär relation mellan sin resistans och den temperatur de mäter. För att kalibrera denna relation samlas normalt in mätdata för resistansen vid minst tre olika temperaturer för objektet som mäts. Dessa data används sedan för att anpassa modellen baserat på Steinhart-Hart (SH) ekvationen, vilken används för att beskriva temperatur-resistansrelationen. Denna kalibreringsmodell fungerar som den sanna modellen (ground truth) för vårt system.

Vid användning av en djup neural nätverksmodell (DNN) för att förutsäga temperatur baserat på resistans, kan vi skapa ett system där modellen inte bara gör en prediktion utan också uppskattar osäkerheten i sina resultat. I detta exempel används en deterministisk modell, där osäkerheten endast är aleatorisk (dvs. den beror på mätfelen). För att hantera mer komplex osäkerhet kan en stokastisk modell användas, där osäkerheten är epistemisk och kan förändras beroende på träningsdata och modellens parametrar.

I experimentet med KITTI-datasetet, som innehåller verkliga data från självkörande bilar, är osäkerheten i mätningarna inte känd, vilket gör det svårt att direkt utvärdera resultaten. För att hantera denna osäkerhet, används en uppsättning metoder för att fusionsbehandla data från olika sensorer, såsom LIDAR och IMU (inertial measurement unit), för att göra bättre uppskattningar av bilens position. Här används en statisk kovariansberäkning för att sammanställa mätfel från LIDAR-data, vilket kraftigt minskar drift i trajektoriemätningarna.

Genom att kombinera IMU- och LIDAR-data med hjälp av en Meta Model, där kovariansen av osäkerheten beaktas i varje uppdatering, visades en signifikant förbättring i både absoluta och relativa trajektorifel. Detta exempel understryker vikten av att korrekt uppskatta och kvantifiera osäkerhet när man arbetar med verkliga datakällor i autonom körning.

För att verkligen förstå och tillämpa dessa metoder i praktiken är det avgörande att vara medveten om de olika typerna av osäkerhet som kan uppstå. Aleatorisk osäkerhet, som beror på oförutsägbara variationer i data, och epistemisk osäkerhet, som beror på begränsad kunskap om systemet, är båda viktiga att separera och hantera för att göra bättre och mer tillförlitliga prediktioner. Dessutom måste man överväga hur olika mätfel, såsom sensorbrus eller ofullständig data, kan påverka de slutgiltiga resultaten och hur man genomför förbättringar av modeller för att kompensera för dessa fel.

För att applicera detta på bredare AI-system är det viktigt att förstå att osäkerhet inte bara handlar om att hantera mätfel, utan också om att kunna göra metakognitiva beslut baserat på den information man har tillgång till. När en agent, vare sig det är en självkörande bil eller en robot, står inför en situation med hög osäkerhet, måste den kunna identifiera och kvantifiera denna osäkerhet för att fatta rätt beslut om hur den ska fortsätta.

Det är också avgörande att använda lämpliga statistiska och matematiska metoder, såsom Kalman-filter eller Bayesian-inferens, för att kombinera olika datakällor på ett sätt som minimerar osäkerhetens påverkan. Genom att noggrant analysera och hantera osäkerhet kan system bli mycket mer robusta och precisa i sina prediktioner och handlingar. Denna metodik utgör en grund för att utveckla metakognitiva agenter som inte bara reagerar på sin omgivning utan också reflekterar över och anpassar sina handlingar baserat på den osäkerhet de möter.

Hur kan vi uppnå certifierad tillförlitlighet i djupinlärningssystem?

Trots dessa framsteg är certifierade metoder fortfarande otillräckliga när det gäller skalbarhet och precision. För att nå en acceptabel nivå av certifierbarhet krävs ofta stark reglering av modellen under träning, vilket ofta leder till avsevärd förlust i prestanda. Detta illustreras tydligt i kontrasten mellan småskaliga dataset som MNIST, där robustheten mot lp-avgränsade störningar nått över 94 % certifierad noggrannhet, och mer komplexa dataset som CIFAR-10 och ImageNet, där motsvarande siffra är långt lägre – 40,39 % respektive 42,2 % under specifika hotmodeller. Denna diskrepans mellan certifierad och önskad tillförlitlighet belyser de grundläggande begränsningarna i dagens tekniker.

Verklighetens komplexitet förvärrar problemet ytterligare. Djupinlärningssystem ställs inför en mångfald av hot i praktiken, och det är omöjligt att förutse alla potentiella attackvektorer. Även om certifiering är möjlig under avgränsade hot, exempelvis lp-bundna störningar, finns det ingen garanti för att angripare håller sig inom dessa gränser. Följaktligen erbjuder inga certifieringsmetoder fullständig tillförlitlighetsgaranti, utan endast partiella.

För att övervinna dessa hinder krävs nya riktningar i forskningen. En central ambition är att skapa både tighta och skalbara certifieringsmetoder. En väg dit går via integration av domänspecifik och uppgiftsspecifik kunskap i både modellträning och certifiering. Istället för rent datadrivet lärande kan kunskapsbaserad design bidra till mänsklig-nivå av tillförlitlighet. Detta kräver effektiva metoder för kunskapsinsamling, destillering och integration, samt systematiskt genererad träningsdata som bygger på strukturerad kunskap.

Ett annat framväxande fokus är hur abstraktioner i certifiering kan förbättras. Dagens abstraktioner är ofta generiska och blinda för modellens interna struktur. Nästa generations certifiering måste införliva resonemang och kunskapskomponenter i dessa abstraktioner för att uppnå större precision och skalbarhet.

På metakognitiv nivå efterfrågas en ny typ av certifiering: generisk tillförlitlighet. Denna inbegriper identifiering av fler tillförlitlighetsaspekter med reell social påverkan, och utveckling av metoder för att certifiera dessa. På sikt behövs även möjlighet att certifiera flera egenskaper samtidigt. Hittills är metoder begränsade till enstaka aspekter som robusthet, rättvisa eller integritet. Kan dessa kombineras utan kompromiss, eller finns det fundamentala trade-offs? Vad krävs för att uppnå detta – mer data, strukturerad kunskap, mänsklig övervakning, förbättrade algoritmer?

Den mest ambitiösa frågan är om vi kan konstruera djupinlärningssystem som är tillförlitliga i en egenskaps-agnostisk mening – alltså system som redan från grunden är utformade för att vara säkra, rättvisa och integritetsbevarande, oavsett framtida hotdefinitioner.

Slutligen måste de praktiska kostnaderna för certifiering beaktas. Ökad beräkningstid, sämre träningsprestanda och lägre noggrannhet är konkreta hinder för verklig tillämpning. Det är avgörande att dessa utmaningar mildras för att certifierat tillförlitliga system ska kunna implementeras i samhället. Lika viktigt är att analysera de samhälleliga konsekvenserna – hur bidrar dessa system till jämlikhet, demokrati och inkludering?

Utöver de tekniska aspekterna är det viktigt att förstå att tillförlitlighet inte är en slutpunkt utan ett rörligt mål. Hotbilder förändras, definitioner av rättvisa omformuleras, samhälleliga krav utvecklas. Certifiering måste därför ses som en pågående process – lika mycket en funktion av kunskapsutveckling som av teknisk implementation.

Vad är den internationella tävlingen för verifiering av neurala nätverk och varför är den viktig?

Den internationella tävlingen för verifiering av neurala nätverk (VNN-COMP) är ett avgörande initiativ för att förbättra säkerheten och pålitligheten hos maskininlärda system. Verifiering är en nödvändig process för att säkerställa att de beslut som tas av neurala nätverk, särskilt inom kritiska områden som autonom körning eller realtidsstyrning, är korrekta och att de följer givna säkerhetskrav. I takt med att maskininlärning och djupa neurala nätverk (DNN) blir allt mer integrerade i vårt dagliga liv, är det av största vikt att dessa system inte bara är effektiva utan också förutsägbara och pålitliga.

Tävlingen har genomförts årligen sedan 2019 och har vuxit i betydelse och deltagande. Den samlar forskare och ingenjörer från hela världen som utvecklar och testar nya metoder för att verifiera djupa neurala nätverk, med hjälp av olika tekniker som beroendeanalys, abstraktionsrefinering och SMT-lösare (Satisfiability Modulo Theories).

Det finns flera nyckelverktyg som används inom verifiering av neurala nätverk. Bland dessa är Reluplex och Marabou, två välkända SMT-lösare som gör det möjligt att verifiera egenskaper hos nätverk som använder aktiveringsfunktionen ReLU (Rectified Linear Unit). Dessa verktyg spelar en avgörande roll i att identifiera potentiella fel i nätverken, såsom att de inte reagerar korrekt på vissa input eller att de gör felaktiga förutsägelser som kan vara farliga i praktiken.

Förutom att verifiera säkerheten i nätverken, fokuserar tävlingen också på att förbättra prestandan hos verifieringsmetoderna. Den ökande komplexiteten hos neurala nätverk innebär att de verktyg som används för att verifiera dessa nätverk måste vara både effektiva och skalbara. Det är här som innovativa tekniker som adaptiv refinering och modifiering av nätverk genom adversarial search (motståndsbaserad sökning) kommer in i bilden. Genom att justera nätverkens strukturer kan forskare förbättra både säkerheten och effektiviteten i verifieringsprocessen.

En annan aspekt som gör VNN-COMP så betydelsefull är dess fokus på att mäta och jämföra olika verifieringsverktyg och metoder. Resultaten från dessa tävlingar ger värdefulla insikter om vad som fungerar och vad som inte fungerar när det gäller verifiering av neurala nätverk. Det leder till snabba framsteg inom området, vilket i sin tur kan påverka design och implementering av framtida AI-system.

När vi talar om verifiering, handlar det inte bara om att upptäcka fel utan också om att kunna återskapa och rätta till dessa fel. Det är här som verktyg som NNV (Neural Network Verifier) spelar en central roll. NNV är ett kraftfullt verktyg som inte bara kan verifiera nätverksmodellernas beteende utan också ge detaljerad information om varför och hur nätverket gör specifika förutsägelser. Det hjälper till att skapa förståelse för de underliggande mekanismerna i maskininlärningsmodeller och kan vara avgörande för att förhindra katastrofala fel.

För läsaren som är intresserad av att djupdyka i verifiering av neurala nätverk, är det också viktigt att förstå att verifiering inte är en engångsprocess. Verifiering behöver upprepas kontinuerligt, särskilt när modeller uppdateras eller när nya träningsdata läggs till. Detta kräver en ständig innovation inom verifieringstekniker för att hålla jämna steg med de snabbt utvecklande fälten inom maskininlärning och artificiell intelligens. Tävlingen VNN-COMP är därför inte bara en plats för att testa nuvarande metoder utan också en inkubator för nya idéer och tekniker som kan definiera framtiden för AI-säkerhet.

Det är också viktigt att tänka på de etiska och samhälleliga implikationerna av verifiering. Eftersom neurala nätverk och AI får en allt större plats i samhällskritiska funktioner som medicinsk diagnostik, autonoma transporter och säkerhetsövervakning, blir det inte bara en teknisk fråga utan också en fråga om ansvar. Verifiering är inte bara för att garantera korrekthet; det är också ett sätt att säkerställa att AI-beslut är rättvisa, transparenta och fria från oönskade bias.