I denna kapitel behandlas den grundläggande problematiken vid användning av AI-modeller för att fatta beslut baserat på data som kan avvika från den data modellen tränades på. Det är särskilt viktigt i situationer där tillräcklig mängd märkta data saknas eller där modellen inte kan finjusteras på nytt, exempelvis när modellen är begränsad till att vara tillgänglig via en API. För att kunna förklara varför modellens resultat ändras, och för att säkerställa säkerheten vid tillämpningar, används en regelbaserad metod för att detektera och korrigera fel som uppstår i modeller som fg.

Metoden innebär att vi lär oss ett regelsystem (benämnt n) som är utformat för att identifiera och rätta till fel som modellen fg gör, genom logisk resonemang. Vid implementering, när en ny sekvens w matas in i modellen, beräknas först modellens klass fg(w). Därefter tillämpas reglerna i uppsättningen n för att avgöra om resultatet från fg ska accepteras eller om en alternativ klass ska användas för att rätta till det felaktiga resultatet. I denna sektion formaliseras felrättningsramverket med hjälp av en enkel första ordningens logik (FOL), och analytiska resultat relateras till aspekter av de lärda reglerna, vilket informerar vår analysmetod för att lära sig dessa felupptäckande och korrigerande regler.

I vår modell för felupptäckt och -korrigering gör vi antagandet att det finns en uppsättning O av operativa sekvenser för vilka vi har korrekthetsinformation tillgänglig efter att modellen har tränats. Mängden O är begränsad, och vanligtvis är denna uppsättning mycket mindre än träningsdatan T. Under experimenten undersöker vi också situationer där O = T, men i allmänhet är resultaten baserade på prestandan på O och tillämpningar där O kan skilja sig avsevärt från T. För varje klass i, returnerar modellen fg en klass i för N av proverna, och för varje klass i beräknas antalet sanna positiva (TPi), falska positiva (FPi), sanna negativa (TNi) och falska negativa (FNi). För precisionen (P) och återkallandet (R) gäller de vanliga formlerna: P = TPi / Ni och R = TPi / (TPi + FNi), där Ni representerar antalet prover i klassen i.

Felupptäckande och felrättande regler bygger på en formell språkmodell, där proverna representeras av konstantsymboler och varje prov har tillhörande predikat. För varje rörelseklass används predikat för att beskriva tillstånd som "predi", "corr" och "error", samt ett antal tillståndsberoende predikat som kan härledas från en annan modell.

Felupptäckande regler är de som identifierar om en förutsägelse från fg är ogiltig. Ett sådant predikat innebär att rörelseklassen som tilldelats ett prov ändras från den ursprungliga klassificeringen till "okänd". En detektionsregel för varje klass i definieras av en uppsättning detektionsvillkor DCi, som beskriver förhållandena under vilka fg gör ett felaktigt beslut. Efter att felupptäcktsreglerna tillämpats för varje klass, övervägs en omklassificering av proverna med hjälp av en korrigerande regel. De korrigerande reglerna är baserade på en kombination av villkor och klasspar där rättelsen sker genom att associera en ny rörelseklass med provet.

För både detekterande och korrigerande regler är det möjligt att definiera ett mått på stöd (s), som anger hur stor del av proverna i uppsättningen O som uppfyller regeln, samt ett mått på konfidenstalet (c), som anger hur ofta både villkoret och huvudet i regeln är sanna samtidigt. Lärandet av regler för att maximera precision och återkallande är beroende av att optimera dessa mått. För detekterande regler är målet att maximera precision samtidigt som återkallandet inte minskar mer än ett visst acceptabelt mått. För korrigerande regler är målet att optimera för både precision och återkallande samtidigt som konfidenstalet är så högt som möjligt.

Genom att tillämpa reglerna och analysera effekterna av detekterande och korrigerande regler på precision och återkallande kan vi optimera modellens prestanda. För detekterande regler kan precisionen förbättras om stödvärdet s är mindre än 1 - Pi, och återkallandet minskar till en viss nivå beroende på konfidenstalet. För korrigerande regler kan både precision och återkallande förbättras genom att optimera för hög konfidenstalsnivå.

Det är viktigt att förstå att både felupptäckande och felrättande regler inte är monolitiska. Deras effekt beror på noggrant definierade villkor och den relation som finns mellan dessa villkor och de klassificeringar som modellen gör. Det innebär att även om reglerna verkar förbättra vissa mått, kan de samtidigt påverka andra. Detta kräver en iterativ process för att optimera och anpassa reglerna för varje specifik användning och modell.

Slutligen är en viktig aspekt att förstå när man arbetar med felkorrigering i AI-modeller att det handlar om att minimera risken för att de korrigerade resultaten leder till ytterligare fel eller bias. Det är inte bara ett tekniskt problem, utan också ett etiskt och praktiskt övervägande när man använder dessa korrigeringar i realtidsapplikationer.

Vad är osäkerhetens roll i robotlärande och autonom intelligens?

Osäkerhet är en central aspekt inom utvecklingen av autonoma system, särskilt när det gäller robotar och embodied AI. För att robotar effektivt ska kunna agera i en dynamisk och oförutsägbar fysisk värld, måste de kunna förhålla sig till och hantera osäkerheter på ett intelligent sätt. Detta innebär inte bara att robotar behöver förmågan att lära sig att förstå och reagera på olika situationer utan också att de måste kunna väga dessa osäkerheter för att fatta välgrundade beslut.

En robot som ska navigera eller interagera i den fysiska världen står inför en mångfald av möjliga scenarier. Om en robot skulle försöka förstå alla tänkbara situationer och förutse alla möjliga konsekvenser av sina handlingar, skulle detta vara både opraktiskt och resursslukande. I stället handlar det om att utrusta robotarna med förmågan att identifiera de mest relevanta och viktiga scenarierna för att kunna fokusera på de mest troliga eller kritiska händelserna. Detta kräver en förståelse för sannolikheter och osäkerhetens natur.

Osäkerhet kan beskrivas som ett mått på de potentiella variationerna i händelser och utfall i en given situation. I sammanhanget med robotlärande och autonom intelligens refererar denna osäkerhet oftast till olika faktorer, som till exempel sensorfel, felaktiga datainmatningar eller externa omständigheter som kan påverka en robots beslut eller förmåga att korrekt uppfatta sin omvärld. Att representera och förstå denna osäkerhet är därför avgörande för att utveckla mer robusta och pålitliga system.

Det finns två huvudsakliga paradigmer där osäkerhet och mångfald av förutsägelser visar sig vara fördelaktiga: det evaluativa och det generativa paradigm. I det evaluativa paradigm lär sig roboten att bygga en modell som fångar osäkerheten om världen omkring den. Detta kan inkludera att generera flera alternativa kartor eller vägar beroende på hur osäker informationen om omgivningen är. Ett konkret exempel på detta är när en robot, på grund av hinder eller begränsningar i sina sensorer, inte kan observera en viss del av sitt omgivande område. I detta fall skulle robotens modell kunna kvantifiera osäkerheten för det området, vilket ger en ökad förståelse för vilka alternativ som är mest realistiska.

Detta kan översättas till olika beslut, beroende på robotens förmåga att väga risk och förväntad nytta av olika åtgärder. I vissa situationer kan roboten behöva agera riskavert och välja den säkraste möjliga vägen, medan den i andra situationer kan välja en mer riskbenägen strategi, beroende på situationens natur och de tillgängliga uppgifterna. Genom att kvantifiera osäkerheten och integrera denna i beslutsfattandet, blir robotens agerande både mer flexibelt och bättre anpassat till den verklighet den verkar i.

Det generativa paradigm, å andra sidan, innebär att vi använder en modell för att generera en mångfald av möjliga världar, scenarier eller data. Dessa genererade scenarier kan sedan användas för att träna en maskininlärningsmodell eller för att testa redan existerande modeller. Detta är särskilt användbart inom robotik, där simuleringar kan användas för att effektivt och kostnadseffektivt skapa scenarier för att lära robotar att hantera olika situationer. Exempelvis kan en robot i en simulering tränas för att hantera ett stort antal olika typer av väderförhållanden eller för att förstå hur den ska agera i situationer som kan vara svåra att förutsäga i den verkliga världen.

Inom det generativa paradigm kan även osäkerhet användas för att identifiera potentiella felmodeller och för att skapa scenarier där en robot kan misslyckas, vilket ger insikter i hur systemet kan förbättras. Simuleringar och generering av osäkra scenarier är därför också ett kraftfullt verktyg för att skapa mer robusta system genom att göra det möjligt att testa robotar i extrema och oförutsedda förhållanden.

Det är också viktigt att förstå att osäkerhet inte alltid är något som bör beaktas i alla situationer. I många realtidsapplikationer, särskilt inom robotik, kan det vara ineffektivt eller till och med kontraproduktivt att försöka hantera varje potentiell källa till osäkerhet. Därför är det avgörande att kunna identifiera och fokusera på de mest relevanta källorna till osäkerhet. Dessa källor kan vara interna, såsom fel i sensorernas mätningar eller aktuatorkommandon, eller externa, såsom miljöfaktorer eller felaktiga indata från användare eller andra system.

För att ta ett konkret exempel, i autonoma fordon som använder LIDAR för att lokalisera objekt i sin omgivning, kan osäkerheten öka avsevärt på grund av systematiska fel i mätningen eller dåliga GPS-signaler, vilket leder till en osäkerhet i fordonets plats. Denna osäkerhet måste beaktas och hanteras noggrant för att fordonet ska kunna fatta säkra och precisa beslut, särskilt när det gäller att undvika kollisioner eller bedöma trafiksituationen på ett tillförlitligt sätt.

För att avsluta, medan osäkerhet är en viktig aspekt i utvecklingen av autonoma system och robotar, är det också viktigt att komma ihåg att för mycket osäkerhet kan leda till ineffektivitet och överflödig beräkningskomplexitet. Därför handlar det om att hitta en balans mellan att hantera osäkerhet och att säkerställa att systemet fungerar snabbt och effektivt i realtidsapplikationer.

Hur kan vi uppnå certifierad pålitlighet i metakognitiv AI?

Metakognitiv AI, en gren av artificiell intelligens som fokuserar på att utveckla system som kan reflektera över och justera sina egna tankar och beslut, har en enorm potential att förändra hur vi interagerar med och förstår intelligenta system. Men för att säkerställa att sådana system är pålitliga och kan fatta beslut som vi verkligen kan lita på, behöver vi utveckla mekanismer för att certifiera deras pålitlighet. Detta innebär att skapa metoder för att verifiera att dessa system verkligen fungerar på ett säkert och förutsägbart sätt under alla tänkbara förhållanden.

Forskningen om robusthet och verifiering av AI-modeller, särskilt inom neurala nätverk, har snabbt utvecklats de senaste åren. Flera tekniker har visat sig vara effektiva för att säkerställa att AI-system kan motstå olika typer av attacker och störningar. En sådan metod är att använda geometriska analysmetoder för att verifiera nätverksrobusthet, vilket innebär att man undersöker hur små förändringar i input kan påverka resultatet av nätverket. Denna metod är särskilt viktig för att säkerställa att AI-modeller inte kommer att göra stora misstag när de möter oväntade eller fiendtliga data.

Ytterligare en lovande metod för att uppnå certifierad pålitlighet är att använda provbara försvarsmekanismer, som t.ex. adversarial träning. Genom att träna nätverk att känna igen och hantera potentiellt skadliga förändringar i data kan vi öka systemets motståndskraft mot externa angrepp. Denna typ av träning är fortfarande under utveckling, men det finns redan en växande mängd forskning som visar hur dessa tekniker kan användas för att skapa mer robusta och pålitliga AI-system.

Ett annat framsteg är användningen av smidiga ramverk för att certifiera robustheten hos AI-modeller. Dessa ramverk gör det möjligt att formellt verifiera att en modell är resistent mot en specifik typ av störning eller manipulation, vilket ger oss större förtroende för systemets förmåga att hantera oväntade situationer.

Det är också viktigt att notera att när vi pratar om certifierad pålitlighet, handlar det inte bara om att verifiera att systemet fungerar bra under normala omständigheter. Vi måste också säkerställa att dessa system fungerar korrekt när de utsätts för extrema förhållanden, såsom plötsliga förändringar i miljön eller angripande försök från externa källor. Detta innebär att vi behöver utveckla metoder för att testa och validera dessa system under en mängd olika scenarier.

Vidare är det avgörande att AI-system inte bara är robusta mot fysiska eller datarelaterade hot utan också mot potentiella förändringar i deras operativa miljö. När det gäller metakognitiv AI innebär detta att systemen inte bara måste kunna anpassa sina beslut baserat på feedback från omvärlden, utan också kunna fatta välgrundade beslut om hur de själva ska reagera på nya och oförutsedda situationer.

För att uppnå en verklig certifiering av pålitlighet krävs ett nära samarbete mellan teoretiska framsteg inom AI och praktiska implementeringar. Genom att utnyttja både avancerade matematisk analys och experimentell validering kan vi gradvis bygga ett ramverk som gör det möjligt att certifiera att ett metakognitivt AI-system fungerar på ett tillförlitligt sätt under en rad olika förhållanden. Detta arbete kommer att vara avgörande för att skapa förtroende hos användare och beslutsfattare som står inför nya och komplexa teknologiska utmaningar.

Slutligen är det också viktigt att förstå att detta arbete inte är en engångsinsats. AI-system kommer att fortsätta utvecklas och bli alltmer komplexa, och vi måste därför ständigt uppdatera och förbättra våra metoder för att verifiera och certifiera deras pålitlighet. Det innebär att framtida forskning och innovationer inom detta område inte bara handlar om att skapa nya AI-modeller, utan också om att säkerställa att dessa modeller är säkra och tillförlitliga för användning i den verkliga världen.

Hur kan vi säkerställa robusthet och verifierbarhet i djupa neurala nätverk?

Under de senaste åren har forskning kring robusthet och verifiering av djupa neurala nätverk intensifierats kraftigt. Att garantera att ett nätverk uppträder pålitligt även vid störningar eller avvikande indata är centralt för säker användning i kritiska tillämpningar. Många av de senaste framstegen bygger på en kombination av formella metoder och optimeringstekniker som möjliggör certifiering av nätverkets stabilitet och säkerhet.

En av huvudutmaningarna har varit att övervinna de begränsningar som uppstår vid användning av konvex avspänning (convex relaxation) i verifieringsprocessen. Forskning som Tjandraatmadja et al. (2020) visar att genom att skärpa dessa avspänningar på enskilda neuroner kan verifieringsnoggrannheten förbättras avsevärt, vilket minskar gapet mellan teoretiska garantier och praktiska resultat.

Mixed integer programming (MIP) har också visat sig vara ett kraftfullt verktyg för att exakt bedöma nätverks robusthet, som Tjeng et al. (2019) beskriver. Genom att formulera verifieringsproblemet som en optimeringsuppgift med diskreta variabler kan man undersöka nätverkets beteende under olika perturbationer med hög precision, även om metoden kan bli beräkningsmässigt krävande för stora nätverk.

En annan intressant metod är användningen av Lipschitz-konstanter för att träna och certifiera nätverkets motståndskraft mot små förändringar i indata. Tsuzuku et al. (2018) introducerade Lipschitz-margin training som en skalbar approach för att säkerställa invarians mot perturbationer, vilket innebär att nätverket kan garanteras att inte förändra sitt utfall drastiskt vid små variationer.

I komplexare arkitekturer har tekniker som ortogonalisering av konvolutionslager med hjälp av Cayley-transformen (Trockman och Kolter, 2021) bidragit till att förbättra stabilitet och därmed robusthet, vilket indikerar att strukturella förändringar i nätverk kan ge större kontroll över dess sårbarheter.

Ett annat område av vikt är verifiering och robusthet i beslutsträd och ensemblemetoder. Wang et al. (2020) och Yang et al. (2022) har utvecklat metoder för att analysera och certifiera robustheten hos sådana modeller, vilket breddar möjligheterna till pålitliga maskininlärningssystem bortom djupa neurala nätverk.

Säkerhetsaspekter har också fått ökad uppmärksamhet, särskilt med avseende på adversariella attacker. Metoder som PatchGuard (Xiang et al., 2021) och PatchCleanser (Xiang et al., 2022) erbjuder certifierade försvar mot attacker som manipulerar indata på lokal nivå, vilket är avgörande för att skydda system i verkliga miljöer.

Certifierad robusthet har utvecklats till att inkludera även förstärkningsinlärning, där Wu et al. (2022) introducerade metoder för att skydda mot förgiftande attacker i offline-policyer, vilket visar på teknikens bredd och betydelse i olika domäner.

Snabb och skalbar verifiering har varit en annan drivkraft, där metoder som Beta-crown (Wang et al., 2021) och RecurJac (Zhang et al., 2019) möjliggör effektiv bound-propagation och gränssättning, vilket gör det praktiskt genomförbart att verifiera större nätverk med rimlig beräkningsinsats.

Vidare är det viktigt att förstå att robusthet inte enbart handlar om att hantera små perturbationer i indata, utan även att säkerställa generalisering utanför träningsdata, som Weber et al. (2022) tar upp i arbeten kring certifiering av out-of-domain generalisering. Detta breddar perspektivet från ren säkerhet mot attacker till att också omfatta systemets pålitlighet i dynamiska och föränderliga miljöer.

Slutligen visar utvecklingen av metoder för att automatisera och påskynda verifieringsprocessen (Xu et al., 2020; Xu et al., 2021) på den praktiska betydelsen av forskning inom området. Genom att kombinera algoritmiska innovationer med hårdvaruaccelererad parallellisering kan verifiering av robusthet snart bli en integrerad del av utvecklingscykeln för neurala nätverk.

Det är avgörande att inse att verifiering och robusthet i neurala nätverk är ett multidimensionellt problem som kräver samspel mellan teoretisk insikt, optimeringstekniker och praktiska implementeringar. För läsaren är det även viktigt att ha en helhetssyn där de matematiska modellerna för robusthet kompletteras med förståelse för attackytor, nätverksarkitekturens roll och applikationsspecifika krav. Fördjupning i de bakomliggande metoderna och deras begränsningar ger en bättre grund för att tolka certifieringar och välja rätt strategi för att bygga pålitliga AI-system.

Hur två kungar mötte ett gigantiskt hot och traditioner blev utmanade
Hur erfarenheter från ditt förflutna formar din förmåga att vara en effektiv förespråkare
Hur formades legenderna i det vilda västern och vad låg bakom deras mod?
Hur miljardärer och deras politiska spel manipulerar val och politiska system