Vad betyder metakognition för artificiell intelligens och varför är det viktigt?

Metakognition handlar om att förstå och resonera kring egna kognitiva processer. Ursprungligen definierades begreppet i utvecklingspsykologin som en beskrivning av högre kognitiva funktioner. Det beskriver förmågan att reflektera över och reglera sina egna tankeprocesser, en förmåga som är central för människans intelligens. När det gäller artificiell intelligens (AI) innebär metakognition en maskins förmåga att resonera om sina egna interna processer. Trots att idén om metakognitiv AI har studerats sporadiskt inom AI-fältet, har de senaste framstegen inom området lett till ett förnyat fokus.

• En stor språkmodell anklagar felaktigt en professor för sexuella trakasserier.

• En självkörande robotaxi i San Francisco orsakar allvarliga skador på en kvinna genom att dra henne 20 meter.

• En förstärkningsinlärningsmodell måste tränas om för att hantera förändringar i sin omgivning.

• En robot förväxlar en människa med en kartong och krossar honom till döds.

Varje exempel belyser en olika typ av AI-fel. Det första visar på bristande transparens – modellen genererade information som var falsk och hade ingen möjlighet att verifiera sina resultat. Det andra handlar om bristande resonemang – systemet kunde inte korrekt syntetisera information och fatta ett bra beslut. Det tredje exemplet handlar om bristande anpassning – systemet kunde inte anpassa sig till förändrade förhållanden. Det fjärde exemplet visar på en bristande förmåga att uppfatta omvärlden korrekt – roboten missförstod en människa och orsakade dödlig skada.

Metakognitiv AI erbjuder ett sätt att adressera dessa problem. För att förbättra AI:s prestationer och göra systemen mer pålitliga, är det nödvändigt att ge AI förmågan att reflektera över sina egna beslut, sin egen information och sina egna brister. I praktiken innebär detta att maskiner kan förklara sina beslut, anpassa sig till nya miljöer, upptäcka och rätta sina egna misstag, samt arbeta mer transparant gentemot användaren. Detta gör att AI inte bara fungerar som ett automatiserat verktyg utan utvecklas till en intelligent partner som kan introspektera, lära sig och anpassa sig efter behov.

Ett konkret exempel på hur detta kan fungera är att AI-system, genom metakognition, skulle kunna ge förklaringar till sina beslut. I traditionell AI, som ofta beskrivs som en "svart låda", kan användare ha svårt att förstå hur systemet kom fram till sina resultat. Genom att implementera metakognitiva funktioner, som gör det möjligt för AI att förklara sina beslut och resonemang på ett begripligt sätt, ökar förtroendet och transparensen. Det gör det även möjligt att spåra och korrigera felaktigheter i systemets tänkande.

Metakognitiv AI är uppbyggd kring fyra huvudsakliga områden:

1. Beslutsfattande: Metakognitiv AI förbättrar beslutsfattandet genom att ge systemet förmågan att tänka på sina egna beslut och deras konsekvenser. Detta gör det möjligt för AI att fatta mer informerade och ansvarsfulla beslut.

2. Anpassningsförmåga och flexibilitet: Genom att förstå och reflektera över förändringar i sin omgivning kan AI anpassa sina strategier och beteenden för att bättre möta nya utmaningar.

3. Felförmåga och felkorrigering: Metakognitiv AI kan upptäcka sina egna misstag och rätta till dem i realtid, vilket gör att systemet blir mer robust och pålitligt.

4. Förtroende och transparens: Genom att förklara sina beslut och resonemang gör metakognitiv AI sina interna processer mer förståeliga och tillgängliga för användaren. Detta är avgörande för att bygga förtroende och säkerställa ansvarsfull användning av AI-teknologier.

Därför är det också viktigt att förstå att metakognitiv AI innebär mer än bara tekniska lösningar för att förbättra maskiners funktion. Det handlar om att skapa en mer mänsklig form av intelligens, där AI inte bara reagerar på omvärlden utan också är kapabel att förstå och ifrågasätta sina egna beslut. Detta gör det möjligt att undvika vissa av de katastrofala felen som traditionell AI fortfarande kan orsaka, och innebär en grundläggande förbättring i hur vi interagerar med teknologi.

Hur säkerhetsverifiering och räckviddsanalys i DNN:s påverkar effektiviteten och noggrannheten

Räckviddsanalys och säkerhetsverifiering är avgörande för att förstå hur djupa neurala nätverk (DNN) reagerar på olika indata och säkerställa att de uppfyller specifika säkerhetskrav. DNN:s, särskilt de som använder ReLU-aktiveringsfunktioner, tenderar att vara mer linjära än de som använder andra aktiveringsfunktioner, vilket innebär att de genererar fler tillstånd under bearbetningen. Detta skapar en större mängd möjliga utdata, vilket gör att analysen av räckvidden blir en avgörande del i verifieringsprocessen.

I de affina lagerna, som fullt sammanlänkade lager och konvolutionslager, omvandlas det uppnåbara tillståndet $P$ till ett nytt uppnåbart set $P'$. För att säkerställa att alla processorer i ett parallellt arbetande system används optimalt, tillämpar arbetsstöld en strategi där en inaktiv processor stjäl tillstånd från andra processorer via en globalt delad kö. Denna metod säkerställer att beräkningsresurser utnyttjas maximalt tills alla tillstånd når slutet av DNN:n. Vid denna punkt kan olika callback-funktioner anropas för att avsluta processen, exempelvis säkerhetsverifiering eller beräkning av osäkra ingångsområden med hjälp av backtracking-algoritmer.

Det är också viktigt att förstå att den exakta analysen innebär att olika linjära egenskaper övervägs för varje lager i DNN:n. Därför ger en uppnåbar mängd faktiskt endast utdata från en linjär region av nätverket. En linjär region är en maximal konvex underområde av ingångsdomen, där nätverket beter sig linjärt. Om säkerhetskraven definieras genom en predikatfunktion på utmatningsrummet och denna funktion inte är tom, anses nätverket vara osäkert.

När det gäller uppsättningsrepresentationer är dessa avgörande för effektiviteten hos räckviddsanalysen. Veritex tillhandahåller flera olika uppsättningsrepresentationer, såsom FVIM (Facet-vertex Incidence Matrix), FLattice (Face Lattice) och V-zono. FVIM är en effektiv representation för att kodifiera den kombinationella strukturen hos ett polytope, där varje hörn (extrempunkt) bevaras under beräkningar. Genom att följa denna struktur kan man undvika att lösa linjära programmeringsproblem, vilket sparar beräkningsresurser.

Denna representation innebär dock ett kompromissförhållande mellan minnesanvändning och beräkningseffektivitet. Även om FVIM kräver mer minne än andra metoder som använder LP (linjär programmering), kan den snabba beräkningstiden i vissa fall överväga minnesanvändningens kostnader. När en polytope bearbetas genom affine-mapping (t.ex. via vikter i fullt sammanlänkade eller konvolutionslager) bevaras FVIM-strukturen. I processen genom max-funktionen i ReLU-neuroner eller max-pooling-lager kan hörnens närhetsrelationer lätt uppdateras, vilket gör räckviddsanalysen effektivare.

För mer komplexa polytope som inte är enkla, används FLattice. Denna struktur beskriver alla innehållsrelationer mellan olika ansikten i en polytope och ger en mer skalbar lösning för att representera generella polytope. FLattice är effektivare än FVIM för större och mer komplexa polytope, men den ökar beräkningstiden något eftersom fler relationer behöver hanteras. FLattice ger också möjlighet att bakspåra exakta osäkra ingångsdomäner, på samma sätt som FVIM.

För att beräkna överapproximativa uppnåbara mängder i nätverkets aktiveringsfunktioner, såsom ReLU, Sigmoid eller Tanh, används V-zono, en zonotopbaserad metod. V-zono beräknar en överapproximativ uppnåbar mängd för DNN och används när säkerhetsverifiering krävs på ett snabbare sätt, även om metoden inte är lika exakt som den exakta analysen. Överapproximationsmetoden kan snabbt eliminera områden som inte innehåller osäkra element, vilket gör att säkerhetsverifieringen kan slutföras snabbare, även om det leder till en konservativ uppskattning.

Det är viktigt att förstå att en effektiv räckviddsanalys inte bara handlar om att hitta exakta resultat utan också om att optimera beräkningsresurserna. Genom att kombinera exakt och överapproximativ analys kan Veritex ge både snabb och säker verifiering av nätverk. I vissa fall kan denna hybridmetod användas för att snabbt filtrera bort delar av indatautrymmet som är säkra, vilket gör att verifieringsprocessen blir mycket mer effektiv.