Hur skapar vi och upprätthåller ömsesidigt förtroende i människa-AI team?

Förtroende i relationer mellan människor, samt mellan människor och automatiserade enheter, har diskuterats ingående i litteraturen. Klassifikationer av förtroende inkluderar både mänskliga interaktioner och interaktioner mellan människor och robotar eller andra automationssystem. Förtroende mellan aktörer som människan och en intelligent agent är ett dynamiskt begrepp, där det inte alltid är svart eller vitt. I realiteten kan en agent, trots att den inte helt litar på en annan agent, agera som om förtroendet är fullständigt, för att detta kan vara den mest fördelaktiga kursen av handling vid en given tidpunkt.

För att upprätthålla och kontinuerligt justera ömsesidigt förtroende måste både aktörerna A och B kunna bedöma och uppdatera följande parametrar: förmåga att genomföra handlingar (kompetens), omständigheter eller situationer i vilka samarbetet sker, samt de tidigare etablerade skälen för att förvänta sig att de andra parametrarna hålls. Detta kräver att agenten inte bara samlar in data om den aktuella situationen utan också att den har en metod för att väga och beräkna dessa parametrar på ett sätt som reflekterar deras betydelse.

För AI-agenter som arbetar inom dynamiska och osäkra miljöer innebär detta att deras beslut ofta bygger på ofullständig information. Här kommer konceptet om "actionability" in, där agenten uppskattar hur mycket information som faktiskt behövs för att fatta ett förtroendegrundat beslut. En agent som arbetar med en högre grad av actionability kanske inte har fullständig information om en given situation, men ändå agerar som om den har tillräckligt för att kunna fatta ett beslut.

Förtroendehållande agenters funktioner, som till exempel "Trust Assessment Functions" (TAF), bygger på ett urval av relevanta parametrar som är knutna till förtroendet för den aktuella situationen. Dessa parametrar, kända som trust-relevant features (TRF), kan inkludera faktorer som hur tidigare interaktioner har sett ut, om agenten är kompetent i en viss uppgift, eller om situationens omständigheter är gynnsamma för en viss åtgärd. När en agent fattar ett beslut, väger den dessa parametrar för att avgöra graden av förtroende som kan tillskrivas en annan aktör i den aktuella situationen.

En viktig aspekt är att förtroende inte är statiskt utan kan förändras beroende på de val och beslut som tas i realtid. Om en agent exempelvis delegaterar en uppgift till en annan och den senare inte fullföljer uppdraget på ett korrekt sätt, leder detta till att förtroendet för agenten minskar i den specifika uppgiften. Omvänt, om agenten genomför sina åtgärder på ett tillfredsställande sätt, kan förtroendet stärkas. Det är också värt att notera att förtroende inte alltid handlar om objektiva fakta utan även om subjektiva tolkningar baserade på tidigare erfarenheter och relationer. Därför kan förtroende påverkas av fördomar som till exempel "halo-effekten", där en agent som redan anses pålitlig i ett område kanske får ett orättvist högt förtroende i andra områden.

För att illustrera detta kan vi ta exemplet med en medicinsk träning där en AI-agent agerar som en virtuell patient (VP) som interagerar med en medicinsk expert (MD). I denna situation spelar förtroendet en central roll när den virtuella patienten bedömer läkarens förmåga att ge korrekt information om en diagnos eller behandling. Om patienten får ett förtroendeingivande svar från läkaragenten, ökar sannolikheten för att agenten litar på läkarens kompetens. Detta förtroende kan också påverkas om det finns externa auktoriteter eller bekräftelser, som att läkaragenten är erkänd som en expert.

För att sammanfatta kan vi säga att förtroende i människa-AI team inte bara handlar om att lita på varandra i specifika situationer utan också om att förstå hur denna relation kontinuerligt förändras och anpassas beroende på erfarenheter, kompetens och omständigheter. Det är avgörande för effektivt samarbete att förtroendet är dynamiskt och kan justeras på basis av både objektiva och subjektiva parametrar.

Hur osäkerhet påverkar robotikens perception, beslutsfattande och interaktion med människor

I utvecklingen av autonoma system, särskilt för självkörande bilar (AVs), är hantering av osäkerhet en central aspekt. Osäkerhet kan definieras på flera sätt: epistemisk osäkerhet handlar om bristen på kunskap, medan aleatorisk osäkerhet handlar om oförutsedda variationer som uppstår på grund av slumpmässiga faktorer. I en robotikkontext innebär osäkerhet inte bara att robotar eller autonoma system måste hantera förvrängningar i sensorisk data, utan även att de måste fatta beslut i osäkra miljöer, där förutsägelser kan bli osäkra och där konsekvenserna av dessa beslut kan vara kritiska.

Enligt forskning har tekniker som relevansvektormaskiner och Monte Carlo-dropout använts för att kvantifiera osäkerhet i semantisk segmentering. Detta ger en mer robust modell, men det är fortfarande en utmaning att hantera de osäkra gränserna mellan objekt i kritiska tillämpningar som autonom körning, där en felaktig tolkning kan få allvarliga konsekvenser.

Ett närbesläktat område inom robotik är förmågan att förutsäga framtida tillstånd och hantera osäkerhet i dessa förutsägelser. Precis som människor använder vår förmåga att föreställa oss framtida risker och konsekvenser för att fatta informerade beslut, kan robotar förutsäga förändringar i sin miljö. För detta ändamål har olika tekniker använts, såsom Gaussiska processer och konvolutionella LSTMs. Dessa modeller tillåter robotar att förutspå hur objekt i deras omgivning kommer att förändras över tid och utnyttja denna information för att planera sina handlingar.

I sammanhang där osäkerhet är förhöjd, som vid detektering av OOD-prover (out-of-distribution), är det viktigt att förstå när en robot inte har tillräcklig information för att utföra en uppgift korrekt. Om osäkerheten i en förutsägelse är hög för ett visst input kan det innebära att modellen inte är robust nog i närheten av detta input. Detta är särskilt viktigt i system som autonom körning, där det är avgörande att kunna identifiera situationer där systemet kan underprestera och anpassa sig för att förhindra olyckor.

En annan viktig aspekt av osäkerhet är dess påverkan på planering och kontroll. I system som involverar både perception och beslutsfattande måste osäkerhet i perceptionen spridas vidare till beslutsmodulerna. Om ett objektigenkänningssystem genererar flera möjliga positioner med osäkerheter kring dessa positioner, måste beslutssystemet kunna hantera dessa osäkerheter. En lösning på detta kan vara att representera osäkerheten som en sannolikhetsfördelning och använda denna för att beräkna de olika möjliga utfallen. Detta tillvägagångssätt gör att roboten kan fatta informerade beslut, även om den inte har fullständig information om omgivningen.

Förutom att hantera osäkerhet i planering och beslutsfattande är robotens förmåga att utforska osäkra delar av omgivningen avgörande för att skapa bättre representationer av världen. Genom att använda metoder som Bayesiansk optimering eller förstärkningsinlärning kan robotar identifiera och utforska områden där de har låg information, vilket gör att de kan samla mer data och förbättra sina modeller. Detta är särskilt viktigt i dynamiska miljöer där omständigheterna ständigt förändras, som vid robotmapping i inomhusmiljöer eller vid miljöövervakning med hjälp av drönare.

Hur kan metakognitiva AI-system utvecklas för att effektivt interagera med människor och anpassa sig till nya miljöer?

Metakognitiva förmågor hos AI är avgörande för att system ska kunna förstå och förklara sina egna beslut, vilket är en av de största utmaningarna i dagens AI-forskning. Den nuvarande teknologin, såsom de som utvecklas inom DARPA:s XAI-program, fokuserar på att generera efterhandsförklaringar för svarta lådor i AI:s beslutsfattande processer. Dessa förklaringar är dock inte alltid de verkliga orsakerna bakom beslutet eller relaterade till det på ett kausalt sätt. Detta problem är en direkt följd av de teknologiska begränsningarna i dagens generativa AI-modeller, och det är förståeligt att det ännu inte finns lösningar på detta problem.

Men när vi ser framåt, för att skapa AI-agenter som inte bara är verktyg utan samarbetspartners på människonivå, måste vi utveckla metakognitiva förmågor som gör det möjligt för AI att resonera och reflektera över sina egna processer på samma sätt som människor gör. Detta innebär att skapa en AI som kan förstå sina egna tankemönster, förklara sina beslut och anpassa sig till nya och oförutsägbara situationer, vilket är det slutgiltiga vetenskapliga målet för AI-fältet. För att nå detta mål är det viktigt att arbeta med både långsiktig grundforskning och kortsiktiga praktiska framsteg.

En grundläggande aspekt av metakognitiv AI är att AI:n inte bara ska kunna agera utifrån förutbestämda algoritmer, utan också kunna reflektera över sin egen process och justera sina handlingar i en dynamisk miljö. Här kommer människans roll in som en guide för AI:n, för att hjälpa den att förstå nya representeringar och strategier utanför dess nuvarande ramar. Denna typ av interaktivt lärande kräver att AI:n har tillgång till en omfattande databas av tolkbar information och förståelse för världen, något som fortfarande är en stor utmaning.

En annan aspekt som är central för utvecklingen av metakognitiva AI-system är deras förmåga att anpassa sig till föränderliga miljöer. Detta kräver att AI inte bara kan identifiera sina egna svagheter, utan också automatiskt modifiera sina beteenden för att förbättra sin prestation över tid. Detta kräver avancerade algoritmer som kan utföra självadaptation utan mänsklig inblandning, vilket innebär att AI:n skulle behöva ett system för kontinuerlig självförbättring.

Utmaningarna för metakognitiv AI sträcker sig också till etiska och ansvariga beslut. När AI-system får större autonomi i sitt beslutsfattande, måste vi säkerställa att dessa beslut är etiskt grundade och transparenta för användaren. Detta innebär att utveckla modeller som inte bara kan förklara hur AI har kommit fram till sina beslut, utan också se till att dessa beslut följer etiska normer och värderingar. Detta blir särskilt viktigt i komplexa situationer där AI:n kan fatta beslut som påverkar människor direkt, som vid autonom körning eller medicinska diagnoser.

För att säkerställa att metakognitiva förmågor verkligen fungerar effektivt, behöver vi också utveckla lämpliga benchmarks och sätt att mäta AI:s förmåga att reflektera över sina egna processer. Ett av de största problemen här är att, till skillnad från traditionella AI-modeller som kan testas mot förutsägbara datasätt, handlar metakognition om att hantera oförutsedda situationer. AI-system som fungerar i dynamiska miljöer, som exempelvis självkörande bilar, möter ständigt nya, oväntade scenarier. Att förutspå alla dessa och skapa perfekta testfall för metakognitiva system är praktiskt taget omöjligt. Det är dock fortfarande avgörande att utveckla metoder för att utvärdera och validera AI:s självreflektion och adaptiva kapabiliteter.

Hur kan metakognitiva strategier förbättra maskininlärningsapplikationers robusthet?

Metakognition i sammanhanget för maskininlärning innebär en avancerad återkopplingsmekanism som omvandlar insamlad kunskap till metakunskap, vilken sedan används för att ge rekommendationer till komponenterna inom maskininlärningsinfrastrukturen (MLIN). Syftet är att öka robustheten i maskininlärningsapplikationer genom att dynamiskt anpassa och förbättra hela datalivscykeln och dess påverkan på applikationens prestanda.

En central del i denna process är optimeringen av datainsamlingen. Här sker en dynamisk anpassning av infrastrukturen baserat på insikter om sambanden mellan datakvalitet (DQ) från olika datakällor och maskininlärningsapplikationens resultat. Det innebär att datakällor väljs ut och prioriteras, metoder för DQ-utvärdering justeras och dataintegrationsramverket omstruktureras för att möta de kvalitetskrav som maskininlärningen ställer. Denna flexibilitet i datainsamlingen gör det möjligt att hantera variationer i datakvaliteten utan att kompromissa med applikationens funktion.

En annan kritisk aspekt är den kontinuerliga reflektionen över datakvaliteten i alla steg av datalivscykeln. Det handlar om att noggrant övervaka hur variationer i datakvaliteten, oavsett om de uppstår under insamlingen eller i nätverkskommunikationen, påverkar maskininlärningsapplikationens prestanda. Genom att analysera dessa interaktioner kan man härleda ny kunskap som gör det möjligt att identifiera optimala förutsättningar och justera MLIN-parametrar för att maximera applikationens robusthet. Detta inkluderar finjustering av nätverksparametrar, insamlingsstrategier och själva träningsprocessen.

Den metakognitiva återkopplingsprocessen fungerar som ett intelligent kontrollsystem där kunskapsbasen kontinuerligt uppdateras med metakunskap som reflekterar hur olika faktorer i datainfrastrukturen påverkar maskininlärningens effektivitet och stabilitet. Dessa insikter möjliggör för systemet att självanpassa sina komponenter och strategier, vilket är avgörande för att kunna hantera osäkerheter och förändringar i den datamiljö som maskininlärningen verkar inom.

Det är viktigt att förstå att robusthet i maskininlärning inte bara handlar om modellens interna parametrar eller algoritmernas prestanda, utan i hög grad om hur väl systemet kan hantera variationer och kvalitetsproblem i de data som matas in. Den metakognitiva processen säkerställer en holistisk syn där datakvalitet, nätverksförhållanden och träningsparametrar samspelar och kontinuerligt optimeras för att upprätthålla och förbättra prestandan.

Förutom de tekniska justeringarna är det avgörande att betrakta metakognition som en dynamisk och adaptiv process som kräver en integrerad infrastruktur för datainsamling, analys och justering. Sådan infrastruktur måste kunna agera på insikter i realtid för att hantera störningar och förändringar snabbt och effektivt. Dessutom bör systemets metakognitiva komponenter designas för att vara skalbara och flexibla, så att de kan anpassas till olika användningsområden och datamiljöer.

Slutligen, för att fullt ut dra nytta av metakognitiva strategier inom maskininlärning, behöver man ha en djup förståelse för de komplexa och ofta icke-linjära sambanden mellan datakvalitet, nätverksparametrar och modellprestanda. Denna förståelse är avgörande för att utveckla metoder som inte bara reagerar på förändringar, utan proaktivt kan förutse och förebygga försämringar i systemets robusthet. På så sätt kan man säkerställa att maskininlärningsapplikationer fungerar pålitligt även i oförutsägbara och varierande miljöer.