När vi arbetar med maskininlärning för att identifiera och korrigera fel i klassificeringssystem, kan det uppstå en utmaning i flervalsproblem där precision och återkallelse inte alltid är i balans. En typisk metod för att hantera detta problem involverar att utveckla så kallade felidentifierande regler, som tillåter oss att förbättra systemets förmåga att känna igen och korrigera klassificeringsfel utan att allvarligt påverka återkallelsen för de andra klasserna. I detta sammanhang kan en teknisk lösning som föreslås vara en metod för att lära sig regler för felidentifiering och -korrigering samtidigt, vilket möjliggör en optimerad prestanda för alla klasser som behandlas.

För att förstå denna metod i praktiken, måste man först förstå hur felidentifiering och -korrigering fungerar i ett maskininlärningssystem. För varje klass som ska analyseras, skapar vi ett set av regler som kan upptäcka fel genom att identifiera när en provdata inte korrekt tillhör någon av de kända klasserna. Dessa felidentifierande regler kan omklassificera en provpunkt till en "okänd" kategori. När dessa felidentifierande regler är implementerade, skapas en uppsättning av betingelser för varje klass som används i de efterföljande korrigeringsreglerna. Här gäller det att inte bara upptäcka fel utan också åtgärda dem på ett sätt som inte drastiskt minskar återkallelsen för andra klasser.

Metoden bygger på att kombinera både felidentifiering och -korrigering på ett sätt som motverkar nedgången i återkallelse som kan uppstå om vi använder felidentifierande regler för sig själva. Genom att konstruera dessa två typer av regler tillsammans kan vi säkerställa att precisionen och återkallelsen optimeras för varje individuell klass utan att dessa faktorer kolliderar på ett ogynnsamt sätt.

När vi konstruerar dessa regler är det nödvändigt att skapa ett tillräckligt representativt dataset för att träna både felidentifierings- och korrigeringsregler. Ett exempel på detta kan vara att använda ett binärt klassificeringssystem för varje klass där modellen får ett specifikt beslut om huruvida en given provpunkt tillhör en viss klass eller inte. Genom att använda sådana regler får vi ett system där varje provpunkt omklassificeras baserat på en noggrant definierad betingelse, vilket gör att vi inte förlorar alltför mycket precision eller återkallelse när vi korrigerar fel.

Vid implementering av dessa tekniker i flervalsklassificeringsproblem är det viktigt att vara medveten om att de kan ha olika effekter på olika klasser beroende på hur reglerna är definierade och vilka toleranser för återkallelse som accepteras. I praktiken innebär detta att vi ofta måste finjustera hyperparametrarna för att uppnå bästa resultat. En sådan parameter är till exempel ett tröskelvärde för maximal minskning av återkallelsen, vilket styr hur mycket vi accepterar att återkallelsen för varje klass minskar.

Fler experiment och analyser visar att denna metod, särskilt när den tillämpas på dataset som GeoLife, kan ge betydande förbättringar i systemets prestanda. Till exempel visade experiment med LRCN-modellen att när felidentifiering och -korrigering användes tillsammans, förbättrades modellens precision med upp till 1,7% jämfört med basmodellen. Detta tyder på att tillämpningen av denna metod inte bara är praktisk utan även effektiv när den integreras i verkliga tillämpningar.

Ytterligare resultat från experiment som uteslöt vissa rörelseklasser från träning visade på en överraskande effektivitet i förbättringen av basmodellens prestanda med en ökning på 5,2% (zero-shot) och 23,9% (few-shot) utan att behöva reträna modellen. Detta är särskilt värdefullt i scenarier där tillgången till den underliggande modellen är begränsad, till exempel via ett API, och där traditionella reträningstekniker inte är genomförbara.

Det är också viktigt att förstå hur parametrarna som styr modellen, som t.ex. tröskelvärdet för återkallelse (e), påverkar prestanda. Experimenten har visat att denna parameter kan justeras för att bättre passa olika klasser i flervalsproblem, vilket gör att man kan finjustera modellen för att uppnå bästa möjliga balans mellan precision och återkallelse.

För att optimera denna metod i framtiden kan ytterligare arbete fokusera på att använda dessa tekniker i storskaliga projekt och program som IARPA HAYSTAC, där en sådan metod kan bidra till att förbättra klassificeringssystemens prestanda ytterligare genom noggrant konstruerade felidentifierings- och korrigeringsregler.

Hur kan metakognitiv AI förbättra systemprestanda och anpassning i dynamiska miljöer?

Att förbättra prestandan hos artificiella intelligenssystem, minska bias och öka rättvisa, eller helt enkelt att få en tydligare förståelse för hur AI fattar sina beslut, kräver olika angreppssätt beroende på syftet. För att höja ett systems prestanda genom transparens kan förklaringar användas för att korrigera förutsägelser eller inducera handlingar där förståelsen som genereras från en process bearbetas av AI-systemet för att förbättra dess inlärning. I ett exempel från transportområdet kan en metakognitiv AI bestå av flera underordnade komponenter. Här kan bildbehandlingskomponenter förklara trafikförhållanden, riskbedömningar och trafikprognoser, vilket i sin tur används av nedströms styrkomponenter för att möjliggöra bättre adaptiv kontroll. Denna typ av transparens bygger inte bara förtroende hos användarna, utan gör det också möjligt för mer effektivt samarbete mellan människor och AI, där användarna kan ge informerad feedback eller åsidosätta beslut baserat på en djupare förståelse av AI:s resonemang.

Byggandet av kognitiva modeller både för AI och för den mänskliga användaren, som kan reflektera över och anpassa förklaringar enligt skillnader mellan de två modellerna, har visat sig vara värdefullt. När till exempel AI:s beslut inte överensstämmer med användarens förväntningar, kan sådana modeller ge en inblick i varför skillnaderna uppstår och hur förklaringar kan anpassas för att åstadkomma bättre beslut. Ett praktiskt exempel på detta är Wang et al.s tillämpning av XAI-ramverket inom klinisk maskininlärning. I deras studie av ett förklarligt diagnostikverktyg för intensivvård, utvecklades fem förklaringsstrategier tillsammans med 14 kliniker för att minska beslutets bias och moderera tilliten till systemet. Genom att använda XAI-verktyg för olika resonemang kunde användarna i intensivvården fatta mer välgrundade beslut.

En annan viktig aspekt är resonemanget som AI-systemet använder för att fatta sina beslut. Traditionella AI-system bygger ofta på fördefinierade algoritmer och datamängder som kan begränsa deras effektivitet i dynamiska eller okända scenarier. Metakognitiv AI tar istället hänsyn till självreflektion och självkännedom i sitt beslutsfattande. Genom att analysera och reflektera över sina egna beslut kan AI-system förbättra sina resonemang och anpassa sig bättre till komplexa situationer. I exempelvis sjukvården skulle en sådan AI kunna utveckla och förbättra sina diagnostiska kriterier med tiden, genom att lära sig att särskilja mellan komplexa fall och justera sina diagnostiska förmågor utifrån tidigare resultat. Detta ger inte bara mer exakta beslut utan stärker också tillförlitligheten hos systemet.

En annan fördel med metakognitiv AI är dess förmåga att anpassa sig till förändringar i omgivningen och hantera osäkerhet. Genom att ständigt omvärdera sina egna utgångspunkter och parametrar kan systemet justera sina strategier för att bättre hantera nya och föränderliga förhållanden. I praktiken innebär detta att systemet kan identifiera när det gör fel och justera sitt beteende utan att behöva manuell intervention. Ett exempel på detta är användningen av metakognitiva tillvägagångssätt för felaktighetsdetektion och korrigering, där ett system lär sig att förstå och rätta till sina egna fel i realtid. Detta tillvägagångssätt har redan visat sig vara användbart för att förbättra prestanda vid geospatiala klassificeringar av rörelsemönster, där metakognitiv reflektion bidrar till att öka systemets noggrannhet.

Perception är en annan kritisk komponent i metakognitiv AI. Förmågan att tolka och förstå sensorinformation är central för hur ett system kan agera i en fysisk värld. AI:s perception handlar inte bara om att samla in sensoriska data utan också om att förstå och reflektera över sin egen förmåga att bearbeta denna information. Till exempel kan en metakognitiv AI i självkörande bilar använda sin egen bedömning av sina sensorers kapabiliteter för att förbättra sin förståelse av komplexa visuella miljöer. Detta innebär att AI inte bara tolkar vad som händer i sin omgivning utan också tar hänsyn till sina egna begränsningar i förmågan att göra sådana tolkningar, vilket leder till mer pålitliga och säkra beslut.

För att realisera metakognitiv AI har forskare utforskat flera tekniker och metoder. En sådan metod är formella metoder, som är matematiskt baserade tekniker för att specificera och verifiera systemets funktionalitet. Dessa metoder gör det möjligt att noggrant beskriva och säkerställa att AI-systemen kan uppfylla sina krav under olika förhållanden. Genom att tillämpa formella metoder kan forskare och ingenjörer bättre förstå och förutsäga systemets beteende, vilket är avgörande för att skapa pålitliga och hållbara metakognitiva AI-lösningar.

I sammanhang där AI behöver fatta beslut under osäkerhet och komplexitet, erbjuder metakognitiva tillvägagångssätt ett kraftfullt verktyg för att öka både systemets precision och dess förmåga att anpassa sig till nya utmaningar. Metakognition skapar alltså en dynamisk relation mellan AI och användare, vilket inte bara förbättrar systemets prestanda utan också stärker användarens förtroende och engagemang i processen.

Hur påverkar osäkerhet robotars funktioner och vad innebär det för deras utveckling?

Inom robotik och artificiell intelligens är osäkerhet en oumbärlig aspekt som präglar både utvecklingen och användningen av embodied AI-system. Robotsystem måste navigera i en värld fylld av komplexa och oförutsägbara faktorer, där både externa och interna osäkerheter spelar en avgörande roll för deras funktionalitet och tillförlitlighet. Dessa osäkerheter kan orsakas av olika faktorer som mekanisk slitage, bristande kalibrering, samt ofullständiga eller felaktiga modeller som används för att förstå omvärlden. Det är i denna kontext som förståelsen av osäkerhet blir central för att förbättra och förfina robotars förmåga att agera autonomt och effektivt.

Osäkerhet kan delas in i flera huvudkategorier. För det första kan den bero på maskinens mekaniska komponenter, som efter långvarig användning eller vid extrema driftsförhållanden tenderar att ge felaktiga eller ofullständiga resultat. Detta kan ytterligare förstärkas om roboten används utanför specifikationerna, som exempelvis vid överbelastning eller i extrema temperaturer. Samtidigt kan osäkerhet också uppstå på en mer abstrakt nivå, där modeller som människor utvecklar för att förstå och förutsäga världen inte alltid fångar alla nyanser eller är benägna att göra fel.

En annan källa till osäkerhet är de begränsningar som finns i själva modellerna som används för att fatta beslut och genomföra uppgifter. Trots den snabba utvecklingen av maskininlärning är dessa modeller ofta begränsade av tillgängliga resurser, såsom beräkningskapacitet och minnesstorlek. För att kunna köra i realtid tvingas man ofta till förenklingar av modellerna, vilket medför att noggrannheten och förutsägbarheten minskar. Här uppstår en trade-off: genom att minska modellens komplexitet för att passa hårdvarubegränsningarna, ökar osäkerheten i de resultat som modellen levererar.

En annan aspekt som förvärrar osäkerheten är det som kallas "partiell observabilitet". Detta innebär att robotar ofta inte har fullständig information om sin omgivning. Faktorer som kan dölja eller förvränga sensorinformation, som dimma eller mörker, eller rent fysiska hinder som förhindrar en fullständig syn på ett objekt, gör att robotens uppfattning av världen blir ofullständig. Detta kan åtgärdas i viss mån genom att använda flera olika sensorer eller sensorteknologier, men problemet kvarstår i många fall som ett hinder för att uppnå hög precision i robotens operationer.

Dynamiken i den omgivande miljön är ytterligare en viktig källa till osäkerhet. När objekt förändras över tid – som människor som rör sig eller föremål som flyttas på en arbetsyta – skapas osäkerhet om robotens förståelse och förmåga att hantera dessa förändringar. För att lösa denna typ av osäkerhet används ofta tekniker som simultan lokalisering och kartläggning (SLAM), där roboten kontinuerligt försöker skapa och uppdatera en karta över sin omgivning, baserat på sensordata. Dock kan osäkerhet uppstå när omgivningen inte är förutsägbar, som vid väderförhållanden, förändrade ljusförhållanden eller andra externa faktorer som påverkar robotens arbetsmiljö.

Enligt dessa principer blir det tydligt att osäkerhet är en central del i utmaningen att skapa mer autonom och exakt robotik. Denna osäkerhet kan delas in i två huvudtyper: aleatorisk och epistemisk. Aleatorisk osäkerhet hänvisar till den inneboende slumpmässigheten i data eller situationer. Denna typ av osäkerhet går inte att minska genom att samla in mer data, utan är en konstant faktor som måste beaktas vid varje steg. Epistemisk osäkerhet å andra sidan handlar om brist på kunskap eller ofullständiga modeller, och denna osäkerhet kan minska genom att samla mer data eller förbättra modellernas förståelse.

För robotar och autonoma system innebär detta att ingen modell någonsin kan vara perfekt, och att osäkerhet alltid måste kvantifieras och beaktas i beslutande processer. En robot som inte är medveten om sina egna osäkerheter riskerar att utföra felaktiga handlingar, vilket kan leda till skador eller ineffektivitet. Därför är det avgörande att utveckla system som inte bara kan fatta beslut utifrån sina egna data utan också kan uppskatta osäkerheten i sina förutsägelser och agera därefter.

I praktiken, när man arbetar med robotar som har förmågan att navigera i komplexa miljöer eller utföra manipulationer, innebär osäkerhet att förmågan att noggrant förutsäga vad som kommer att hända minskar, vilket gör det svårare att planera och reagera på oförutsedda händelser. För exempelvis en robot som ska navigera i ett hem kan osäkerheten uppstå från omgivningens dynamik, såsom människor eller husdjur som rör sig, eller från robotens egna begränsningar, som en ofullständig karta över rummet. Detta kan leda till att roboten fastnar, gör farliga handlingar eller inte kan utföra en uppgift som den förväntades att klara av.

Därför är utvecklingen av metoder för att hantera och reducera osäkerhet en nödvändighet för framtidens robotar. Robotar måste kunna lära sig att uppskatta osäkerheten i sina beslut, vilket innebär att förstå både de kända och okända källorna till osäkerhet och anpassa sina handlingar för att minimera riskerna och maximera effektiviteten.

Hur mLINK-systemet förbättrar robustheten och prestandan i maskininlärningsapplikationer

I dagens teknologiska landskap används maskininlärning (ML) inom en rad realtidsapplikationer, från trafikskyltigenkänning i intelligenta transportsystem till röstigenkänning och transkribering av virtuella assistenter. En avgörande utmaning uppstår när man förlitar sig på ML-infrastrukturer (MLIN) för insamling, kommunikation och bearbetning av data. Kvaliteten på dessa data kan variera avsevärt, vilket påverkar prestandan för ML-applikationer. För att möta detta problem har vi utvecklat och patenterat en ny systemarkitektur för MLIN, som går bortom de existerande metoderna genom att ta hänsyn till sambanden mellan olika MLIN-komponenter. Genom att analysera dessa samband kan systemet ge feedback om omstruktureringar som syftar till att säkerställa prestanda och förbättra robustheten hos ML-applikationer i relation till variationer i datakvaliteten (DQ).

I denna kapitel förändrar vi vårt fokus från enbart analys av dessa samband till att integrera dem i en kunskapsbas, som genereras, ackumuleras och används för att utveckla MLIN med kunskap – mLINK (Machine Learning Integration with Knowledge). I denna struktur blir kunskap den centrala länken mellan olika element och används för att förbättra nya funktionaliteter, prestanda, tillförlitlighet, säkerhet och robusthet mot möjliga variationer i driftförhållanden. I vissa applikationer kan en kognitionsförmåga, liknande den i naturliga system, demonstreras. På samma sätt som dess naturliga motpart, stöder mLINK begreppet metakognition, som förbättrar kvaliteten på kognitiva processer såsom lärande och reflektion över förvärvad kunskap.

Metakognition kan införlivas i mLINK genom att analysera och anpassa lärandeprocessen för att uppnå bättre resultat i dessa intelligenta applikationer och genom att ackumulera kunskap om sambanden mellan komponenterna och utnyttja den för specifika mål. I vårt arbete, på ett specifikt exempel från vårt mLINK-system, visar vi hur kunskap kan användas för att lära sig att förbättra robustheten hos en ML-applikation. I detta sammanhang definierar vi robusthet som en ML-applikations förmåga att bibehålla prestandanivån i enlighet med användarens och applikationens krav, även när det sker variationer i DQ.

Genom att använda kunskap om relationerna mellan parametrar för olika komponenter och driftförhållanden som leder till prestandavariationer, kan strategier för att förbättra robustheten härledas. Vi införlivar metakognitiva förmågor i mLINK och skapar ett system som (1) ackumulerar kunskap om sambanden mellan olika miljöförhållanden, parametrar för MLIN-komponenter, ingående DQ och intelligent slutapplikationsprestanda, och (2) integrerar denna kunskap för att lära sig hur man justerar MLIN-strukturen i olika situationer för att uppnå bättre robusthet hos ML-applikationen när DQ varierar. Som specifika exempel på kunskapsderivering och integration för att förbättra lärande, beaktar vi fall av dynamisk omstrukturering av datainsamlingsinfrastruktur, justering av nätverksfaciliteter och förändring av lärandeparadigmer som används i ML-applikationen.

Genom att göra kunskap till kärnan i mLINK-strukturen realiserar vi begreppet metakognition och möjliggör lärande av bättre strategier för dynamisk och effektiv förbättring av den intelligenta slutapplikationens robusthet. När vi ser på mLINK som ett generiskt ramverk, demonstrerar vi i flera fall hur utnyttjande av följande metakognitiva strategier och metoder förbättrar resultaten för olika intelligenta system: optimering av datainsamling, säkerställande av DQ under datakommunikation, förbättrat överföringslärande (TL) och förbättring av säkerhet och sekretess för data och dess kommunikation med federerat lärande (FL).

I vår forskning har vi undersökt olika sätt att härleda kunskap från de olika MLIN-komponenterna som används i mLINK. Eftersom mLINK består av olika infrastrukturella och intelligenta komponenter från olika domäner, hävdar vi att den kunskap som härleds från dessa domäner kan bidra till att förbättra robustheten och prestandan hos ML-applikationen. Vi har övervägt ett brett spektrum av källor för att härleda kunskap, allt från kunskap om nätverkskommunikationskanaler till kunskap om kunder som deltar i en FL-träningsprocess.

Vi använder den härledda kunskapen om MLIN-samband för att producera metakunskap, som sedan används av mLINK för att anpassa MLIN-komponenterna till förändrade DQ-förhållanden för att förbättra robustheten och prestandan hos ML-applikationen. Här följer några exempel på användningsfall och metakognitiva tekniker som har tillämpats i mLINK:

  • Optimering av datakällval: Vi har utvecklat verktyg baserade på genetiska algoritmer (GA) för att hitta den optimala kombinationen av datakällor på mycket kortare tid än konventionella metoder. Dessa metoder bevarar samtidigt hög prestanda.

  • Förbättrad datakvalitet genom infrastrukturjusteringar: Tidigare forskning har visat att den slutliga datakvaliteten är beroende av den funktion som data genomgår när de hämtas från olika källor. Vi har undersökt hur DQ ändras när data från flera källor samlas och analyseras.

Vidare har vi undersökt hur dessa metakognitiva förmågor kan tillämpas för att säkerställa DQ över datakommunikation, förbättra överföringslärande och stärka säkerhet och sekretess genom federerat lärande. All denna kunskap och dess integration spelar en avgörande roll för att skapa robusta, pålitliga och effektiva maskininlärningsapplikationer som kan hantera de dynamiska och föränderliga förhållandena som ofta förekommer i verkliga tillämpningar.

Hur Medier och Demokrati Påverkar Varandra i Tider av Falska Nyheter
Hur ska man övervinna rädslor och planera sina handlingsinsatser inom advocacy?
Vad är framtiden för väteenergi och dess lagring och transport?
Hur lukt, färg och smak förvandlar trädgården till en symfoni av liv