Formele methoden spelen een cruciale rol bij het ontwikkelen en verifiëren van software- en hardware systemen, vooral wanneer deze opereren in dynamische omgevingen. Door temporele logica toe te passen, kunnen we redeneren over temporele informatie, wat essentieel is om de correctheid en betrouwbaarheid van AI-systemen te waarborgen. Dit is van groot belang in toepassingen waar fouten ernstige gevolgen kunnen hebben, zoals in autonome voertuigen of luchtvaarttechniek. Formele methoden bieden rigoureuze bewijzen dat alle gedragingen van een systeem voldoen aan bepaalde gewenste eigenschappen. Een voorbeeld hiervan is het automatisch vertalen van multiagent systemen, geprogrammeerd in AgentSpeak, naar Java en vervolgens het verifiëren van deze systemen met model checkers. Daarnaast helpen formele methoden ook bij transparantieproblemen binnen AI, doordat ze via wiskundige logica snelle en betrouwbare resultaten kunnen leveren. Zo werden formele methoden toegepast om bij de diagnose van COVID-19 radiologische kenmerken te analyseren en te verbinden met klinische gegevens.

Ondanks deze voordelen zijn formele methoden nog niet breed geaccepteerd, voornamelijk vanwege de specificatieproblematiek. Het opstellen van toepassingsniveau-specificaties vereist vaak het gebruik van gespecialiseerde talen die anders zijn dan de programmeertalen waarmee ontwikkelaars werken, wat een drempel vormt voor adoptie.

Neurosymbolische AI (NSAI) combineert neurale netwerken met symbolische systemen en is sterk verbonden met metacognitie, vooral door het gebruik van symbolische kennis en perceptuele modellen om fouten in elkaar te detecteren en te corrigeren. Dit verhoogt de adaptiviteit en transparantie van AI-systemen. Bij NSAI wordt symbolische logica soms gebruikt als een zachte restrictie in optimalisatieprocessen, maar recentere benaderingen zetten in op meer expliciete foutdetectie en correctie. Abductief leren (ABL) is hierbij een opvallend voorbeeld, waar een perceptueel model wordt gecombineerd met domeinkennis en abductieve foutinformatie om zowel perceptuele fouten te identificeren als concepten te leren. Latere ontwikkelingen onderscheiden perceptuele updates van het basisperceptiemodel, waarbij aanvullende modellen fouten voorspellen en corrigeren met behulp van symbolische kennis en reinforcement learning.

Op het gebied van transparantie produceert NSAI verklaringen over perceptuele resultaten door bijvoorbeeld binaire neurale netwerken om te zetten in symbolische theorieën of door conceptinductie toe te passen, wat activaties in neurale netwerken vertaalt naar beschrijvende logica. Dit maakt het mogelijk om beter te begrijpen waarom een AI-systeem bepaalde beslissingen neemt. Toch blijven er uitdagingen bestaan, zoals de herkomst en schaalbaarheid van initiële symbolische kennis, de integratie van “common sense”-kennis, en het behouden van perceptuele prestaties bij het gebruik van vereenvoudigde neurale netwerken.

Uncertainty quantification, of onzekerheidskwantificatie, richt zich op het meten en verminderen van onzekerheden in AI-modellen, vooral bij voorspellingen en besluitvorming.

Hoe kan onzekerheidskwantificatie en uitlegbare AI bijdragen aan adaptieve en betrouwbare AI-systemen?

In het domein van medische toepassingen is het kwantificeren van onzekerheden van essentieel belang. Dit proces begint bij het verzamelen en selecteren van trainingsdata, en strekt zich uit tot het interpreteren van de onzekerheden rond de prestaties van modellen ten opzichte van operationele data. Het doel is om te begrijpen hoe betrouwbaar een model is in reële situaties en welke beperkingen er zijn. In andere sectoren, zoals verkeersmanagement, wordt onzekerheidskwantificatie gebruikt om te bepalen waar extra sensoren noodzakelijk zijn om voorspellingen te verbeteren. Dit illustreert dat adaptatie van AI aan onzekerheden niet alleen de nauwkeurigheid van beslissingen verhoogt, maar ook het gedrag van AI-systemen flexibel en robuust maakt onder variërende omstandigheden.

Aanpassing aan onzekerheid is cruciaal in complexe omgevingen, zoals klimaatadaptatie en autonoom rijden. Verschillende methoden om onzekerheid te meten worden gekoppeld aan de manier waarop beslissingen onder onzekerheid worden genomen. Dit verbetert de prestaties van autonome systemen doordat ze hun controle aanpassen op basis van nauwkeurig ingeschatte onzekerheden. Toch blijven er fundamentele uitdagingen, zoals het feit dat veel onzekerheidskwantificatiemethoden vooral correlaties in data benutten zonder causale verbanden te onderkennen. Dit beperkt de generaliseerbaarheid en het inzicht in het functioneren van het model, vooral wanneer trainingsdata afwijken van operationele data. Bovendien is het bepalen wanneer een model onzeker is – en dus terughoudend moet zijn – een complex vraagstuk, dat adaptieve drempelwaarden vereist die mee-evolueren met de realiteit.

Uitlegbare AI (XAI) speelt een cruciale rol in het vergroten van transparantie en vertrouwen in AI-systemen. Door het functioneren van modellen inzichtelijk te maken, kunnen gebruikers de beslissingen van AI beter interpreteren en er op vertrouwen. In de gezondheidszorg helpt XAI bijvoorbeeld artsen bij het begrijpen van diagnostische beelden, terwijl het in de financiële sector kredietbeoordelingen transparanter maakt. XAI-methoden variëren van visuele hulpmiddelen, zoals saliency maps die aangeven welke inputkenmerken belangrijk zijn, tot wiskundige benaderingen die modellen benaderen met eenvoudigere, begrijpelijke functies. Deze inzichten maken het mogelijk om AI-systemen niet alleen te doorgronden, maar ook om hun gevoeligheden te identificeren en daarop in te spelen.

Deze transparantie ondersteunt ook adaptiviteit. Door bloot te leggen welke inputkenmerken doorslaggevend zijn voor beslissingen, kunnen AI-systemen zich aanpassen aan bedreigingen of veranderingen in de omgeving. Bijvoorbeeld, door XAI toe te passen kunnen aanvallen op AI-systemen beter worden begrepen en tegengegaan. Desondanks blijven uitdagingen bestaan, zoals het vinden van objectieve en reproduceerbare maatstaven voor uitlegbaarheid die tegelijkertijd rekening houden met gebruikerservaringen. Bovendien is de robuustheid van XAI-methoden niet gegarandeerd; kleine veranderingen in de input kunnen leiden tot grote verschillen in de uitleg, wat manipulatie mogelijk maakt.

Foundation models zoals grote taalmodellen (LLM’s) bieden enorme mogelijkheden door hun capaciteit om grote hoeveelheden tekstuele data te verwerken en contextueel te begrijpen. Door metacognitieve strategieën in deze modellen te integreren, kunnen zij zichzelf beoordelen en verbeteren, wat bijvoorbeeld zichtbaar is in geavanceerde chatbots en geautomatiseerde contentcreatie. LLM’s onderscheiden zich door hun flexibiliteit en vermogen om zich zonder uitgebreide hertraining aan nieuwe taken aan te passen. Hierdoor kunnen ze snel redeneren over complexe problemen, zoals het voorspellen van verkeersdynamiek onder verschillende omstandigheden, en helpen ze bij het verklaren van fouten in robotica door ervaring te analyseren en te vertalen naar corrigerende acties.

Toch brengen foundation models ook aanzienlijke uitdagingen met zich mee. Hun exploitatie vereist enorme rekenkracht en brengt hoge kosten met zich mee, wat voor veel organisaties een barrière vormt. Daarnaast kampen deze modellen met het fenomeen van ‘hallucinaties’, waarbij ze foutieve of niet-gefundeerde informatie genereren. Dit blijft een belangrijk onderzoeksgebied, aangezien het volledig elimineren van hallucinaties onmogelijk lijkt, maar vermindering ervan noodzakelijk is voor betrouwbare toepassingen.

De samenwerking tussen mens en AI vormt een laatste, essentieel aspect. Door de metacognitieve vaardigheden van mensen te benutten, kunnen AI-agenten ontwikkeld worden die niet slechts hulpmiddelen zijn, maar echte teamgenoten. Dit leidt tot synergieën waarin de sterke punten van mens en machine worden gecombineerd. In de praktijk zien we dit terug in cobots in de industrie en beslissingsondersteuning in complexe omgevingen, waarbij menselijke intuïtie en AI-berekeningen elkaar aanvullen.

Belangrijk om te beseffen is dat het begrip van onzekerheid, transparantie en aanpasbaarheid in AI niet alleen technisch van aard is, maar ook ethische en praktische dimensies heeft. De keuze van data, de interpretatie van verklaringen en het vertrouwen in AI-systemen hangen samen met bredere maatschappelijke contexten. Effectieve AI vraagt daarom om een geïntegreerde benadering waarin technische innovatie hand in hand gaat met kritisch nadenken over menselijke waarden en gebruikssituaties. Alleen zo kan AI werkelijk betrouwbaar, begrijpelijk en inzetbaar worden in de complexe realiteit waarin het functioneert.

Hoe kan men eerlijkheid schatten en afdwingen bij vertekende labels in machine learning?

In de praktijk van machine learning speelt eerlijkheid van classifiers een cruciale rol, vooral wanneer data bias bevat in de labels. Het klassieke idee van eerlijkheid, zoals gelijke kansen (Equal Opportunity, EO), veronderstelt dat een perfecte classifier ook eerlijk is. Echter, dit principe faalt wanneer de gebruikte labels zelf vertekening vertonen. Een classifier die perfect de vertekende labels voorspelt, is niet per definitie eerlijk, aangezien de onderliggende waarheid niet correct wordt gerepresenteerd.

Een illustratief voorbeeld laat zien hoe een dataset met één kenmerk X, een gevoelige attribuut S en zowel een eerlijke (verborgen) label Y als een vertekende geobserveerde label Ye, leidt tot misleidende evaluaties. Hoewel een classifier f(X) met respect voor de eerlijke labels EO voldoet door gelijke true positive rates (TPR) voor verschillende groepen te behalen, kan een audit op basis van de vertekende labels foute conclusies trekken over eerlijkheid. Dit komt doordat de vertekende data de true positive rates kunstmatig verlaagt of verhoogt, wat tot onjuiste inschattingen leidt.

In de praktijk is de onderliggende distributie van eerlijke labels P(X, S, Ye, Y) meestal onbekend, en het exact berekenen van TPR en false positive rates (FPR) is bovendien NP-hard, zelfs voor relatief simpele modellen. Daarom is het noodzakelijk om betrouwbare schattingen te verkrijgen van de verborgen eerlijke labels Y, uitgaande van de beschikbare vertekende observaties (X, S, Ye).

Een effectieve aanpak hiervoor is het gebruik van probabilistische modellen die de latente eerlijke labels kunnen afleiden. Het model FairPC bijvoorbeeld, bouwt een gezamenlijke distributie P(X, S, Ye, Y) op, waarbij Y onafhankelijk wordt verondersteld van het gevoelige attribuut S. Dit model maakt gebruik van probabilistische circuits die tractabele inferentie mogelijk maken, waardoor de kans P(Y=1 | X, S, Ye) efficiënt en exact kan worden berekend. Hierdoor kunnen eerlijke labels met een nauwkeurigheid van boven de 90% worden geïnferreerd, zowel op synthetische data als op echte datasets zoals COMPAS en Adult.

Met deze inferenties kan men de dataset "opschonen" door per voorbeeld een nieuwe eerlijke label te genereren via sampling uit P(Y | X, S, Ye) of via een drempelmethode die beslissingen baseert op de kanswaarde. Deze gereinigde data vormt een solide basis voor eerlijke classificatie, aangezien ze een betere afspiegeling zijn van de werkelijke, niet-vertekende werkelijkheid. Hoewel het sampling-proces inherent stochastisch is en verschillende runs tot verschillende datasets kunnen leiden, toont empirisch onderzoek aan dat deze methode effectief is in het terugvinden van de grondwaarheid en de verbetering van downstream eerlijkheidsmetingen.

Soms zijn restricties vanuit datawetgeving of praktische overwegingen echter een belemmering voor het wijzigen van labels in de dataset. In zulke gevallen biedt een alternatief via importance reweighting een oplossing. Hierbij wordt elk datapunt gewogen met de kans op het eerlijke label P(Y | X, S, Ye). Dit gewicht corrigeert de bias in de waargenomen labels en maakt het mogelijk om eerlijke maatstaven zoals TPR en FPR onpartijdig te schatten, zonder de data aan te passen. Deze herweging maakt het mogelijk om fairness audits en learning algoritmes te ondersteunen met minimale aanpassingen aan bestaande procedures.

De reweighting methode berust op het principe van het construeren van een alternatieve distributie Q waarin Y onafhankelijk en willekeurig is. Door de verhouding van de werkelijke distributie P tot Q te gebruiken als gewicht, kunnen ongewenste vertekeningen in de data worden gecompenseerd. Zo ontstaat een label bias-gecorrigeerde Empirical Risk Minimization (ERM), die niet alleen de verwachte verliesfunctie minimaliseert maar ook fairness constraints afdwingt ten opzichte van de latente eerlijke labels.

Het begrijpen van de complexe relatie tussen vertekende labels en eerlijkheidsonderzoek is essentieel. Niet alleen moet men rekening houden met de verborgen structuren achter de data, ook is het van belang om de beperkingen van standaard fairness metrics onder label bias te beseffen. Het combineren van probabilistische inferentie met methoden voor data opschoning of herweging biedt een krachtig raamwerk om eerlijke besluitvorming in machine learning te waarborgen. Dit vraagt echter een grondige kennis van de onderliggende statistische en computationele uitdagingen, en het is belangrijk te erkennen dat deze aanpak nog steeds afhangt van de juistheid van het gekozen probabilistische model en de beschikbaarheid van voldoende data.

Wat is de waarde van de waarheid in politieke communicatie?
Hoe waarborgen we betrouwbaarheid en integriteit bij event-gedreven systemen?
Hoe beïnvloeden geïntegreerde modellering en hybride modellen de voorspelling van waterbeschikbaarheid en waterkwaliteit?
Wat zijn de ecologische kenmerken van megafauna op polymetallische knoopvelden in de diepe oceaan?
Hoe wordt politiek een strijd waarin winnen belangrijker is dan regels?