Het gebruik van grote taalmodellen (LLM’s) is de afgelopen jaren sterk toegenomen. OpenAI’s GPT 3.5-modellen worden vaak beschouwd als de nieuwste technologie op dit gebied, waarbij een variant, specifiek afgestemd op natuurlijke gesprekken, ChatGPT, in november 2022 werd uitgebracht. Dit model veroverde snel de populariteit, met meer dan een miljoen gebruikers binnen een week. Ondanks de indrukwekkende prestaties op verschillende taken, kampt ChatGPT, net als andere LLM’s, met significante beperkingen, vooral bij het oplossen van redeneertaken, zoals wiskundige tekstproblemen (MWP’s).

Wiskundige tekstproblemen vormen een bijzondere uitdaging voor deze modellen. Wanneer een model wordt gevraagd om zijn werk te tonen bij het oplossen van dergelijke problemen, blijkt de kans op een fout aanzienlijk groter te zijn. Uit ons onderzoek blijkt dat ChatGPT een foutmarge heeft van 84% bij het oplossen van wiskundige tekstproblemen zonder werk te tonen, terwijl deze marge afneemt tot 20% wanneer het model gedetailleerd zijn werk toont. Dit suggereert dat de manier waarop het probleem wordt gepresenteerd aan het model een grote invloed heeft op het succes van de oplossing.

Verder blijkt uit onze analyses dat er specifieke factoren zijn die de kans op falen vergroten bij ChatGPT. Zo is de kans op mislukking lineair gerelateerd aan het aantal toevoegingen en aftrekkingen in de bewerkingen van het probleem. Dit betekent dat wanneer een tekstprobleem meerdere rekenkundige bewerkingen van deze aard bevat, de kans dat het model een fout maakt toeneemt. Dit fenomeen wordt ondersteund door de resultaten van verschillende experimenten waarbij de prestaties van ChatGPT op wiskundige tekstproblemen werden getest. Deze experimenten zijn uitgevoerd met behulp van het DRAW-1K dataset, die 1000 wiskundige tekstproblemen bevat, samen met de bijbehorende antwoorden en algebraïsche vergelijkingen die nodig zijn om de problemen op te lossen.

Tijdens de experimenten werd ChatGPT getest met verschillende versies van de opdracht, waarbij het model werd gevraagd om zijn werk al dan niet te tonen. Het bleek dat zonder het tonen van het werk, de kans op een mislukte oplossing veel groter was, en in sommige gevallen leverde het model geheel verkeerde antwoorden. Bij een experiment waarbij ChatGPT gevraagd werd om alle tussenstappen te tonen, verbeterde de nauwkeurigheid aanzienlijk, maar dit bracht nieuwe problemen met zich mee, zoals het falen van het model om simpele algebraïsche operaties correct uit te voeren.

Belangrijke bevindingen van het onderzoek zijn onder andere: (1) de creatie van een dataset met ChatGPT’s antwoorden op wiskundige tekstproblemen, (2) de identificatie van de foutenpercentages van ChatGPT (84% bij de experimenten zonder werk en 20% bij de experimenten waarin het werk wel werd getoond), (3) het vaststellen van verschillende factoren die de kans op falen verhogen, zoals het aantal onbekenden en het aantal bewerkingen, en (4) het vaststellen van een lineaire relatie tussen het aantal optellingen en aftrekkingen en de kans op falen.

Bij het analyseren van de prestaties van ChatGPT blijkt dat het model worstelt met de algebraïsche vereisten van sommige wiskundige tekstproblemen. In een voorbeeld, waarbij ChatGPT werd gevraagd om het volgende probleem op te lossen: "Een geheel getal is drie keer een ander. Als 20 wordt toegevoegd aan het kleinere getal, is het resultaat 6 meer dan het grotere getal", gaf ChatGPT een incorrect antwoord. Het model slaagde erin om de algebraïsche vergelijkingen correct op te stellen, maar maakte een fout bij het vereenvoudigen van de bewerking. Dit resulteerde in een verkeerd antwoord van 42 en 14 in plaats van het correcte 21 en 7. Dit toont aan dat zelfs bij het correct opstellen van een probleem, de uitvoering van de tussenstappen cruciaal is voor de uiteindelijke juistheid van de oplossing.

Deze bevindingen zijn belangrijk voor de verdere ontwikkeling van hulpmiddelen die kunnen helpen voorspellen wanneer een LLM succesvol zal zijn bij het oplossen van dergelijke problemen. Het identificeren van factoren die de kans op succes of falen verhogen, kan bijdragen aan de verbetering van de prestaties van ChatGPT en soortgelijke modellen op wiskundige taken.

Een ander belangrijk punt om in gedachten te houden is dat, hoewel ChatGPT grote vooruitgangen heeft geboekt, het nog steeds beperkingen vertoont bij het uitvoeren van algebraïsche en wiskundige redeneringen. Het model mist vaak de vereiste precisie en heeft moeite met het toepassen van wiskundige regels in complexe situaties. Dit geeft aan dat, hoewel LLM’s indrukwekkend kunnen zijn in veel toepassingen, ze nog steeds uitdagingen hebben bij taken die precisie en logica vereisen. Het onderzoeken van de redenen voor deze beperkingen, evenals het ontwikkelen van methoden om de prestaties van dergelijke modellen te verbeteren, blijft een belangrijk onderzoeksgebied.

Hoe Veritex Neurale Netwerken Betrouwbaarder Maakt door Verificatie en Herstel

Formele methoden ontwikkelen wiskundige modellen van systemen voor rigoureuze analyse, meestal zodanig dat bewezen garanties kunnen worden vastgesteld. Formele verificatie is het proces waarbij een formeel (wiskundig) model van een systeem wordt opgesteld dat voldoet aan een specificatie. Er zijn verschillende benaderingen voor formele verificatie, variërend van volledig geautomatiseerde methoden zoals modelcontrole tot volledig handmatige benaderingen met pen-en-papier bewijzen, met computerondersteunde tussenstappen zoals interactieve bewijsvoering. Als een specificatie niet geldt voor een model, kan een tegenvoorbeeld dienen als bewijs voor de manier waarop het systeem de specificatie schendt. In de context van metacognitie leert een leeragent (zoals een systeem of mens) deels door te overwegen hoe fouten ontstaan en welke vergissingen er worden gemaakt. In dit hoofdstuk stellen we dat de tegenvoorbeelden die laten zien hoe een model de specificaties schendt, de fouten zijn van waaruit leren kan plaatsvinden.

Formele verificatiemethoden zijn de afgelopen tien jaar naar voren gekomen voor data-gedreven kunstmatige intelligentie (AI)-componenten zoals neurale netwerken, die worden gecreëerd door middel van machine learning (ML)-benaderingen. De Internationale Verificatie van Neurale Netwerken Competitie (VNN-COMP) is vergelijkbaar met andere formele methodencompetities, en recente rapporten bieden een overzicht van het landschap in dit domein. Deze verificatietechnieken vormen de kern van het overwegen van metacognitieve AI vanuit het perspectief van leren van fouten. Het monitoren van schendingen van specificaties tijdens runtime voor foutmonitoring is een cruciaal metacognitief element in autonome cyber-fysieke systemen (CPS) die AI-componenten gebruiken. Het wordt noodzakelijk geacht om systematisch toezicht te houden op dergelijke systemen om ervoor te zorgen dat ze niet buiten de veilige grenzen van hun ontwerp opereren.

Om deze ideeën concreet te maken, wordt in dit hoofdstuk Veritex beschreven, een verificatietool voor bereikbaarheidsanalyse en herstel van diepe neurale netwerken (DNN's), waarvan de onderliggende theorie eerder is beschreven. Veritex bevat methoden voor exacte bereikbaarheidsanalyse en over-approximatieve analyse van DNN's met behulp van verschillende nieuwe setrepresentaties, zoals de facet-vertex-incidencematrix, face lattice en V-zono. Naast de robuuste en volledige veiligheidsverificatie van DNN's, kunnen deze methoden ook efficiënt het exacte uitvoerbare domein berekenen, evenals het exacte onveilige invoergebied dat veiligheidschendingen in de uitvoer van DNN's veroorzaakt. Gebaseerd op het exacte onveilige input-output bereikbare domein kan Veritex onveilige DNN's herstellen voor meerdere veiligheidskenmerken met verwaarloosbare prestatievermindering, dat wil zeggen door het model aan te passen totdat het voldoet aan de specificaties.

De herstelmethoden van Veritex werken ook zonder de veilige modelreferentie en zonder de oorspronkelijke dataset voor leren, wat bijzonder nuttig is voor het verbeteren van het vertrouwen in de betrouwbaarheid van AI-systemen. Veritex richt zich primair op het probleem van het construeren van formeel veilige DNN's, wat momenteel niet voldoende wordt aangepakt in de meeste formele methoden voor betrouwbare AI. De bruikbaarheid van Veritex wordt geëvalueerd voor twee aspecten, namelijk veiligheidsverificatie en DNN-herstel. Als benchmark voor verificatie worden de ACAS Xu-netwerken gebruikt, en voor herstel worden onveilige ACAS Xu-netwerken en een onveilige agent getraind in diepe versterkingsleer (DRL) getest.

Neurale netwerken worden steeds vaker gebruikt in veiligheid-kritieke systemen die leercomponenten bevatten, zoals autonome voertuigen. Ondanks succesvolle toepassingen in veel domeinen blijft de betrouwbaarheid van DNN's een grote zorg voor het realiseren van betrouwbare autonomie vanwege hun 'black-box'-natuur en complexe niet-lineaire kenmerken. Het is aangetoond dat kleine verstoringen in de invoer van DNN's onvoorspelbaar verkeerd gedrag in de uitvoer kunnen veroorzaken. Er is recent veel inspanning geleverd om technieken te ontwikkelen voor formele analyse van DNN's, zoals hun veiligheidscertificering. Echter, deze methoden die post-training verificatie van DNN's uitvoeren, kunnen het probleem van het produceren van bewezen veilige DNN's niet aanpakken wanneer ze de veiligheidspecificaties schenden.

De Veritex-architectuur biedt een oplossing voor dit probleem door het mogelijk te maken om niet alleen de veiligheid van een netwerk te verifiëren, maar ook onveilige netwerken te herstellen. Dit wordt gedaan door het opnieuw trainen van het netwerk met behulp van de onveilige invoer-output bereikbare domeinen die met de bereikbaarheidsanalyse zijn berekend. De herstelprocessen in Veritex zorgen ervoor dat DNN's opnieuw kunnen worden getraind en aangepast, met als doel meerdere veiligheidskenmerken tegelijkertijd te herstellen zonder dat dit de oorspronkelijke prestaties van het netwerk significant beïnvloedt.

Het is belangrijk te begrijpen dat het gebruik van dergelijke tools niet alleen het vertrouwen in AI-systemen vergroot, maar ook de mogelijkheid biedt om metacognitieve AI te ontwikkelen die in staat is om te leren van zijn eigen fouten. Het proces van 'metacognitie' houdt in dat een systeem niet alleen leert door successen te analyseren, maar ook door actief te leren van de gevallen waarin het faalt. Het herstellen van deze fouten kan het systeem uiteindelijk betrouwbaarder maken en helpen bij het voldoen aan de vereiste veiligheids- en prestatie-eisen.

Hoe AI Omgaat met Fysieke Interactie en Objectverkenning: Fouten en Oplossingen

Bij de uitvoering van fysieke taken door grote taalmodellen (LLM's), zoals ChatGPT en LLaMA 2, worden regelmatig onrealistische en inconsistente uitkomsten gepresenteerd, vooral wanneer de modellen te maken krijgen met objectinteracties in een fysieke omgeving. Een veelvoorkomend probleem is het gebrek aan begrip van fundamentele fysische eigenschappen zoals massa, zwaartekracht en inertie, evenals de interactie van objecten in de ruimte. Dit wordt bijvoorbeeld zichtbaar in de verwarring tussen de straal en de diameter van een bol, wat leidt tot onjuiste berekeningen van de hoogte van gestapelde objecten.

In een voorbeeld van een taak waarbij de gebruiker moet bepalen hoe hij naar de top van een platform van twee meter hoogte kan komen met een beperkte springhoogte van één meter, wordt het idee van objectstapeling gepresenteerd. ChatGPT en LLaMA 2 geven beide onrealistische oplossingen, zoals het veronderstellen dat de hoogte die wordt gewonnen door een bol bovenop een kubus te plaatsen 1,5 meter bedraagt, in plaats van de juiste 2 meter die zou moeten worden verkregen door gebruik te maken van de diameters en hoogtes van de objecten. Dit is een voorbeeld van de tekortkomingen van LLM's in het begrijpen van objectinteracties die verder gaan dan de loutere symbolische representatie van de objecten.

Het probleem met deze antwoorden ligt in het feit dat LLM’s objecten niet begrijpen op een manier die fysieke wetten of structuren respecteert. Zo wordt het voorbeeld van de toren die bestaat uit een kubus en een bol duidelijk onjuist. Het bouwen van zo’n toren zou fysiek onmogelijk zijn, omdat de bol niet stabiel op de kubus kan blijven staan. Dit geeft aan dat de modellen geen ingebouwde mechanismen hebben om objecten in een fysische ruimte te evalueren en te begrijpen, wat essentieel is voor de oplossing van dergelijke taken.

De oorzaak van deze misverstanden kan worden gevonden in het ontbreken van zogenaamde ‘grondingsmechanismen’. LLM’s hebben meestal geen toegang tot gedetailleerde kennis over de werkelijke eigenschappen van objecten, zoals hun stabiliteit of interacties met andere objecten in een fysische omgeving. Ze hebben slechts toegang tot gesimuleerde representaties, vaak gebaseerd op visuele informatie of tekstuele gegevens, die niet altijd correct de werkelijke dynamiek van fysieke objecten nabootsen. Dit leidt niet alleen tot onnauwkeurige fysieke berekeningen, maar ook tot fouten bij het voorspellen van de stabiliteit van objectcombinaties of bij het inschatten van de werkelijke haalbaarheid van bepaalde taken.

Een benadering om deze beperkingen te overwinnen is het introduceren van metacognitieve strategieën in de agenten. Dit houdt in dat een agent in staat zou moeten zijn om te herkennen wanneer de gegeven oplossingen of de classificatie van objecten onvoldoende zijn. Dit zou de agent in staat stellen om alternatieve strategieën te verkennen op basis van wat hij wel weet, door analogieën te trekken of gedeeltelijke informatie te gebruiken om het doel te bereiken. Dit proces van ‘zelfexploratie’ wordt ondersteund door een meer dynamische interactie met de fysieke omgeving, waarbij de agent niet alleen afhankelijk is van vooraf bepaalde instructies, maar actief leert van de interactie met de objecten om zijn eigen kennis te versterken.

Bijvoorbeeld, wanneer een agent geconfronteerd wordt met een stapelplan waarin een object op een andere wordt geplaatst, kan het vastlopen op het punt waar een object niet stabiel blijkt te zijn, zoals een bol die niet op een kubus kan blijven staan. In plaats van de oorspronkelijke stappen blind te volgen, zou de agent een verkenningsproces starten, waarin hij verschillende objecten in de omgeving uitprobeert en probeert de juiste configuratie te vinden voor stabiliteit. Dit proces van verkenning maakt gebruik van een intern kennismodel waarin objecten geclassificeerd worden op basis van hun stabiliteit en mogelijkheden voor interactie.

De technologie die hiervoor gebruikt wordt, zoals het VoxML-model, maakt het mogelijk om gedetailleerde kennis te combineren met de interacties van objecten in een gesimuleerde ruimte. Dit model houdt rekening met eigenschappen als symmetrie, habitats en affordances van objecten – eigenschappen die noodzakelijk zijn om realistische interacties te simuleren in een fysische ruimte. Met behulp van dergelijke modellen kan een agent niet alleen begrijpen hoe objecten zich in theorie zouden moeten gedragen, maar ook actief leren van de werkelijke interactie tussen de objecten in de gesimuleerde omgeving.

Bijvoorbeeld, wanneer de agent geconfronteerd wordt met een nieuwe objectcombinatie, zoals een cilinder die zowel vlak als rond is afhankelijk van de oriëntatie, zou de agent de stabiliteit van dat object bepalen door het te vergelijken met eerdere ervaringen met andere objecten. De agent zou de juiste oriëntatie identificeren op basis van wat hij geleerd heeft over vergelijkbare objecten, en vervolgens de interactie verder verkennen door het object in de juiste positie te plaatsen. Dit biedt een veel realistischer model voor objectinteractie, waarbij de agent niet vastzit aan een vooraf bepaalde set van regels, maar voortdurend de omgeving onderzoekt en leert van zijn ervaringen.

Het is duidelijk dat, hoewel LLM’s in hun huidige vorm beperkte mogelijkheden hebben voor fysische interacties, het gebruik van geavanceerdere modellen en metacognitieve benaderingen hen in staat kan stellen om complexere en realistischere taken te voltooien. Het integreren van kennis over fysische eigenschappen en de dynamiek van objecten in een gesimuleerde ruimte biedt een weg vooruit voor de ontwikkeling van meer geavanceerde en adaptieve AI-systemen die effectief kunnen omgaan met de werkelijkheid van de fysieke wereld. Het is van cruciaal belang om verder te bouwen op deze technologieën om AI’s te ontwikkelen die niet alleen begrijpen hoe objecten theoretisch werken, maar ook hoe ze in de praktijk interageren en reageren op de omgeving.

Waarom is zonne-energie de sleutel tot een duurzame toekomst en hoe beïnvloedt dit de verkoop?
Hoe worden nanomaterialen en optische structuren gecreëerd met behulp van twee-fotonen lithografie?
Wat maakt een Army Scout werkelijk tot een meester in het Western landschap?