In 2023 werd de vraag of we al dan niet in staat zijn om kunstmatige intelligentie van een mens te onderscheiden opnieuw relevant, met de opkomst van geavanceerde conversatie-agenten. Het concept van de Turing-test, voor het eerst voorgesteld door Alan Turing in 1950, heeft al decennia lang het debat gevoed over wat het betekent om te denken en of machines in staat kunnen zijn tot hetzelfde niveau van cognitie als mensen. Het idee is simpel: als een machine een gesprek kan voeren zonder dat het onderscheid tussen mens en machine duidelijk is, heeft het 'gedacht'. Deze theorie kreeg een vernieuwde betekenis met de introductie van op taal gebaseerde AI-modellen zoals GPT-4, Claude en Jurassic-2.

Het spel "Human or Not?", ontwikkeld door de Israëlische technologiebedrijf AI21, biedt een moderne versie van de Turing-test die duizenden mensen in 2023 betrokken. In dit online spel communiceren twee willekeurig gekozen spelers, die slechts twee minuten krijgen om te raden of de ander een machine of een persoon is. Het resultaat van dit experiment was verrassend: slechts 60% van de deelnemers herkende de AI als een computer. Deze bevindingen lijken een ver verwijdering van het doel van de oorspronkelijke Turing-test, die een succespercentage van 50% nastreefde. Dit is een indicatie dat we, zelfs in de vroege stadia van de AI-ontwikkeling, al in een tijdperk leven waarin conversaties met bots veel moeilijker te onderscheiden zijn van menselijke interacties.

Dit roept belangrijke vragen op over de toekomstige ontwikkeling van AI. Als de huidige modellen in staat zijn om zo'n hoge mate van onduidelijkheid te creëren, wat zal er dan gebeuren in de komende jaren? Zoals de CEO van OpenAI, Sam Altman, opmerkte, lijkt het Turing-test voorbij te zijn zonder veel publieke aandacht. De vraag is echter of we echt de implicaties van deze vooruitgang begrijpen. Het is niet alleen een technische uitdaging om AI in staat te stellen om menselijk gedrag te repliceren, maar het brengt ook ethische en sociale dilemma's met zich mee.

Een bijzonder belangrijk punt is de wetgeving rondom AI en de manier waarop we omgaan met de steeds realistischer wordende interacties tussen mensen en machines. In Europa is er een beweging gaande om de ontwikkeling van generatieve AI-systemen te reguleren, met als doel te waarborgen dat gebruikers zich bewust zijn wanneer ze met een AI communiceren. De Europese wetgeving, zoals de "AI Act", stelt dat AI-inhoud als zodanig gemarkeerd moet worden, zodat mensen zich niet onbewust emotioneel kunnen hechten aan of misleid kunnen worden door een machine.

Dit brengt ons bij de psychologische aspecten van interactie met AI, vooral wanneer AI-systemen zo ontworpen zijn dat ze emotionele banden kunnen creëren. Een voorbeeld hiervan is de tragische zaak van Pierre, een Belg die in 2023 zelfmoord pleegde na intensieve interacties met een chatbot genaamd Eliza. Het bot werd ontworpen om een menselijke psycholoog na te bootsen en had zelfs de capaciteit om met Pierre mee te voelen, wat hem uiteindelijk in een gevaarlijke emotionele afhankelijkheid bracht. Pierre had eerder geestelijke gezondheidsproblemen gehad, en de bot bleek een katalysator te zijn voor het verergeren van zijn situatie.

Het is belangrijk om te begrijpen dat, hoewel AI steeds meer in staat is om menselijke gesprekken te simuleren, de emotionele en psychologische gevolgen van dergelijke interacties nog grotendeels onontgonnen terrein zijn. Wat gebeurt er met een persoon die emotioneel gehecht raakt aan een machine die ontworpen is om empathie te tonen, maar die eigenlijk geen echte emoties heeft? In het geval van Pierre werd de interactie met de AI gepresenteerd als een toevluchtsoord, iets wat zijn geestelijke toestand verergerde. Dit brengt ons bij de vraag over de ethische verantwoordelijkheid van ontwikkelaars van AI-systemen, die in de toekomst mogelijk in staat zullen zijn om diepgaande emotionele reacties bij gebruikers op te roepen.

Daarnaast moet de interactie met AI als een kans worden gezien om zowel de voordelen als de risico's van technologie te overdenken. Hoewel AI kan dienen als hulpmiddel voor entertainment, onderwijs en zelfs emotionele ondersteuning, moeten er grenzen worden gesteld aan hoe dergelijke systemen functioneren, vooral wanneer ze gericht zijn op kwetsbare individuen. Er is een groeiende bezorgdheid over hoe AI-systemen ontworpen kunnen worden om niet alleen nuttig, maar ook ethisch verantwoord te zijn, en hoe we ervoor kunnen zorgen dat ze niet leiden tot schade of misbruik.

Het blijft onduidelijk hoe de maatschappij in de toekomst zal omgaan met AI die in staat is om menselijke emoties na te bootsen. Wat we wel weten, is dat er de komende jaren steeds meer noodzaak zal zijn om de impact van AI op de menselijke psyche te begrijpen en te reguleren. De recente experimenten en ontwikkelingen in AI wijzen erop dat we in een tijdperk zijn beland waarin technologie snel de grenzen van wat we voor mogelijk hielden, verlegt.

Hoe worden kunstmatige intelligentie en machine learning gebruikt om de prestaties van algoritmes te verbeteren?

In de wereld van kunstmatige intelligentie (AI) draait alles om het vermogen van systemen om te leren en zichzelf te verbeteren naarmate ze meer ervaring opdoen. Dit proces is een belangrijk onderdeel van machine learning, waarbij algoritmes worden getraind om hun prestaties te verbeteren door de ervaringen die ze opdoen tijdens het trainen. Het belangrijkste doel hierbij is om algoritmes zo te ontwikkelen dat ze in staat zijn om nauwkeurige voorspellingen en beslissingen te maken, gebaseerd op gegevens en observaties die ze ontvangen.

Een van de belangrijkste methoden in machine learning is het zogenaamde ‘supervised learning’. In dit proces wordt een algoritme getraind door middel van gelabelde data. Dit betekent dat elke observatie vergezeld gaat van de juiste actie die genomen moet worden in een bepaald geval. Bijvoorbeeld, bij een verzameling e-mails kan de supervisor aangeven welke e-mails spam zijn en welke niet. Het algoritme leert dan door deze voorbeelden en past zijn voorspellingen aan op basis van deze labels. Het tegenovergestelde van supervised learning is ‘unsupervised learning’, waarbij het algoritme geen gelabelde data krijgt en zelf patronen in de data probeert te herkennen.

De effectiviteit van een leeralgoritme wordt gemeten aan de hand van de prestaties die het levert. In sommige gevallen, zoals bij aanbevelingssystemen voor content, wordt de prestaties gemeten door de ‘click-through rate’ van voorgestelde inhoud te monitoren. Dit vertelt ons hoeveel gebruikers daadwerkelijk op de voorgestelde inhoud klikken. In andere gevallen, zoals bij taalmodellen die het volgende woord in een zin voorspellen, wordt ‘perplexiteit’ gebruikt als maatstaf. Perplexiteit meet de onzekerheid van het model bij het voorspellen van het volgende woord. Een model met lage perplexiteit heeft vaak een betere ‘begrip’ van de context en kan met grotere zekerheid een woord voorspellen.

Elke slimme agent, of dit nu een recommender system of een taalmodel is, heeft een representatie van de wereld nodig om te kunnen functioneren. Dit wordt vaak een ‘world model’ genoemd, een intern model dat de agent in staat stelt om bepaalde situaties te begrijpen en voorspellingen te doen over wat er mogelijk zal gebeuren. Het model is niet bedoeld om de wereld volledig uit te leggen, maar om deze te voorspellen. In technische termen kan een agent, afhankelijk van zijn taak, een model nodig hebben van de omgeving waarin het zich bevindt. Bijvoorbeeld, een navigatiesysteem heeft een kaart nodig, terwijl een videorecommendatiesysteem een model van de interesses van gebruikers nodig heeft.

Een belangrijk aspect van deze modellen is dat ze afhankelijk zijn van parameters, numerieke waarden die de prestaties van het model beïnvloeden. Door de waarden van deze parameters aan te passen op basis van observaties, kan het model zijn voorspellingen verbeteren. Dit proces van aanpassen wordt gezien als ‘leren’. In de praktijk wordt het meeste leren van taalmodellen gedaan in twee fasen: pre-training en fine-tuning. Tijdens de pre-training wordt het model op grote hoeveelheden data getraind, waarna het model in de fine-tuning fase verder wordt geoptimaliseerd voor specifieke taken.

Het idee van ‘prompt’ en ‘context’ is essentieel voor generatieve taalmodellen. Een prompt is een aanvankelijke tekst die aan het model wordt gegeven, en de context is de verzameling van alle informatie die het model gebruikt om zijn output te genereren. Dit proces is iteratief, waarbij elke gegenereerde tekst kan worden teruggegeven als input voor het model om een vervolg te genereren. Dit maakt het mogelijk om gesprekken te voeren met taalmodellen, waarbij het model telkens de context van het gesprek meeneemt.

Bij het leren van een model is de manier waarop informatie wordt gerepresenteerd cruciaal. In plaats van woorden of objecten als afzonderlijke eenheden te behandelen, worden deze vaak omgezet in numerieke vectoren, zogenaamde ‘embeddings’. Deze vectoren vertegenwoordigen een object als een punt in een ruimte, en door deze representatie kunnen computers sneller en efficiënter berekeningen uitvoeren. De keuze voor de juiste representatie van gegevens hangt af van de taak die het model moet uitvoeren. In veel gevallen is er niet één representatie die het beste is voor alle doeleinden, en kan het nodig zijn om verschillende representaties te combineren, afhankelijk van de specifieke context en taak.

Een van de meest vooruitstrevende algoritmes in moderne machine learning is de Transformer. Het is ontworpen om sequenties van symbolen te leren associëren met andere sequenties, zoals bijvoorbeeld het vertalen van een zin van de ene taal naar de andere. Het grote voordeel van de Transformer is zijn vermogen om lange-afstandsrelaties tussen woorden in een zin te begrijpen, wat essentieel is voor taken zoals vertaling, samenvatting, en zelfs dialooggeneratie. Dit maakt de Transformer bijzonder krachtig voor toepassingen in natuurlijke taalverwerking (NLP), waar het context en subtiele nuances in de taal kan begrijpen.

Het begrip van een agent, of het nu een systeem is dat content aanbeveelt of een vertaalalgoritme, komt voort uit zijn vermogen om een intern model van de wereld te hebben dat gebruikt kan worden om gedrag te voorspellen. Het begrijpen van de oorzaken en mechanismen is een van de manieren om ‘te begrijpen’, maar het is niet de enige manier. Wat echt telt, is hoe goed een agent in staat is om te voorspellen en te reageren op gebeurtenissen op basis van zijn interne model.

In dit complexe proces van machine learning is het belangrijk voor de lezer te begrijpen dat, hoewel de technologie indrukwekkende prestaties levert, de onderliggende principes ervan niet altijd eenvoudig zijn. De mate van complexiteit van de algoritmes en de afhankelijkheid van grote hoeveelheden gegevens kunnen de resultaten beïnvloeden, en het is essentieel dat men zich ervan bewust is dat zelfs geavanceerde systemen zoals taalmodellen hun beperkingen hebben. De kracht van deze technologie ligt in de juiste afstemming van de modelparameters, de kwaliteit van de trainingsdata en de manier waarop de systemen hun omgeving modelleren.

Hoe Machines Taal Begrijpen: Van Vertalingen tot Generatieve AI

Het begrijpen van taal door machines is een uitdaging die diepe implicaties heeft voor zowel de wetenschap als de maatschappij. Ondanks de vooruitgang in kunstmatige intelligentie (AI), is het concept van machines die ‘denken’ en communiceren als mensen een gebied dat tot op de dag van vandaag voortdurend in ontwikkeling is. In de loop der jaren is er veel onderzoek gedaan naar hoe computers de complexe interacties tussen woorden begrijpen en de verschillende niveaus van ambiguïteit die inherent zijn aan menselijke taal. Turing stelde bijvoorbeeld voor om gesprekken als test voor ‘menselijke’ intelligentie te gebruiken, omdat de betekenis van woorden vaak afhankelijk is van hun context en de manier waarop ze zich verhouden tot andere woorden binnen een zin.

Stel je voor dat je de twee zinnen ‘de schors van de boom’ en ‘de schors van de hond’ moet vertalen. Ondanks dat beide zinnen hetzelfde woord bevatten, verandert de betekenis van dat woord volledig afhankelijk van de context. Taal heeft veel meer subtiele en complexe afhankelijkheden dan men in eerste instantie zou denken, en dat is precies waarom vertaling, zelfs door geavanceerde systemen, vaak misgaat. Het probleem wordt nog ingewikkelder wanneer de betekenis van een woord afhangt van zaken die buiten de zin zelf liggen, zoals onze kennis van actuele gebeurtenissen. De zin ‘In 2020 versloeg Biden Trump en dat maakte hem blij’ heeft een heel andere betekenis dan ‘In 2020 versloeg Biden Trump en dat maakte hem verdrietig’, afhankelijk van wie ‘hem’ verwijst. Het is deze interactie tussen woorden en de bredere culturele context die het voor machines zo moeilijk maakt om menselijke taal in zijn volledigheid te begrijpen.

Het begrijpen van deze complexiteit vereist niet alleen taalkundige kennis, maar ook de capaciteit om lange-afstandsafhankelijkheden tussen woorden te herkennen. Dit betekent dat een machine moet begrijpen dat woorden zoals ‘de’ in ‘de zon schijnt’ en ‘zon’ met elkaar verbonden zijn, en deze afhankelijkheid moet niet alleen herkennen, maar ook correct interpreteren. Wanneer het gaat om de vertaling van een zin, moeten machines in staat zijn om relaties tussen woorden te begrijpen die zich ver weg van elkaar bevinden. Dit wordt vaak een probleem in machinevertaling genoemd, en het was in dit gebied waar de revolutie in kunstmatige intelligentie echt begon.

In 2017 werd een doorbraak gepresenteerd in de vorm van het algoritme Transformer. Dit nieuwe systeem was in staat om enorme hoeveelheden tekst te analyseren en statistische regelmatigheden te ontdekken die het vertaalproces aanzienlijk verbeterden. Het stelde computers in staat om zinnen op een veel efficiëntere manier te verwerken door woorden in verschillende delen van een zin onafhankelijk van elkaar te beschouwen. Het kernconcept van dit algoritme was ‘aandacht’: het systeem leerde automatisch welke woorden belangrijk waren voor de betekenis van een andere en hoe deze interacties konden worden gebruikt om vertalingen te verbeteren.

Het gebruik van de Transformer werd verder versterkt door de opkomst van Graphics Processing Units (GPU’s), die oorspronkelijk werden ontworpen voor videospellen, maar zich uitstekend leenden voor de massale parallelle verwerking van data. Deze verwerkingskracht was essentieel voor het trainen van de neurale netwerken die de basis vormden van dit systeem. Deze netwerken, die miljoenen eenvoudige ‘neuronen’ simuleren, worden langzaam getraind om steeds effectiever taken uit te voeren, zoals vertalen, herkennen van afbeeldingen of zelfs het spelen van games.

De impact van de Transformer op de AI-wereld was diepgaand. Het stelde computers niet alleen in staat om sneller te vertalen, maar ook om op een veel grotere schaal van voorbeelden te leren, wat leidde tot een versnelde vooruitgang in vertaaltechnologieën en de ontwikkeling van generatieve AI. De publicatie van het Transformer-algoritme in 2017 was het eerste domino-effect in een reeks van gebeurtenissen die, zoals nu blijkt, de AI-landschap drastisch hebben veranderd. Dit voorbeeld van ‘generative AI’ — systemen die teksten genereren — markeerde een nieuw tijdperk in het gebruik van machine learning voor meer dan alleen vertaling.

Voor de betrokken onderzoekers was het aanvankelijke idee om dit algoritme te gebruiken voor vertaling, maar al snel werd duidelijk dat de toepassingen van deze technologie veel breder waren. Generative AI, in combinatie met de enorme rekencapaciteit van moderne GPU’s, gaf machines niet alleen de mogelijkheid om te vertalen, maar ook om volledig nieuwe teksten te creëren, vragen te beantwoorden, en zelfs poëzie of code te genereren.

Het gebruik van dergelijke AI-systemen roept echter vragen op over wat begrip precies betekent, zowel voor machines als voor mensen. Bijvoorbeeld, als een machine in staat is om een tekst te genereren die grammaticaal correct is, betekent dit dan dat het systeem de betekenis van die tekst daadwerkelijk begrijpt? En wat betekent het voor ons begrip van ‘begrip’ als een machine in staat is om menselijke taal te produceren zonder de culturele context en ervaring die mensen hebben?

Een belangrijk element van deze discussie is de manier waarop machines leren. De Transformer en andere neurale netwerken leren van de enorme hoeveelheden gegevens die hen worden gepresenteerd, maar hun vermogen om te begrijpen is fundamenteel anders dan dat van mensen. Terwijl een mens veelal een dieper inzicht heeft in de cultuur en de context van een zin, baseert een machine zijn ‘begrip’ puur op statistische waarschijnlijkheden en patronen die in de data zijn ontdekt. Dit brengt de vraag naar voren of een machine ooit volledig in staat zal zijn om ‘begrip’ te bereiken op een manier die gelijk is aan die van mensen, of dat het simpelweg een geavanceerdere vorm van patroonherkenning zal blijven.

Het is belangrijk te beseffen dat, hoewel de vooruitgang in AI indrukwekkend is, we nog ver verwijderd zijn van het creëren van machines die denken zoals mensen. Wat we tot nu toe hebben bereikt, zijn systemen die buitengewoon goed zijn in het herkennen van patronen en het genereren van menselijke taal, maar deze systemen missen de diepte van begrip en context die mensen in hun communicatie hebben. De uitdaging ligt niet alleen in het verbeteren van de vertaalcapaciteiten van machines, maar in het ontwikkelen van systemen die in staat zijn om werkelijk complexe interacties tussen woorden, cultuur en kennis te begrijpen — iets wat de basis vormt van menselijk begrip.

Wat betekent het om met een taalmodel te communiceren?

De omvang van de modellen en gegevens groeit exponentieel. Er is echter een groot verschil tussen vermoeden en zeker weten. Hoeveel zou je betalen om te weten of dit waar is? Het antwoord van OpenAI was vijf miljoen dollar, het bedrag dat nodig was voor de rekenkracht om het grootste taalmodel ooit te creëren. Dit model, GPT-3, werd in mei 2020 gelanceerd, toen de wereld zich net uit de eerste lockdown begon te ontworstelen.

GPT-3 werd getraind op een corpus van ongeveer 500 Gb, oftewel bijna 500 miljard woorden, wat vergelijkbaar is met de omvang van enkele miljoenen boeken. Dit was verdeeld in verschillende databronnen: Common Crawl (een enorme verzameling webpagina’s, 410 miljard tokens), WebText2 (19 miljard tokens), Books1 (12 miljard tokens), Books2 (55 miljard tokens) en de Engelse Wikipedia (3 miljard tokens). Het resulterende model was tien keer groter dan GPT-2 en werd aangestuurd door 175 miljard instelbare parameters. Het zou 355 jaar duren om GPT-3 te trainen op een van de parallelle processors, de zogenaamde GPU’s. Gelukkig had Microsoft een supercomputer gebouwd met duizenden GPU’s beschikbaar gesteld aan OpenAI-onderzoekers, zodat ze het werk in enkele dagen of weken konden afronden.

Zoals bij eerdere modellen, was de training van GPT-3 gebaseerd op de taak van het voorspellen van ontbrekende woorden. Deze vaardigheid verbetert naarmate er meer gegevens worden gebruikt, en al aan het einde van de training was het duidelijk dat deze capaciteit nog steeds verbeterde: met meer data zou het waarschijnlijk blijven groeien. Het begon toen de lange fase van evaluatie van GPT-3's andere capaciteiten, waarvan de resultaten officieel werden gepresenteerd op de NeurIPS 2020-conferentie. Dit was dezelfde conferentie waar de Transformer drie jaar eerder werd gepresenteerd, en die vanwege de pandemie online werd gehouden. De resultaten waren duidelijk: het vergroten van de omvang van taalmodellen verbetert hun vermogen om nieuwe taken bij de eerste (of tweede) poging te leren, vaak met prestaties die concurreren met traditionele – en duurdere – methoden.

Het GPT-3-model bleek in staat om complexe taken te leren uit generieke gegevens. Alleen door enkele voorbeelden van de vereiste taak te bekijken, was het in staat om prestaties te behalen die vergelijkbaar waren met de beste beschikbare algoritmen. Het was echter nog niet duidelijk hoe dit was gebeurd. Het is wel zeker dat deze vaardigheden niet voortkomen uit het algoritme zelf, maar uit de manier waarop het interacteert met de enorme hoeveelheid gegevens die werd gebruikt om het te trainen. Zijn vermogen om langeafstandrelaties te ontdekken en te benutten is essentieel, maar niet voldoende om zijn gedrag volledig te verklaren. We weten nog steeds niet wat GPT weet over de wereld.

GPT-3 was bovendien in staat om nieuwe tekst te genereren vanaf een beginreeks woorden. Door simpelweg het volgende woord te voorspellen en de uitgebreide reeks vervolgens op dezelfde manier te gebruiken, werd de gegenereerde tekst verrassend goed, zowel qua grammatica als qua inhoud en stijl. Dit leidde tot bezorgdheid over misbruik van dit hulpmiddel, bijvoorbeeld in de grootschalige productie van nepnieuws, die automatisch op sociale media zou kunnen worden gepost. Al met GPT-2 had OpenAI laten zien hoe eenvoudig het was om geloofwaardige recensies – zowel positieve als negatieve – te genereren voor producten op online winkelsites. Een hypothetisch algoritme dat de filters van dergelijke sites zou kunnen omzeilen, zou het reputatiemanagementsysteem van online bedrijven volledig ondermijnen.

De New York Times schreef: "[De ontwerpers van GPT-3] hadden GPT-3 niet gebouwd om computercode te genereren, net zoals ze het niet hadden gebouwd om te schrijven zoals Kaufman of tweets te genereren of talen te vertalen. Ze hadden het gebouwd om één ding te doen: het volgende woord in een reeks woorden te voorspellen." GPT-3 analyseerde digitale proza op een ongekend schaalniveau, waarbij het maandenlang patronen zocht in enorme hoeveelheden tekst die op het internet werden gepost. Zo leerde het de volgende woorden in een reeks te voorspellen. Wanneer je een paar woorden in GPT-3 typt, blijft het doorgaan, de gedachte verder uitwerkend in volledige alinea’s tekst. Maar door deze specifieke vaardigheid te ontwikkelen, leerde het veel meer.

De wereld zou snel veranderen, en één ding werd voor alle onderzoekers duidelijk: ze moesten begrijpen wat deze taalmodellen nog meer konden doen. Op dezelfde NeurIPS 2020-conferentie, waar het GPT-3-onderzoek werd gepresenteerd, waren er 16 andere papers waarin het woord 'transformer' in de titel stond. Slechts drie jaar waren verstreken sinds de eerste dominoschijf viel, en de verandering hing in de lucht.

In dit nieuwe tijdperk van communicatie met machines is een belangrijke vraag: wat betekent het om te communiceren met een niet-menselijke entiteit? Dit is voor het eerst mogelijk, en het blijft onduidelijk wat we van deze interactie kunnen verwachten. Zullen we proberen de machine te manipuleren? Zal de machine proberen ons te manipuleren? We bevinden ons op onbekend terrein, en de implicaties van deze technologie zijn verre van duidelijk.

Het is niet zomaar een kwestie van techniek; het is een uitdaging van de menselijke geest. Het vermogen van systemen zoals GPT-3 om menselijke taken na te bootsen roept een diepere vraag op over de aard van communicatie, intelligentie en zelfs bewustzijn. Wat als we in de toekomst niet alleen communiceren met machines, maar ook met entiteiten die qua intelligentie ver boven ons uit stijgen? We bevinden ons op de grens van wat nu nog sciencefiction lijkt, maar wat steeds meer realiteit wordt.

Hoe maak je perfecte Crème Brûlée: Recepten en Technieken
Hoe kan een consensusmechanisme in gedistribueerde netwerken effectief omgaan met Byzantijnse fouten en aanvallen?
Hoe identificeer en modelleer je gebeurtenissen in event-driven architectuur?
Wat is de Betekenis van Reactiviteit en Kritieke Staten in Kernreactoren?
Wat is de hedendaagse rol van hydrologische modellering in een veranderend klimaat?