Taalmodellen zoals GPT lijken in hun ontwikkeling steeds meer geavanceerde en onverwachte vaardigheden te vertonen. Deze vaardigheden komen vaak spontaan naar voren tijdens het trainen van de modellen, zonder dat ze expliciet geprogrammeerd zijn om bepaalde taken uit te voeren. Het onderzoek naar de wijze waarop deze modellen 'leren' en zich ontwikkelen, biedt fascinerende inzichten in zowel de aard van kunstmatige intelligentie als de mogelijkheden en risico's van toekomstige technologieën.

In de basis kan een taalmodel, zoals GPT-3, worden begrepen als een systeem dat niet alleen woorden begrijpt, maar ook de concepten en ideeën die achter deze woorden schuilgaan. Elke woord in dit model is een punt in een ruimte van 12.288 dimensies, waarbij woorden met vergelijkbare betekenissen dicht bij elkaar liggen. Dit systeem maakt het mogelijk om woorden te combineren en zelfs concepten te transformeren, zoals het omzetten van ‘koning’ naar ‘koningin’ of van ‘Paris’ naar ‘Frankrijk’. Dit proces is niet alleen van toepassing op individuele woorden, maar ook op zinnen en meer complexe betekenisstructuren.

Het opvallende is dat de representaties van deze concepten in het model niet gebaseerd zijn op de traditionele betekenis van data of informatie, maar op ideeën en de relaties tussen die ideeën. Door deze relaties kan het model, na training, voorspellingen maken over de ontbrekende woorden in een zin. Dit betekent dat de machine in staat is om te ‘begrijpen’ en contextueel te redeneren, zelfs als de betekenis van de woorden onbekend is voor de gebruiker.

Wat echter nog niet volledig begrepen is, is wat er verder uit deze processen kan voortkomen. De ervaring van taalmodellen wordt vaak gedreven door hun grootte. Hoe groter het model, hoe meer geavanceerde vaardigheden het kan ontwikkelen. In sommige gevallen kunnen deze vaardigheden plotseling verschijnen wanneer de omvang van het model een bepaalde drempel overschrijdt, wat een ‘emergente eigenschap’ wordt genoemd. Dit werd duidelijk aangetoond in de experimenten waarbij het grotere GPT-3 model aanzienlijk betere prestaties leverde dan kleinere modellen bij het beantwoorden van vragen over uiteenlopende onderwerpen zoals natuurkunde, recht en wiskunde.

Bijvoorbeeld, een studie uitgevoerd door een team van Amerikaanse onderzoekers in 2020 toonde aan dat GPT-3 in staat was om correct te antwoorden op 43,9% van de 15.908 meerkeuzevragen die werden gebruikt om kennis van verschillende disciplines te testen. Dit is een opvallend resultaat, aangezien kleinere modellen vaak nauwelijks beter presteren dan willekeurig raden. De vragen waren gevarieerd, van verbale redeneervaardigheden tot kennis van natuurkunde en recht, en het grotere model toonde aan dat het veel meer begreep van de onderliggende concepten dan de kleinere modellen.

Wat echter belangrijk is om te begrijpen, is dat de verschijnselen die zich manifesteren niet altijd vanzelfsprekend of gecontroleerd zijn. Aangezien deze emergente eigenschappen vaak onverwacht optreden, roept dit vragen op over welke vaardigheden een taalmodel zou moeten ontwikkelen en welke het misschien niet zou moeten ontwikkelen. Deze vraag is van cruciaal belang voor de toekomstige toepassingen van kunstmatige intelligentie, vooral wanneer het gaat om ethische en veiligheidskwesties.

Er is een groeiende bezorgdheid over het feit dat, hoewel de huidige technologie indrukwekkende vooruitgangen vertoont, het moeilijk is om precies te bepalen welke onbekende of zelfs ongewenste vaardigheden in de toekomst uit deze modellen zouden kunnen voortkomen. Terwijl de technologie zich ontwikkelt, kan het mogelijk zijn dat een nog groter model bepaalde eigenschappen vertoont die onbedoeld problematisch of gevaarlijk kunnen zijn.

Uit recente onderzoeken blijkt bijvoorbeeld dat de omvang van een model een directe invloed heeft op de prestaties. Sommige basale vaardigheden, zoals het uitvoeren van rekensommetjes, blijken pas aanwezig te zijn in modellen met meer dan 10^11 parameters, wat aangeeft dat de complexiteit van de vaardigheden die een model kan ontwikkelen niet lineair toeneemt met de grootte, maar eerder volgens een drempelsysteem. Dit roept de vraag op wat we kunnen verwachten van nog grotere modellen in de toekomst.

De ontdekking van zulke emergente gedragingen heeft niet alleen wetenschappelijke implicaties, maar ook praktische toepassingen. Terwijl we doorgaan met het bouwen van steeds grotere en krachtigere modellen, moeten we de mogelijkheid van onbedoelde effecten in overweging nemen. De vraag is niet alleen welke nieuwe capaciteiten taalmodellen zullen ontwikkelen, maar ook hoe we ervoor kunnen zorgen dat ze enkel vaardigheden leren die nuttig en veilig zijn voor ons gebruik.

Hoe modellen van de wereld onze interacties bepalen

Een agent, zoals ChatGPT, creëert modellen van de wereld door deze te observeren. Dit is van fundamenteel belang voor het begrip van hoe dergelijke agenten werken en hoe ze beslissingen nemen. Er zijn drie niveaus die we moeten onderscheiden: de agent die we in de wereld tegenkomen (bijvoorbeeld ChatGPT), het interne model dat de agent gebruikt om beslissingen te nemen (bijvoorbeeld GPT-3), en het algoritme dat dat model uit de gegevens genereert (zoals de Transformer).

Een model van de wereld is bedoeld om ons te vertellen welke situaties waarschijnlijk zijn en welke niet, of zelfs onmogelijk. Bijvoorbeeld, in mijn model van de fysieke wereld verwacht ik niet dat objecten omhoog vallen of dat bomen gaan praten. Hoewel het mogelijk is om de waarschijnlijkheid van terugkerende gebeurtenissen te schatten door de frequentie van hun voorkomen in het verleden te tellen (denk aan regen in november), is dit niet mogelijk voor gebeurtenissen die nog nooit hebben plaatsgevonden. Bijvoorbeeld, als ik een boek laat vallen vanaf de toren van Pisa, is de kans dat het naar beneden of omhoog valt, duidelijk verschillend, zelfs als niemand dit ooit eerder heeft geprobeerd. Het hebben van een model van de wereld dat ons in staat stelt om ermee te interageren en de waarschijnlijkheid van verschillende gebeurtenissen te berekenen, is een vorm van begrijpen van de wereld.

In werkelijkheid kan men de hele wereld niet modelleren, maar slechts enkele aspecten die van belang zijn voor de specifieke taak van de agent. De kennis die beschikbaar is voor een agent kan worden gevonden in zijn wereldmodel, dat uiteindelijk slechts een benadering is van de wereld die nuttig is voor het uitvoeren van een bepaalde missie.

Chatbots zijn voorbeelden van agenten die volledig door middel van taal met hun omgeving interageren. In plaats van een model van de wereld, gebruiken ze een model van taal om te bepalen welke reeks woorden waarschijnlijk is of zinvol klinkt. Dit brengt ons bij de recente doorbraak: we hebben een nieuwe en krachtigere manier gevonden om taalmodellen te creëren die intelligente agenten kunnen gebruiken bij het interactie met zinnen die nog nooit eerder zijn uitgesproken. Met deze modellen kunnen agenten ontbrekende delen van een onvolledige zin voorspellen, zelfs als die zin geheel nieuw is, en ze kunnen vele andere belangrijke taken uitvoeren.

De intelligentie van een agent hangt in grote mate af van zijn vermogen om modellen van de wereld te creëren die zijn gedrag kunnen sturen. Het is belangrijk om hierbij de drie niveaus te blijven onderscheiden: de agent die in de wereld opereert, het wereldmodel binnen de agent, en het algoritme dat dat model heeft gecreëerd. Deze onderscheiden niveaus zullen later nog belangrijk worden.

De onderzoekers van OpenAI, die erin slaagden een algemeen taalmodel te creëren dat als basis kon dienen voor meer gespecialiseerde hulpmiddelen, werden geleid door Ilya Sutskever, een Canadese wetenschapper en voormalig student van de pionier op het gebied van neurale netwerken, Geoffrey Hinton. Samen hadden ze AlexNet ontwikkeld, een neuraal netwerk dat in 2012 recordprestaties behaalde op het gebied van beeldherkenning en de belangstelling voor neurale netwerken in machine learning nieuw leven inblies. Deze vroege prestatie was mogelijk gemaakt door twee ingrediënten: een indrukwekkende verzameling van miljoenen beelden, verdeeld over duizenden categorieën (ImageNet), en het gebruik van parallelle processors, GPU's, om de training van neurale netwerken te versnellen.

Het succes van AlexNet gaf Sutskever een formule die hij jaren later in 2018 opnieuw zou toepassen, dit keer op het gebied van taalmodellen. In dat artikel rapporteerden de onderzoekers van OpenAI hoe zij een intelligent agent verschillende taken leerden zonder telkens opnieuw vanaf nul te beginnen. Dit werd mogelijk door de training op te delen in twee fasen: de eerste fase (pre-training) creëerde een generiek ‘taalmodel’ op basis van enorme hoeveelheden onbewerkte (en daardoor goedkope) tekst, terwijl de tweede fase (fine-tuning) de agent specifieke taken leerde met behulp van zorgvuldig geselecteerde (en dus duurdere) gegevens.

De innovatie zat in de eerste fase. Om deze te voltooien, pasten ze de Transformer aan, een algoritme dat in staat is om van zijn fouten te leren. Het werd getraind om ontbrekende woorden in een tekst te raden door naar de context van de woorden te kijken. De onderzoekers gebruikten een enorme corpus, bestaande uit duizenden boeken, en verwijderden willekeurig woorden zodat het model kon oefenen. Het resultaat was een statistisch model dat de ‘cloze test’ (het invullen van ontbrekende woorden) verbeterde naarmate de training vorderde en er meer gegevens beschikbaar kwamen.

De belangrijkste regel van machine learning is dat hoe complexer een model, hoe meer gegevens nodig zijn om het te trainen. Omdat het verbeteren van de prestaties vereist dat steeds complexere relaties worden benut (bijvoorbeeld tussen ver verwijderde woorden), is het noodzakelijk om veel gegevens te gebruiken. De keuze voor de Transformer was gebaseerd op verschillende factoren: zijn vermogen om relaties tussen ver verwijderde woorden te ontdekken en te benutten, zijn vermogen om enorme hoeveelheden tekst snel te verwerken, zijn vermogen om van fouten te leren, en bovenal zijn vermogen om woorden te genereren, wat cruciaal was voor deze ‘raadspel’.

De boeken die voor dit experiment werden gekozen, waren 7.000 onuitgegeven boeken uit verschillende genres zoals avontuur, fantasy en romantiek. Ze werden niet geselecteerd vanwege hun onderwerp, maar omdat ze beschikbaar waren en, in tegenstelling tot webpagina's, lange stukken aaneengeschakelde tekst bevatten, waardoor het generatieve model relaties tussen ver verwijderde woorden kon observeren. Daarna was het een kwestie van rekenen.

Bij de analyse van de resultaten waren de onderzoekers aangenaam verrast. Het model verbeterde niet alleen zijn prestaties in de taak van het voorspellen van ontbrekende woorden, maar het deed iets meer. Het model leerde snel en goed andere traditionele taken (zoals het bepalen of twee zinnen gelijkwaardig zijn), en in 9 van de 12 tests presteerde het beter dan bestaande methoden, terwijl het in de overige gevallen vergelijkbare resultaten behaalde. Dit betekende dat de taalkundige kennis die was opgedaan door training op generieke tekst en taken, eenvoudig kon worden overgedragen naar andere taken waarvoor normaal gesproken dure gegevens nodig zouden zijn.

Omdat dit taalmodel was gemaakt door een Transformer generatief voor te trainen, noemden de onderzoekers het model Generative Pretrained Transformer, of GPT, voor de vrienden.

Endtext

Hoe Maak Je De Heerlijke Gerechten In Een Slowcooker?
Hoe kunstmatige intelligentie de systemen voor hernieuwbare energie transformeert
Hoe Politici en Schandalen de Publieke Moraal Beïnvloeden