Iedereen heeft wel eens van de artificial intelligence ChatGPT gehoord, een indrukwekkend large language model dat in staat is om menselijke taal te begrijpen en na te bootsen. Maar wat is nou eigenlijk een large language model? En hoe worden deze modellen getraind? In deze blog leg ik dit uit, waarbij ik met name inga op de gevaarlijke feedbackloop van slechte trainingsdata. Lees verder om meer te weten te komen over deze fascinerende technologie en de uitdagingen die ermee gepaard gaan.
Inmiddels is haast iedereen bekend met de digitale storm die ChatGPT heeft ontketend. Als we menig krantenkop moeten geloven staan we praktisch aan de vooravond van autonoom denkende en zelfbewuste robots. Zou wel makkelijk zijn, dan kon ik met mijn robotvriend over deze blogs praten. Ja, ChatGPT is zeker een indrukwekkend taalmodel. Maar dat is ook alles wat het is: een taalmodel. Of beter gezegd, een zogeheten large language model (LLM).
Wat is een large language model?
Nee, in dit geval is een LLM niet de Engelse variant (legum magister) van de titel ‘meester in de rechten’. In het kort is een LLM een type artificial intelligence (AI) dat is ontworpen om menselijke taal te begrijpen en na te bootsen. Dit soort AI’s zijn statistische modellen die de waarschijnlijkheid van een woord berekenen en vervolgens in een zin plaatsen. In andere woorden, het enige wat het systeem doet is een kansberekening. “Hoe groot is de kans dat na woord X, woord Y komt?” Iets technischer gezegd zijn LLM’s een type deep learning neural networks. Hiermee wordt bedoeld dat het systeem naar gelijkenis van het menselijk brein is gemodelleerd. Zo wordt input geleverd, in het geval van LLM’s enorme hoeveelheden tekst, waarna meerdere lagen digitale neuronen complexe berekeningen uitvoeren en er een output volgt. Die output kan van alles zijn, bijvoorbeeld artikelen, gesprekken, verhalen, grappen of samenvattingen. Dat is de welbekende output die ChatGPT levert.Hoe large language models worden getraind
Om te begrijpen waar het onderwerp van deze blog over gaat, de feedbackloop van slechte data, is het van belang verder toe te lichten hoe LLM’s worden getraind. Ten eerste wordt een grote set aan tekstdata verzameld. Die dataset bevat gegevens die afkomstig zijn uit bronnen zoals boeken, artikelen, blogs en social media-posts. Vervolgens wordt het model getraind aan de hand van die data. Zonder te diep in te gaan op hoe dat gebeurt (voor de fijnproevers, zoek op reinforcement learning from human feedback), is het belangrijk te weten dat het model voorbeelden van tekst en de juiste uitkomsten krijgt. Vervolgens past gaat het model aan de slag om input (“Wat is de hoofdstad van Frankrijk?”) om te zetten in output (“Parijs is de hoofdstad van Frankrijk”) die zo dicht mogelijk bij het goede antwoord ligt. Ondertussen blijft de LLM zijn interne gewichten aanpassen om de kans te vergroten dat het goede antwoord wordt gegeven. Die interne gewichten worden ook wel de parameters van model genoemd. Het GPT-3-model, dat door ChatGPT wordt gebruikt, bevat zelfs 175 miljard parameters. Je kan je voorstellen dat voor het rekenen met zoveel verschillende parameters enorme rekenkracht nodig is. Althans, mij lukt het zo snel niet om er wat hoofdsommetjes mee te doen. Een LLM leert dus door het continu aanpassen van interne gewichten en daarna de uitkomst te toetsen. Daar komen in verschillende stadia (veel) mensen aan te pas. Dit proces van gewichten aanpassen wordt herhaald totdat het model goed genoeg is om teksten te genereren die voor mensen logisch lijken. Dat is, vrij basaal weergegeven, hoe een LLM getraind wordt.De loop: bias en onjuiste gegevens
Binnen het AI-werkveld is een alomtegenwoordige nemesis bekend: bias. Hoewel ik ongetwijfeld uitgebreider ga schrijven over bias in andere blogs, licht ik het hier kort toe. Bias, dat zoiets als vooroordeel of vooringenomenheid betekent in het Nederlands, verwijst naar onbedoelde vertekeningen in de ontwikkeling, training en implementatie van AI. Dit kan leiden tot oneerlijke of onnauwkeurige resultaten in de besluitvorming van het systeem. De data waar een LLM mee wordt getraind, bevat vaak dat soort vooroordelen die in de teksten zijn opgenomen. Dit kan bijvoorbeeld gebeuren doordat de gebruikte data afkomstig is uit specifieke bronnen (denk aan racistische tweets of seksistische Facebookberichten), geschreven is door bepaalde auteurs of niet voldoende representatief is. Als deze bias niet tijdig wordt gedetecteerd en gecorrigeerd, kan het model de bias overnemen en zelfs versterken in de gegenereerde output. Hierdoor produceert de LLM onnauwkeurige of oneerlijke resultaten, die weer worden gebruikt als trainingsdata voor toekomstige modellen. Dit creëert een feedbackloop waarbij de vooroordelen steeds sterker worden en moeilijker te corrigeren zijn naarmate het model verder wordt getraind. Naast bias speelt nog een ander probleem bij LLM’s: onnauwkeurige of onjuiste informatie. ChatGPT wordt, zoals gezegd, onder meer getraind door teksten van internet. Doordat steeds meer mensen ChatGPT gebruiken ( Bron: https://www.similarweb.com/website/chat.openai.com/#overview , komen ook steeds meer teksten online die geheel of ten dele door de AI zijn geschreven.)
