Topprestatie GPT-3 artificiële intelligentie

GPT-3 staat voor Generative Pre-Training en is gebouwd door het bedrijf OpenAI. Dit GPT-3 model is in staat om tekst te genereren en werd afgelopen juni 2020 uitgebracht. De hype rondom deze doorbraak is nog lang niet uitgeblust en de toepassingen zijn eindeloos. De unieke prestatie zit hem in het aantal parameters. Wat betekent dat precies? 

Het model bestaat uit 175 miljard parameters. Dit betekent dat er 175 miljard kleine berekeningen worden toegepast om tot een uitkomst te komen. Wat is 1 parameter? Dit is een enkel nummer dat een verband aangeeft tussen woorden. De uitkomst is een gok, een voorspelling gebaseerd op 175 miljard kleine berekeningen. Dit is statistiek toegepast op taal. Het resultaat is dat je het model aan de hand van een aantal keywords zelf een essay kunt laten schrijven in een bepaalde stijl. The Guardian geeft een voorbeeld van een essay, geschreven door GPT-3.

Op twitter worden de vele toepassingen van GPT-3 gedeeld. Het is bijvoorbeeld mogelijk om GPT-3 te koppelen aan HTML. Het kan ook vragen beantwoorden en redenaties doen.

GPT-3 heeft een vervelende bias

Het GPT-3 model bestaat uit een grote hoeveelheid data. De data bestaat uit minstens 60 miljoen internetdomeinen. Daarbij moet je denken aan Wikipedia, Reddit, relevante boeken en nieuwssites. Al deze data wordt aan het GPT-3 model gevoerd, zodat het model na ieder woord kan voorspellen welk woord erna moet komen. GPT-3 leert dus van tekst die door ons geschreven is, zodat de uitkomst lijkt op tekst geschreven door een mens. Het enige nadeel is dat het model beschikt over een bias. Zo gaat het model ervan uit dat Joden rijk zijn en dat vrouwen altijd om de weg vragen. Dit is niet alleen een probleem bij GPT-3. Bij de meeste AI modellen van dit soort treedt er een bias op. Elk model dat gebruik maakt van data, voortgebracht door mensen, heeft een bias. Zelfs als het om een grote hoeveelheid data gaat, raakt de bias niet verwaterd. Dit is een moeilijk oplosbaar probleem.

Artificiële intelligentie is nog steeds niet slim 

GPT-3 snapt zelf niks van de woorden die het produceert. AI kent nog steeds geen emotie en doet alles gebaseerd op mathematische berekeningen. GPT-3 is ver van menselijk. Wel kan het menselijke taken uitvoeren,  zoals redelijk foutloos schrijven en vertalen. De doorbraak is vooralsnog de omvang van het AI model. De vraag is of GPT-4 nog groter zal zijn en of het lukt om de bias te verminderen.

Vanaf 4:45 legt Jay Alammar uit hoe een parameter tot stand komt.