Als er één A.I. platform vandaag de kroon spant, dan is het wel OpenAI’s ChatGPT (https://chat.openai.com). Maar hoe werkt dat eigenlijk, zo’n GPT? Hoe is het – in godsnaam – mogelijk dat zo’n systeem zo goed menselijke taal kan begrijpen en genereren?
GPT, ofwel "Generative Pre-trained Transformers", zijn een type A.I. die gebruik maken van machine learning, meer specifiek transformer-architecturen, om content te genereren. Neen, niet de buitenaardse autorobots die van vorm kunnen veranderen... 🤖
Even woord voor woord:
1️⃣ Generative: "Generative" betekent dat deze systemen in staat zijn om iets te creëren, in dit geval tekst. Dit is anders dan AI-modellen die voorspellen of herkennen, zoals het classificeren van afbeeldingen als hond of kat. Een generatief model kan nieuwe zinnen of zelfs hele artikelen produceren die geheel origineel zijn en dus geen kopie van trainingsdata. Andere populaire Generative A.I. platformen: Dall-E of Midjourney (afbeeldingen), Synthesia (video), AlphaCode of GitHub Copilot (code).
2️⃣ Pre-trained: "Pre-training" verwijst naar de manier waarop deze modellen worden ontwikkeld. Voordat ze voor specifieke taken gebruikt worden, worden ze getraind op enorme datasets van tekst. GPT-3 bevat naar schatting 45 terabytes aan platte tekst. Ter vergelijking, dat zijn 129 miljoen boeken van gemiddeld 275 bladzijden. Een gemiddelde grote stadsbibliotheek bevat zo'n 1 à 2 miljoen boeken, dus dat zijn heel wat bibliotheken bij elkaar ...en GPT-4 is op een nóg grotere dataset getraind! Dat doe je niet zomaar even snel op je eigen computer thuis... 😉 Deze pre-training stelt het model in staat om een brede kennis van taal en grammatica te verwerven.
3️⃣ Transformers: Hier wordt het een beetje moeilijk. Dit is een specifiek type architectuur in machine learning, vooral bekend om zijn efficiëntie in het omgaan met sequentiële data, zoals tekst, waar het ene woord na het andere komt en zo een bepaalde context vormt. Transformers onderscheiden zich door hun vermogen om rekening te houden met de context van een geheel stuk tekst, in plaats van individuele woorden of zinnen. Ze doen dit door gebruik te maken van "attention mechanisms", die het model in staat stellen om de meest relevante delen van een tekst te identificeren en zich daarop te concentreren.
💡 Hoe werken GPT's?
Wanneer een GPT-model een stuk tekst genereert, begint het met een input (zoals een vraag of een beginzin), wat bij velen gekend is als de “prompt”. Het model gebruikt vervolgens wat het heeft geleerd tijdens de pre-training om te voorspellen wat de volgende woorden of zinnen moeten zijn. Het houdt daarbij rekening met de context van de gehele input, waardoor het in staat is relevante en coherente teksten te produceren.
✉ Hopelijk geeft dit wat meer inzicht over hoe ChatGPT precies zijn antwoorden produceert. Stuur gerust een bericht als je interesse hebt in AI !
