De geschiedenis van large language models

De geschiedenis van LLM's begint niet in 2022, maar in 1950 — toen Alan Turing zijn beroemde imitation game beschreef: de vraag of een machine een gesprek kon voeren dat niet van een mens te onderscheiden was. Zestien jaar later bouwde MIT-onderzoeker Joseph Weizenbaum ELIZA, een chatbot die een Rogeriaanse psychotherapeut imiteerde door eenvoudige patroon-substituties uit te voeren ('I am sad' → 'Why are you sad?'). ELIZA 'begreep' niets, maar gebruikers gingen er regelmatig diepe gesprekken mee aan — het eerste bewijs dat mensen taal projecteren op alles wat lijkt te antwoorden. In de decennia daarna domineerden regelgebaseerde systemen (SHRDLU, expert systems) en statistische methoden zoals n-grams en Hidden Markov Models het veld.

In 2003 publiceerden Yoshua Bengio en collega's het paper dat tekst voor het eerst voorstelde als dichte vector-representaties (word embeddings) — een neuraal taalmodel. Tien jaar later, in 2013, maakte Tomas Mikolov's word2vec dit idee bruikbaar: woorden werden punten in een hoogdimensionale ruimte waar 'koning − man + vrouw ≈ koningin' opeens betekenis kreeg. Combineer dat met Recurrent Neural Networks (RNN's) en hun opvolger Long Short-Term Memory (LSTM, Hochreiter & Schmidhuber 1997), en je had de eerste modellen die zinnen genereerden in plaats van losse woorden voorspelden. Google Translate stapte in 2016 over op een neuraal model — de eerste grote consumenten-AI met dit DNA.

Op 12 juni 2017 publiceerde een team bij Google Brain en Google Research het paper 'Attention is All You Need'. Daarin introduceerden ze de transformer-architectuur: een neuraal netwerk dat sequenties parallel verwerkt via self-attention, in plaats van woord-voor-woord zoals RNN's. Twee gevolgen veranderden alles. Ten eerste werd training drastisch sneller, omdat GPU's eindelijk hun volle parallelliteit konden benutten. Ten tweede bleek de architectuur opmerkelijk goed te schalen: meer data en meer parameters bleven het model verbeteren, zonder duidelijk plafond. Vrijwel elk modern LLM — GPT, Claude, Gemini, Llama, Mistral, Qwen, DeepSeek — is een variant op deze transformer.

Voor wie de werking van LLM's diepgaander wil begrijpen is dit één uur durende college van Andrej Karpathy (medeoprichter van OpenAI, oud-hoofd AI bij Tesla) de beste startplek. Hij legt stap voor stap uit hoe een model wordt getraind, hoe finetuning en RLHF werken, en waar de echte beperkingen zitten.

Video: Andrej Karpathy, 'Intro to Large Language Models' (2023) — Engelstalig, ±60 minuten.

Op de transformer bouwden twee scholen voort. Google's BERT (2018) was encoder-only en gericht op begrip: het haalde state-of-the-art in zoekrelevantie en werd in 2019 in Google Search ingebouwd. OpenAI's GPT-serie was decoder-only en gericht op generatie. GPT (2018, 117M parameters) en GPT-2 (2019, 1,5 miljard) lieten zien dat een eenvoudig 'voorspel het volgende woord'-doel op heel veel tekst tot verrassend coherente generatie leidde. OpenAI hield GPT-2 aanvankelijk achter omdat het 'te gevaarlijk' zou zijn — een beslissing die in 2026 nog steeds debat oplevert.

GPT-3 verscheen in juni 2020 met 175 miljard parameters, ruim 100× zo groot als GPT-2. Belangrijker dan de omvang was wat OpenAI in het paper 'Scaling Laws for Neural Language Models' aantoonde: modelprestaties verbeterden voorspelbaar met meer compute, data en parameters. Dat veranderde het AI-onderzoek van 'welk algoritme is slimmer' naar 'wie kan een groter cluster bouwen'. GPT-3 kon for het eerst echt few-shot learning: je beschreef een taak in de prompt en het model deed het, zonder hertraining. De eerste GPT-3-API-startups (Jasper, Copy.ai, GitHub Copilot via Codex) ontstonden in 2021–2022.

OpenAI lanceerde ChatGPT als 'low-key research preview' op een woensdagavond. Binnen vijf dagen waren er 1 miljoen gebruikers, binnen twee maanden 100 miljoen — destijds de snelst groeiende consumenten-app ooit. De magie zat niet in een nieuw model (het was GPT-3.5, een variant van GPT-3), maar in twee dingen: een gratis chat-interface en RLHF (Reinforcement Learning from Human Feedback), waardoor het model behulpzaam en gespreksgericht reageerde. Microsoft investeerde $10 miljard, Google riep code red uit, en Anthropic (in 2021 opgericht door ex-OpenAI'ers) lanceerde Claude. De LLM-race was begonnen.

GPT-4 (maart 2023) bracht multimodaliteit — tekst én beeld als input — en aanzienlijk betere redenering. Google reageerde met Gemini (december 2023, native multimodaal), Anthropic met Claude 3 (maart 2024). Even belangrijk was de open-source-revolutie: Meta bracht Llama uit (februari 2023) en publiceerde de gewichten — een breuk met de gesloten OpenAI-strategie. Mistral (Frankrijk), Qwen (Alibaba) en het Chinese DeepSeek volgden. In 2024 was de prestatiekloof tussen open-weight en closed-weight modellen kleiner dan ooit, en konden bedrijven serieuze LLM's op eigen infrastructuur draaien.

Drie ontwikkelingen domineren de huidige fase. Ten eerste reasoning models: OpenAI's o1 en o3, DeepSeek R1 (januari 2025) en Claude Opus 4.5 'denken' eerst hardop door een probleem voordat ze antwoorden — een doorbraak in wiskunde, code en wetenschap. Ten tweede agents: modellen die niet alleen tekst genereren maar zelfstandig tools gebruiken, web browsen, software bouwen en taken uitvoeren over meerdere stappen. Ten derde de verschuiving van zoeken naar antwoorden: Google AI Overviews, Perplexity, ChatGPT Search en Gemini in zoekresultaten verschijnen voor honderden miljoenen queries per dag. Dat heeft een nieuw vakgebied geboren — Generative Engine Optimization (GEO) — waarin merken werken aan citeerbaarheid in plaats van enkel ranking.

Voor marketing en groei zijn drie consequenties belangrijk. (1) Een groeiend aandeel van het 'zoekverkeer' komt nooit meer op je site terecht — gebruikers krijgen direct een antwoord. (2) Geciteerd worden in dat antwoord is de nieuwe vorm van zichtbaarheid; dat vraagt heldere entiteiten, gestructureerde data, brand-mentions en sterke PR. (3) De technologie blijft elk kwartaal versnellen, dus een GEO-strategie is geen project van 2024 dat je 'klaar' kunt verklaren — het is een doorlopend spel van meten, bijsturen en investeren in fundamentele autoriteit. Wie dat nu inricht, bouwt een voorsprong die over twee jaar moeilijk in te halen is.