AI-crawlers: wie je content ophaalt en waarom

AI-crawlers zijn geautomatiseerde bots van AI-aanbieders die webpagina's ophalen. Ze vallen grofweg in drie groepen: bots die data verzamelen voor modeltraining, bots die tijdens een gesprek live pagina's ophalen om een vraag te beantwoorden, en bots die een eigen zoekindex bouwen. Die groepen vragen om verschillend beleid.

OpenAI gebruikt GPTBot voor training, OAI-SearchBot voor de zoekindex en ChatGPT-User voor live ophalen tijdens een gesprek. Anthropic gebruikt ClaudeBot en Claude-User. Google onderscheidt Googlebot van Google-Extended, waarmee je Gemini-training kunt uitsluiten zonder je Google-ranking te raken. Verder zie je PerplexityBot, Applebot-Extended, Bytespider, CCBot van Common Crawl en Meta-ExternalAgent.

Voor de meeste bedrijven die zichtbaarheid willen, is toelaten de juiste keuze: geen crawl betekent geen citatie. Publishers met betaalde content of een licentiemodel kiezen vaker voor blokkeren van trainingsbots, maar laten de antwoordbots wel toe zodat ze in AI-antwoorden zichtbaar blijven met bronvermelding. Maak de keuze bewust per botgroep, niet met één blinde blokkade.

Zet per user-agent een blok met Allow- of Disallow-regels. Wil je training uitsluiten maar antwoorden toestaan, dan blokkeer je GPTBot, Google-Extended en CCBot en laat je OAI-SearchBot, ChatGPT-User, ClaudeBot en PerplexityBot toe. Robots.txt is een beleefdheidsafspraak: nette aanbieders houden zich eraan, scrapers niet. Voor harde blokkades gebruik je firewall- of CDN-regels.

Lever volledige HTML server-side, want vrijwel geen AI-crawler rendert JavaScript. Houd je responstijd laag en vermijd agressieve rate limiting of bot-challenges die AI-bots per ongeluk buitensluiten — een veelvoorkomende oorzaak van onzichtbaarheid. Bied daarnaast een llms.txt met de belangrijkste pagina's en een schone sitemap aan.

AI-crawlers verschijnen niet in Search Console. Je ziet ze uitsluitend in je serverlogs of CDN-analytics. Bouw een maandelijks rapport met hits per bot, meest opgehaalde secties en statuscodes. Zie je een bot verdwijnen, controleer dan direct je robots.txt, firewall en 5xx-percentage. Combineer dit met een promptset-meting om crawl en citatie aan elkaar te koppelen.