AI-crawlers: blokkeren of toelaten? Het beslismodel voor 2026

De discussie over AI-crawlers wordt vaak gevoerd alsof het één groep is. In werkelijkheid zijn het drie functies met totaal verschillende gevolgen voor jouw zichtbaarheid.

• Zoekcrawlers (Googlebot, Bingbot): bouwen de klassieke index. Blokkeren betekent uit Google verdwijnen.
• Antwoordcrawlers (OAI-SearchBot, PerplexityBot, Gemini's live-fetch): halen je pagina op wanneer een gebruiker een vraag stelt. Blokkeren betekent nooit geciteerd worden.
• Trainingscrawlers (GPTBot, CCBot, Google-Extended): verzamelen content om modellen te verbeteren. Blokkeren kost je geen directe zichtbaarheid.

Die scheiding is de kern: je kunt trainingsdata weigeren én toch volledig citeerbaar blijven. Dat onderscheid missen de meeste robots.txt-bestanden die we in audits tegenkomen.

De angst "als ik niet blokkeer, stelen ze mijn content" is begrijpelijk maar incompleet. De juiste vraag is: wat is de waarde van mijn content als trainingsmateriaal, en wat is de waarde van mijn content als citaat in een antwoord?

Voor de meeste dienstverleners en B2B-organisaties is de citatiewaarde vele malen groter. Je kennisbank en dienstenpagina's zijn marketingmateriaal, geen beschermd product. Wie ze blokkeert, blokkeert vooral zichzelf uit het snelst groeiende verkeerskanaal.

Anders ligt het bij uitgevers en makers van premium content: als de tekst zelf het product is, is toestemming zonder licentie een reëel commercieel dilemma. Die groep kiest terecht steeds vaker voor blokkeren van trainingsbots plus actief onderhandelen over licenties.

Een werkende standaardconfiguratie die we bij klanten inzetten:

• Zoekcrawlers: volledig toestaan, met een schone sitemap en zonder Disallow op contentpaden.
• Antwoordcrawlers (OAI-SearchBot, PerplexityBot, ClaudeBot voor antwoorden): expliciet toestaan.
• Trainingscrawlers (GPTBot, CCBot, Google-Extended): naar keuze blokkeren — dit kost geen citaties.
• Scraper-achtige bots zonder duidelijke eigenaar of UA: blokkeren op serverniveau.

Let op: robots.txt is een verzoek, geen slot. Serieuzere partijen respecteren het; kwaadwillenden niet. Wie echt wil afschermen, moet op WAF- of serverniveau werken met UA-filtering en rate-limiting.

Voordat je regels schrijft: kijk in je serverlogs of CDN-dashboard welke AI-bots je nu al bezoeken en hoe vaak. In de praktijk zien we drie verrassingen terugkomen: sites die denken dat ze geblokkeerd zijn maar het niet zijn, sites die ongemerkt hun antwoordcrawlers blokkeren door een te brede wildcard, en sites waar PerplexityBot de op twee na actiefste bot is zonder dat de eigenaar het weet.

Leg daarna je keuze vast in een kort AI-beleid van één pagina: welke bots zijn welkom, welke niet, en wie beslist bij nieuwe crawlers. Nieuwe bots verschijnen maandelijks; zonder beleid wordt elke keer opnieuw geïmproviseerd.