Crawler: de bot die je site ontdekt

Een crawler, spider of bot is een programma dat automatisch webpagina's opvraagt, de inhoud opslaat en de gevonden links toevoegt aan een wachtrij om later te bezoeken. Zo bouwt een zoekmachine een beeld van het web. De cyclus is: ontdekken via links en sitemaps, ophalen van de HTML, eventueel renderen van JavaScript, en doorgeven aan de indexeringsfase.

Googlebot voor Google Search, Bingbot voor Bing en Copilot, en daarnaast een groeiende groep AI-crawlers: GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic, PerplexityBot en Google-Extended. Elke bot heeft een eigen user agent en eigen gedrag. Een deel voert alleen een simpele HTML-fetch uit zonder JavaScript te draaien.

Hoe vaak en hoe diep een bot je site bezoekt hangt af van je autoriteit, hoe vaak je content wijzigt, hoe snel je server reageert en hoeveel foutmeldingen hij tegenkomt. Trage responstijden en veel 5xx-fouten zorgen ervoor dat Googlebot terugschakelt. Duidelijke interne links, een actuele sitemap en een schone URL-structuur zorgen juist voor efficiënte dekking.

Met robots.txt bepaal je welke bots welke paden mogen ophalen. Met meta robots en de X-Robots-Tag stuur je wat er met de opgehaalde pagina mag gebeuren. Belangrijk verschil: robots.txt voorkomt ophalen, noindex voorkomt indexeren. Blokkeer je een pagina in robots.txt, dan kan de bot de noindex niet lezen — een klassieke oorzaak van pagina's die blijven staan.

Serverlogs zijn de enige harde bron: welke user agent, welke URL, welke statuscode, op welk moment. Daarin zie je of Googlebot je nieuwe cluster al heeft gevonden, of hij crawlbudget verspilt aan filter-URL's, en of AI-crawlers je site überhaupt bezoeken. Verifieer verdachte bots via reverse DNS; user agents zijn eenvoudig te vervalsen.