Crawl budget: crawlen zonder verspilling

Crawl budget is het aantal URL's dat een zoekmachine binnen een bepaalde periode op jouw site ophaalt. Het bestaat uit twee delen: de crawl capacity limit (hoeveel je server aankan zonder te vertragen) en de crawl demand (hoeveel Google wíl ophalen, op basis van populariteit en versheid). Beide kun je beïnvloeden — de eerste met techniek, de tweede met contentkwaliteit en interne links.

Voor een site met een paar honderd pagina's is crawl budget geen thema: Google crawlt die moeiteloos. Het wordt relevant bij grote webshops, marktplaatsen, nieuwssites en sites met veel gefilterde URL's. Symptomen: nieuwe pagina's worden pas weken later geïndexeerd, of het rapport Pagina-indexering toont grote aantallen 'Gecrawld – momenteel niet geïndexeerd' en 'Gevonden – momenteel niet geïndexeerd'.

URL-parameters voor sortering, sessies en tracking; facetnavigatie die miljoenen combinaties genereert; interne zoekresultaatpagina's; oneindige kalenderpagina's; paginatiereeksen zonder waarde; dunne tag- en archiefpagina's; en lange redirectketens. Elk van deze categorieën kost crawls die je liever aan je categorie-, product- en artikelpagina's besteedt.

Blokkeer nutteloze patronen in robots.txt (crawlen voorkomen), gebruik noindex alleen voor pagina's die wel gecrawld maar niet geïndexeerd mogen worden, canonicaliseer varianten naar de hoofd-URL, verwijder of consolideer dunne pagina's, ruim redirectketens op naar één hop, en zorg dat je XML-sitemap uitsluitend indexeerbare URL's met correcte lastmod bevat. Snellere serverresponstijden verhogen bovendien de crawl capacity.

AI-crawlers zoals GPTBot, ClaudeBot en PerplexityBot hebben hun eigen budgetten en zijn doorgaans zuiniger dan Googlebot. Verspilling raakt hen dus harder: als je belangrijkste pagina's diep weggestopt zitten achter filters, worden ze simpelweg niet opgehaald. Een strakke informatiearchitectuur met korte klikpaden en een schone sitemap helpt daarom net zo goed voor GEO als voor SEO.