Log file analyse: zien wat crawlers echt doen

Elke keer dat een bot of bezoeker je server benadert, schrijft de server een regel weg met tijdstip, IP-adres, opgevraagde URL, statuscode, responsegrootte en user-agent. Log file analyse is het systematisch doorzoeken van die regels om te zien welke URL's crawlers ophalen, hoe vaak, en wat ze terugkrijgen.

Search Console geeft een samenvatting, geen volledige waarheid. Logs tonen het feitelijke gedrag: welke secties dagelijks worden bezocht, welke maanden niet, en waar crawlbudget verdwijnt in parameters, facetten of oneindige kalenders. Bij sites met duizenden URL's is dit vaak de snelste route naar een indexatiedoorbraak.

Kijk naar: crawlfrequentie per sectie en per templatetype, verdeling van statuscodes (hoeveel 200, 301, 404, 5xx), verhouding tussen gecrawlde en geïndexeerde URL's, responstijd per URL-groep, gecrawlde maar niet in de sitemap opgenomen URL's, en belangrijke pagina's die zelden of nooit bezocht worden.

Veel hits op parameter-URL's betekent crawlverspilling: los op met canonicals, robots-regels of parameterschoning. Veel 404's in de logs wijst op verouderde interne of externe links. Oplopende 5xx-fouten tijdens crawlpieken betekent dat je server het niet aankan, wat de crawlsnelheid verlaagt. Nauwelijks hits op nieuwe content betekent een ontdekkingsprobleem: sitemap en interne links versterken.

User-agents zijn te vervalsen. Verifieer Googlebot met een reverse DNS-lookup die uitkomt op googlebot.com of google.com, gevolgd door een forward lookup naar hetzelfde IP. Andere aanbieders publiceren IP-ranges. Zonder verificatie tel je scrapers mee als zoekmachineverkeer en trek je verkeerde conclusies.

Naast Googlebot en Bingbot zie je tegenwoordig GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot en Google-Extended. Analyseer ze apart: welke secties halen ze op, hoe vaak, en komen ze terug na een update? Dat is een van de weinige directe, meetbare signalen dat je content daadwerkelijk in AI-systemen terechtkomt.

Verzamel minimaal vier weken aan logs, filter op geverifieerde bots, groepeer URL's per template en zet de data naast je sitemap en Search Console-export. Tools als Screaming Frog Log File Analyser, JetOctopus of een eenvoudige BigQuery-tabel volstaan. Herhaal de analyse per kwartaal en na elke grote sitewijziging.