Indexatie: van gecrawld naar vindbaar

Crawlen is het ophalen en renderen van een pagina door een bot. Indexeren is de beslissing daarna: is deze pagina goed genoeg en uniek genoeg om op te nemen in de zoekindex? Google crawlt veel meer dan het indexeert. Dat een pagina in je logs verschijnt, betekent dus niet dat hij vindbaar is.

Technisch: een noindex-tag die per ongeluk op productie staat, een robots.txt die de map blokkeert, een canonical die naar een andere pagina wijst, of een 4xx- of 5xx-status. Inhoudelijk: te weinig eigen inhoud, sterke overlap met een andere pagina, of een pagina die alleen bestaat om een zoekwoord af te vangen. De technische oorzaken los je in een dag op; de inhoudelijke vragen redactionele keuzes.

Deze status betekent dat Google de URL kent maar er geen prioriteit aan geeft. Bijna altijd een signaal van te weinig interne links, een te grote hoeveelheid vergelijkbare URL's of een site met beperkt crawlbudget. De oplossing is zelden een indexeringsverzoek: link de pagina vanuit relevante hub- en clusterpagina's en snoei de URL's die geen waarde toevoegen.

Wat wel in de index hoort: unieke, waardevolle pagina's met eigen zoekvraag. Wat niet: interne zoekresultaten, filtercombinaties zonder vraag, bedankpagina's, testomgevingen en dunne tagoverzichten. Stuur met noindex voor pagina's die wel bereikbaar moeten zijn maar niet vindbaar, en met een canonical voor varianten van dezelfde inhoud. Robots.txt is geen indexatiemiddel: een geblokkeerde URL kan alsnog zonder omschrijving in de resultaten belanden.

AI-antwoorden putten deels uit dezelfde index. Staat een pagina er niet in, dan is de kans op citatie in Google's AI Overviews klein. Voor assistenten met eigen crawlers geldt hetzelfde principe: zorg dat je pagina's zonder JavaScript-afhankelijkheid te lezen zijn en expliciet toegestaan zijn in robots.txt, zodat zowel de klassieke als de AI-index je content kan opnemen.