Begrippenlijst · Thema

Begrippen over crawlen en indexeren

Voordat een pagina kan ranken of geciteerd worden, moet hij gecrawld, gerenderd en geïndexeerd zijn. Deze begrippen beschrijven de signalen die dat proces sturen.

36 begrippen · 36 met een volledig uitgewerkte pagina · terug naar de complete begrippenlijst

Plan een GEO-gesprek Naar de kennisbank

301-redirect: Een permanente doorverwijzing van de ene URL naar de andere. Vrijwel alle autoriteit stroomt mee; gebruik dit bij verhuizingen, samenvoegingen en URL-wijzigingen.
302-redirect: Een tijdelijke doorverwijzing. Google blijft de originele URL indexeren; laat je een 302 maanden staan, dan behandelt Google hem meestal alsnog als 301 — maar met vertraging en verlies.
404-fout: De statuscode waarmee de server aangeeft dat een URL niet bestaat. Normaal en onschadelijk, tenzij pagina's met backlinks of verkeer verdwijnen of interne links erop wijzen.
AI-crawlers: Bots van AI-aanbieders zoals GPTBot, OAI-SearchBot, ClaudeBot en PerplexityBot die pagina's ophalen voor training, een zoekindex of live antwoorden. Zonder crawl geen citatie.
Canonical tag: Een link-element dat aangeeft welke URL de voorkeursversie is bij (bijna) identieke content. Voorkomt kannibalisatie tussen filter-, paginatie- en parametervarianten.
CDN: Een netwerk van servers dat je pagina's en bestanden dicht bij de bezoeker uitlevert. Een CDN verlaagt de laadtijd en de kans op time-outs bij crawlers.
Crawl budget: Het aantal URL's dat een zoekmachine binnen een periode op je site crawlt. Relevant vanaf tienduizenden URL's; verspilling komt meestal van parameters, facetten en dunne pagina's.
Crawler: Een programma dat automatisch webpagina's ophaalt en de links daarin volgt, zodat zoekmachines en AI-systemen het web in kaart brengen.
Duplicate content: Dezelfde of vrijwel identieke inhoud op meerdere URL's. Er bestaat geen straf voor, maar je verliest autoriteit, crawlbudget en controle over welke URL rankt.
Facetnavigatie: Filters op categoriepagina's (maat, kleur, prijs) die per combinatie een nieuwe URL genereren. Zonder beheersing ontstaan miljoenen bijna-identieke URL's die crawl-budget verspillen.
Gemini: Gemini is de AI-assistent van Google, geïntegreerd in de Google-app, Search, Workspace en Android. Voor vindbaarheid is Gemini relevant omdat het put uit de Google-index en uit gestructureerde gegevens over entiteiten.
Google Search Console: De gratis tool van Google waarin je ziet hoe je site wordt gecrawld, geïndexeerd en vertoond in de zoekresultaten — de enige bron met echte Google-data.
Headless CMS: Een headless CMS beheert content zonder de presentatie te bepalen: de frontend haalt de content via een API op. Dat geeft vrijheid in techniek en snelheid, maar vraagt bewuste keuzes rond rendering en SEO.
HTTP-statuscodes: De driecijferige codes waarmee een server het resultaat van een verzoek meldt: 200 oké, 301/302 verplaatst, 404 niet gevonden, 410 verwijderd, 5xx serverfout. Ze bepalen hoe crawlers je site interpreteren.
Index bloat: Index bloat is het verschijnsel dat Google veel meer URL's van je site heeft geïndexeerd dan waardevol is, bijvoorbeeld filter-URL's, zoekresultaten en paginering. Het verspilt crawl-budget en verdunt de kwaliteitsindruk van je site.
Indexatie: Het opnemen van een pagina in de zoekindex, waardoor die pagina in de zoekresultaten kan verschijnen. Crawlen is bekijken, indexeren is opnemen.
JavaScript rendering: De manier waarop crawlers JavaScript verwerken. Google rendert in een tweede fase; de meeste AI-crawlers doen het helemaal niet, waardoor client-side content voor hen niet bestaat.
Keyword kannibalisatie: Twee of meer pagina's die op hetzelfde zoekwoord mikken en elkaar verdringen. Oplossing: samenvoegen, herpositioneren of canonicaliseren.
Klikdiepte: Het aantal kliks dat nodig is om vanaf de homepage bij een pagina te komen. Hoe dieper een pagina staat, hoe minder autoriteit en crawl-aandacht hij krijgt.
Linkindexatie: Linkindexatie is de vraag of Google een verkregen backlink daadwerkelijk heeft gecrawld en opgeslagen. Een link die niet is geïndexeerd, telt niet mee — hoe mooi de plaatsing ook is.
Log file analyse: Het onderzoeken van serverlogs om te zien welke URL's zoekmachine- en AI-crawlers werkelijk ophalen, hoe vaak en met welke statuscodes. De enige bron van echt crawlgedrag.
Microsoft Copilot: Microsoft Copilot is de AI-assistent van Microsoft in Windows, Edge, Bing en Microsoft 365. Copilot haalt zijn webbronnen uit de Bing-index, waardoor Bing-vindbaarheid een directe voorwaarde is voor zichtbaarheid.
Mobile-first indexing: Google gebruikt de mobiele versie van je pagina's als basis voor indexatie en ranking. Content die mobiel ontbreekt, telt niet mee — ook niet voor desktopzoekers.
Noindex: Een meta-robots-instructie die een pagina uit de index houdt. De pagina moet crawlbaar blijven, anders ziet Google de instructie nooit.
Paginering: Het opdelen van een lange lijst met resultaten over meerdere URL's (pagina 1, 2, 3…). Verkeerd opgezette paginering kost crawl-budget en laat diepe items onvindbaar.
Progressive web app (PWA): Een progressive web app is een website die zich gedraagt als een app: installeerbaar, offline bruikbaar en met pushnotificaties. Vaak het snelste en goedkoopste alternatief voor een native app, én volledig indexeerbaar.
Redirectketen: Een reeks doorverwijzingen achter elkaar, waarbij A naar B en B naar C wijst. Elke extra hop kost laadtijd en crawlbudget; werk ketens plat naar één directe 301.
Render-blocking resources: Render-blocking resources zijn CSS- en JavaScript-bestanden die de browser eerst moet ophalen en verwerken voordat er iets op het scherm verschijnt. Ze zijn de belangrijkste oorzaak van een trage eerste weergave.
Robots meta tag: Een meta-instructie in de head van een pagina (of via de X-Robots-Tag header) die per pagina bepaalt of die geïndexeerd mag worden en of links gevolgd worden.
robots.txt: Een bestand in de root van je domein dat crawlers vertelt welke paden ze mogen crawlen. Blokkeren in robots.txt voorkomt crawlen, niet indexeren — daarvoor gebruik je noindex.
SEO-migratie: Een SEO-migratie is de verhuizing van een site naar een nieuw domein, platform, ontwerp of URL-structuur zonder verlies van organische zichtbaarheid. Het draait om een complete redirectmapping en een gecontroleerde livegang.
Server-side rendering (SSR): De server levert volledige HTML in plaats van een lege pagina die JavaScript vult. Cruciaal voor GEO: veel AI-crawlers voeren geen JavaScript uit.
Soft 404: Een pagina die inhoudelijk leeg of niet-bestaand is, maar toch een HTTP 200 teruggeeft. Google ziet dat als foutieve signalering en haalt zulke URL's uit de index.
URL-parameters: URL-parameters zijn de sleutel-waardeparen achter het vraagteken in een URL, zoals ?kleur=blauw of ?utm_source=nieuwsbrief. Ongecontroleerd leveren ze eindeloos veel bijna identieke URL's op en daarmee duplicate content en index bloat.
Weespagina: Een pagina die wel bestaat en soms in de sitemap staat, maar nergens op je site intern wordt gelinkt. Zoekmachines vinden hem moeilijk en beoordelen hem als onbelangrijk.
XML-sitemap: Een bestand met alle URL's die je geïndexeerd wilt hebben, inclusief laatste wijzigingsdatum. Versnelt ontdekking van nieuwe pagina's, maar garandeert geen indexatie.