robots.txt: sturen wat crawlers wel en niet ophalen

robots.txt is een tekstbestand in de root van je domein dat crawlers vertelt welke paden ze mogen ophalen. Het is een vrijwillig protocol: nette crawlers houden zich eraan, kwaadwillende bots niet. Belangrijkste misverstand: Disallow voorkomt crawlen, geen indexering. Wordt er extern naar een geblokkeerde URL gelinkt, dan kan Google die URL alsnog opnemen — zonder titel of omschrijving, want de inhoud mag niet worden opgehaald. Wil je een pagina echt uit de index, gebruik dan noindex en laat de pagina crawlbaar.

Een blok begint met User-agent (voor welke crawler geldt dit) gevolgd door Disallow- en Allow-regels. Paden zijn hoofdlettergevoelig en relatief aan de root. Het teken * werkt als wildcard, $ markeert het einde van een URL. Regels worden per crawler toegepast op basis van het meest specifieke matchende blok — een crawler die zichzelf herkent in een eigen blok negeert het generieke User-agent: * blok volledig. Sluit af met een Sitemap-regel met de volledige URL van je XML-sitemap.

Verstandige Disallow-kandidaten zijn: interne zoekresultaten, filter- en facetten-URL's met parameters, winkelwagen- en checkoutpagina's, admin- en loginpaden, en dubbele printversies. Dit bespaart crawl budget bij grote sites. Blokkeer nooit je CSS- en JavaScript-bestanden: Google rendert je pagina en heeft die nodig om de layout en content correct te beoordelen.

Sinds 2023 hebben AI-platforms eigen user-agents: GPTBot en OAI-SearchBot (OpenAI), ClaudeBot en Claude-User (Anthropic), PerplexityBot, Google-Extended (voor Gemini-training, los van Googlebot) en CCBot (Common Crawl). Wil je zichtbaar zijn in AI-antwoorden, dan geef je deze bots expliciet toegang. Blokkeer je Google-Extended of GPTBot, dan verklein je de kans dat je content als bron wordt gebruikt. Een llms.txt of llms-full.txt naast je robots.txt helpt modellen daarnaast om je belangrijkste pagina's gestructureerd te vinden.

Controleer je bestand met de robots.txt-rapportage in Google Search Console en de URL-inspectie per pagina. De duurste fouten: een Disallow: / die vanuit een staging-omgeving meeverhuist naar productie, een robots.txt die een 404 of 500 teruggeeft (bij een 5xx stopt Google tijdelijk met crawlen), en het blokkeren van paden die je juist wilt laten indexeren. Zet na elke deploy een simpele check op: haal /robots.txt op en verifieer de statuscode en inhoud.