Robots meta tag: sturen per pagina

De robots meta tag staat in de head van een pagina en geeft per pagina instructies over indexeren en linkopvolging. De belangrijkste waarden: noindex (niet opnemen in de index), nofollow (links niet volgen), noarchive, nosnippet, noimageindex, max-snippet, max-image-preview en unavailable_after met een datum.

robots.txt zegt of een crawler een URL mag opvragen; de meta tag zegt wat er met de inhoud mag gebeuren. Blokkeer je een URL in robots.txt en zet je daar een noindex op, dan ziet Google die noindex nooit — hij mag de pagina immers niet ophalen. Zo'n URL kan alsnog in de index verschijnen zonder tekst.

Voor bestanden zonder HTML-head, zoals PDF's en afbeeldingen, geef je dezelfde instructies mee als HTTP-header: X-Robots-Tag: noindex. Dat is ook de handigste route als je in één keer een heel pad of bestandstype wilt uitsluiten via je serverconfiguratie.

Bij bedankpagina's, interne zoekresultaten, lege filtercombinaties, testomgevingen, paginering die niets toevoegt en dunne tag-overzichten. Niet gebruiken bij pagina's die je wel wilt laten ranken maar die tijdelijk dun zijn — verbeter die dan liever.

Een noindex die na een release op de hele site blijft staan. noindex in combinatie met een canonical naar dezelfde pagina, wat tegenstrijdige signalen geeft. Een noindex op een pagina die veel externe links heeft, waardoor die waarde nergens naartoe gaat. Controleer daarom na elke deploy steekproefsgewijs de head van je belangrijkste pagina's.