Blokkeer je AI-bots op je website? Een kwart van de grote .nl-sites weert de trainingsbot van ChatGPT, maar elf zeggen niets over de zoekbot
Van 142 grote Nederlandse websites blokkeert 26% de trainingsbot van OpenAI in robots.txt, blijkt uit onderzoek op Frankwatching. Elf van die sites, waaronder de NOS en BNR, noemen de aparte zoekbot van ChatGPT nergens, zodat onduidelijk is of ze wel gevonden willen worden als een klant iets in ChatGPT opzoekt. Check je eigen robots.txt in twee minuten.
Tijm de Jong van geo-optimaliseren.nl haalde begin september de robots.txt op van de 250 populairste .nl-domeinen en hield na selectie 153 organisaties over, van wie er 142 een bruikbaar bestand hadden; woensdag verscheen de uitkomst op Frankwatching. Van die 142 noemt 64% geen enkele AI-bot bij naam. 37 sites (26%) blokkeren GPTBot, de bot waarmee OpenAI zijn modellen traint, en 24 sites (17%) blokkeren OAI-SearchBot, de bot die ChatGPT gebruikt om voor een gebruiker het web te doorzoeken.
Het punt zit bij dertien sites die GPTBot weren maar OAI-SearchBot niet: twee daarvan (AT5 en NH Nieuws) laten de zoekbot expliciet toe, bij de andere elf, waaronder de NOS en BNR, komt hij helemaal niet in het bestand voor. Of dat een keuze is, zegt een robots.txt niet. Nieuwssites blokkeren vrijwel allemaal minstens één bot (24 van 25), winkels een stuk minder (5 van 16).
Voor jouw site komt het neer op drie vragen uit het artikel: welke bots mogen binnen, wat mogen ze met je teksten, en klopt je robots.txt daar nog mee? Een blokkade via Cloudflare maakt hetzelfde onderscheid tussen vindbaar zijn en meetrainen, en AI-agents die namens een klant bestellen wil je meestal juist binnenlaten.
Typ jouwdomein.nl/robots.txt in je browser, zoek op GPTBot, OAI-SearchBot, Google-Extended, ClaudeBot en PerplexityBot, en bepaal per bot of hij je teksten mag lezen voor training, voor zoekresultaten, of niet.
Bron: Frankwatching. Gecontroleerd op 15 oktober 2026.