Gratis værktøj
Blokerer du AI uden at vide det?
Mange hjemmesider blokerer AI-crawlere uden at ejeren ved det, fx via en standardindstilling i Cloudflare eller en gammel robots.txt. Vi tester 15 crawlere fra OpenAI, Anthropic, Google, Microsoft, Perplexity, Apple og flere.
To steder, du kan blokere
robots.txt er en fil, der fortæller crawlere, hvad de må. Men en firewall eller et CDN som Cloudflare kan også afvise dem, selv om robots.txt tillader dem. Testen sender en forespørgsel som hver crawler og ser, om serveren svarer normalt.
Søgning eller træning?
Nogle crawlere henter indhold til AI-svar og søgning, andre til træning af modeller. Det er helt legitimt at blokere træning. Det vigtige er, at du ikke ved et uheld blokerer dem, der viser dig i svarene.
Flere værktøjer
Et godt samarbejde starter med en samtale
Hvad skal vi bygge sammen?
Fortæl mig om din idé. Så finder vi den rigtige vej videre.