robots.txt details

saved: size: 402 kb md5 checksum: ea339cc66c83fed1b098778390a3406e

websites using this robots.txt

content


User-agent: *
Crawl-delay: 10
# kommentert ut 17.10.23 Disallow: *.pdf
Disallow: /media-categories/  # lagt til 12.10.2023
Disallow: https://www.brreg.no/tjenesten-midlertidig-utilgjengelig/ # lagt til 22.01.2024
Disallow: https://www.brreg.no/en/the-service-is-temoporarily-unavailable/ # lagt til 22.01.2024
Disallow: https://www.brreg.no/nn/tenesta-er-mellombels-utilgjengeleg/ # lagt til 22.01.2024