Hva er robots.txt?
Robots.txt er en enkel tekstfil som ligger i roten av nettstedet, for eksempel eksempel.no/robots.txt. Den gir instruksjoner til søkemotorer og andre roboter om hvilke deler av nettstedet de får gjennomsøke, og hvilke de skal holde seg unna. Filen følger en etablert standard som de store søkemotorene respekterer.
Robots.txt er en anmodning, ikke en sperre. Seriøse roboter som Googlebot følger reglene, men filen hindrer ikke noen i å besøke sidene. Sensitivt innhold må derfor beskyttes på andre måter, for eksempel med innlogging.
Slik ser en robots.txt ut
En enkel fil kan se slik ut:
User-agent: * (gjelder alle roboter)
Disallow: /handlekurv/ (ikke gjennomsøk handlekurven)
Disallow: /*?sort= (ikke gjennomsøk sorterte varianter)
Sitemap: https://www.eksempel.no/sitemap.xml
User-agent angir hvilken robot regelen gjelder for, Disallow angir hva som skal unngås, og Allow kan brukes til å åpne for unntak. Linjen med sitemap viser robotene veien til sitemapen din.
Robots.txt blokkerer crawling, ikke indeksering
Dette er den vanligste misforståelsen. Hvis du blokkerer en side i robots.txt, får ikke Google lese den. Men siden kan likevel bli indeksert og vist i søk hvis andre sider lenker til den, da ofte uten beskrivelse. Vil du holde en side ute av søkeresultatene, må du bruke noindex, og da må Google få lov til å gjennomsøke siden for å se den instruksjonen.
Robots.txt og AI-crawlere
Mange AI-selskaper har egne roboter som samler innhold, og de fleste store aktørene oppgir at de respekterer robots.txt. Du kan derfor velge å blokkere eller tillate enkelte AI-roboter ved å angi navnet deres som user-agent.
Valget har konsekvenser. Blokkerer du alle AI-roboter, kan det redusere sjansen for at innholdet ditt brukes og siteres i AI-svar. Mange bedrifter som ønsker synlighet i AI-søk, velger derfor å tillate dem. Et nyere supplement er llms.txt, et forslag til en fil som skal hjelpe språkmodeller å forstå nettstedet.
Vanlige feil
Et Disallow: / som ligger igjen fra utviklingsmiljøet og stenger hele nettstedet.
Blokkering av CSS- og JavaScript-filer som Google trenger for å vise siden riktig.
Bruk av robots.txt for å skjule sider fra søk, i stedet for noindex.
En feil i denne lille filen kan påvirke hele nettstedet, så sjekk den ved hver lansering. Les mer om teknisk SEO.
Relaterte begreper
Crawling: robots.txt styrer hva søkemotorer får gjennomsøke.
llms.txt: et nyere forslag til fil rettet mot språkmodeller.
Sitemap: robots.txt kan vise robotene veien til sitemapen.
Indeksering: styres med noindex, ikke med robots.txt.
Se alle begrepene i ordboken.