Robots.txt

Hva er en robots.txt-fil?

Robots.txt er en tekstfil med instruksjoner til søkemotoren. Hensikten med denne filen er å styre “crawleren” til Google og Bing slik at den ikke går inn på deler av nettsiden du ikke ønsker skal bli indeksert. Denne føringen kalles “Disallow”. Men selv om du forteller søkemotoren at du ikke ønsker “crawleren” på disse sidene, er det i praksis mer en anbefaling. Du kan med andre ord ikke være sikker på at sidene ikke blir indeksert, selv om du har skrevet det inn i robots.txt-filen. I tillegg er det vanlig å legge en link til sitemap i filen, slik at du er sikker på at “crawleren” finner det.

Hvor viktig er denne filen for organisk rangering?

Et nettsted kan fint rangere uten noe innhold på robots.txt-filen, så det er vanskelig å si konkret hvor viktig den er for organisk rangering. Det er uansett et av mange verktøy du kan bruke for å styre indekseringen.

Hvordan kan jeg sjekke om min side har en robots.txt-fil?

For å sjekke om nettstedet ditt har en robots.txt-fil, skriver du først inn navnet på domenet ditt og deretter/robots.txt i slutten av URLen. Som for eksempel solidmedia.no/robots.txt.

Hva er viktigst å inkludere i din robots.txt fil?

I en robots.txt-fil kan du som sagt legge inn alle seksjoner eller sider du ikke ønsker at skal bli indeksert av søkemotoren, eller blir åpnet av nettbrukerne. Dette kan for eksempel være kontrollpanelet til CMS-et, kundeinnloggingssider eller andre områder som ikke er “åpent” for alle.

Oppsummering

Med robots.txt-filen setter du føringer for hvilke sider du ikke ønsker at søkemotorenes “crawler” skal indeksere. Selv om det i praksis er mer en anbefaling enn en garanti, er dette en måte du aktivt kan forsøke å styre indekseringen på. Dette sikrer i større grad at søkerne kommer inn på de riktige sidene på nettstedet ditt.

 

---

Ofte stilte spørsmål

Hva er en robots.txt-fil?
Robots.txt er en tekstfil med instruksjoner som brukes for å styre “crawleren” til Google og Bing, slik at den ikke går inn på deler av nettsiden du ikke ønsker at skal bli indeksert. 

Hva er viktigst å inkludere i din robots.txt-fil?
I en robots.txt-fil kan du legge inn alle seksjoner eller sider du ikke ønsker at skal bli indeksert av søkemotoren. Dette kan for eksempel være kundeinnloggingssider eller andre områder som ikke er “åpent” for alle.