Web Crawling
Crawling er et viktig begrep når man snakker om webutvikling og søkemotoroptimalisering. Her forklarer vi hva det er og hvordan du kan tilrettelegge for at Google og Bing skal crawle nettstedet ditt enklest mulig.
Hva er web crawling?
For at søkemotorer som Google og Bing skal kunne gi brukeren søkeresultater raskt er de avhengig av å allerede ha lagret millioner av nettsider i sitt “bibliotek”. Det er fra denne databasen søkemotoren henter resultatene som vises i søkeresultatet.
For å gjøre dette crawler bots (også kalt spidere) fra Google og Bing kontinuerlig gjennom verdens nettsider for å sikre at de har oppdatert informasjon om hvilke sider som gir de beste resultatene når brukerne gjør søk.
Crawlingen skjer blant annet ved at botsene følger lenker, både eksterne backlinks og internlenker, og vurderer kvaliteten på de ulike nettsidene opp mot tematikk og ordbruk som er brukt på nettsidene.
Hvordan tilrettelegge for web crawling?
Det finnes en rekke ulike tiltak man kan gjøre for å gjøre det så enkelt som mulig for søkemotorene å lese og forstå innholdet på nettstedet. Dette er noe av det viktigste en SEO-spesialist gjør, og her er noen eksempler:
- Ha et oppdatert og riktig formatert sitemap
- Ha en robots.txt-fil som er riktig satt opp
- Ha god struktur på internlenkingen
- Kontroller indekseringen i Google Search Console og ta tak i eventuelle feilmeldinger
Ofte stilte spørsmål
Hva er crawling?
Web Crawling er “scanningen” eller informasjonsinnhentingen søkemotorene gjør for å registrere nettsider i sitt register.
Kan Google og Bing registrere alle nettsider?
Nei, det kan være tekniske begrensninger som gjør at søkemotoren ikke klarer å registrere alle sidene på ditt nettsted. Les mer i denne artikkelen for å se hva du kan gjøre for å fikse dette.
