Googlebot

Slik crawler Googles robot internett

Metoden for å “scanne” gjennom millioner av nettsider heter web crawling, og dette kan du lese mer om her.

For at Google skal klare å gi deg de beste resultatene når du bruker søkemotoren er Google avhengig av å ha et stort bibliotek av nettsider. Fra dette biblioteket hentes nettsidene du ser i søkeresultatet. Systemet som navigerer seg gjennom nettside for nettside og lagrer informasjon kalles ofte for “bot”, “robot” eller “spider”.

En avansert algoritme bestemmer hvordan Googleboten skal fungere, og det er mye som er hemmelig omkring dette. Men Google har blant annet sagt at de har en bot for nettsider som primært er laget for desktop-brukere, og en som skal besøke mobilvennlige nettsider. Dette er fordi opplevelsen og funksjonaliteten til en nettside skiller seg mye om man bruker en datamaskin eller en mobiltelefon.

Uansett er prinsippet at Googleboten følger lenker – både eksternlenker/backlinks (fra nettsted til nettsted) og internlenker (lenker fra side til side inne på samme nettsted).

Samtidig bruker algoritmen SEO-teknikerens hjelpemidler som sitemap og robots.txt til å forstå de ulike nettstedene den besøker.

Når Googleboten har kommet inn på en nettside blir den “rendret”, slik at systemet kan forstå hvordan et menneske vil oppleve nettsiden. Dette gjelder både selve tekstinnholdet og visuelle elementer.

 

Hvor mange Googlebots finnes det?

Det kan være lett å se for seg at det finnes én stor datamaskin i et mørkt rom hos Google hvor Googleboten jobber fra. Sannheten er at roboten jobber fra flere tusen servere og datamaskiner rundt om i verden. Dette gjøres for å begrense serverbelastningen til de ulike nettstedene. 

 

---

 

Ofte stilte spørsmål:

 

Hva er Googlebot?

Googles system for å finne, forstå og indeksere nettsider kalles ofte for “Googlebot”.

 

Kan man påvirke Googleboten?

Ved hjelp av verktøy som for eksempel Google Search Console kan man gi Google instrukser og ønsker om hvordan Googleboten skal fungere på nettstedet sitt.