Hva er crawling?
Crawling, på norsk gjennomsøking, er prosessen der søkemotorer sender ut automatiske programmer, kalt crawlere, roboter eller spidere, for å besøke nettsider. Roboten leser innholdet på siden og følger lenkene videre til nye sider. Det Google finner gjennom crawling, kan deretter vurderes for indeksering og vises i søkeresultatene.
Googles robot heter Googlebot. Bing, AI-selskaper og SEO-verktøy har sine egne roboter, som fungerer etter samme prinsipp.
Slik fungerer crawling
Oppdagelse: roboten finner URL-er gjennom lenker, sitemaps og tidligere besøk.
Henting: roboten laster ned siden, slik en nettleser ville gjort.
Gjengivelse: Google kjører JavaScript for å se siden slik brukeren ser den.
Videre lenker: nye lenker legges i køen for senere besøk.
Etter crawlingen vurderer Google om siden skal tas med i indeksen. Crawling og indeksering er altså to ulike steg. En side kan være gjennomsøkt uten å bli indeksert.
Hva er crawlbudsjett?
Crawlbudsjett er hvor mye tid og ressurser Google bruker på å gjennomsøke nettstedet ditt. For de fleste små og mellomstore nettsteder er dette sjelden et problem. For store nettbutikker og nettsteder med mange tusen URL-er kan det derimot bli en flaskehals, fordi roboten bruker tiden på uviktige sider i stedet for de viktige.
Typiske tidstyver er filtre og sortering som lager uendelig mange URL-varianter, lange kjeder med videresendinger og mange sider med tynt eller duplisert innhold.
Slik gjør du nettstedet lett å gjennomsøke
Sørg for god intern lenking, slik at alle viktige sider kan nås via lenker.
Send inn en oppdatert sitemap i Google Search Console.
Bruk robots.txt til å holde roboter unna sider uten verdi i søk.
Unngå at viktig innhold bare finnes bak knapper eller skript som roboter ikke kan følge.
Hold serveren rask og stabil. Trege svar og feil gjør at roboten besøker sjeldnere.
Rydd opp i ødelagte lenker og lange kjeder med videresendinger.
Du kan følge med på crawlingen i rapporten om gjennomsøkingsstatistikk i Google Search Console, eller ved å analysere serverlogger. Et SEO-verktøy som crawler nettstedet ditt slik Google gjør, avslører raskt sider som er vanskelige å nå, lenker som går til feilsider og andre tekniske hindringer.
Crawling er grunnmuren i teknisk SEO. Hvis søkemotoren ikke finner og leser sidene dine, spiller det ingen rolle hvor godt innholdet er.
Relaterte begreper
Indeksering: steget etter crawling, der Google lagrer siden i indeksen.
Robots.txt: filen som styrer hva roboter får gjennomsøke.
Sitemap: en liste over sider som hjelper roboten å finne frem.
Canonical: forteller roboten hvilken versjon av en side som er den riktige.
Se alle begrepene i ordboken.