Tenk deg at du driver en nettbutikk med 500 produkter. Du har brukt måneder på produktbeskrivelser, bilder og priser. Men når du søker etter produktene dine på Google, dukker ingen av dem opp. Problemet? Google har aldri funnet sidene dine. Uten crawling og indeksering er nettsiden din usynlig for søkemotorene, uansett hvor godt innholdet er.
Hva er crawling og indeksering?
Søkemotorer som Google bruker roboter, ofte kalt «spiders» eller «crawlere», som følger lenker fra side til side på nettet. Denne prosessen kalles crawling. Når crawleren finner en ny side, leser den innholdet og lagrer informasjonen i en enorm database. Det er indeksering. Først når en side er indeksert, kan den vises i søkeresultatene.
Prosessen fungerer som en kjede: crawleren oppdager siden din via en lenke, analyserer innholdet, og legger det til i indeksen. Hvis ett av leddene brytes, stopper alt. En side som ikke crawles, blir aldri indeksert. En side som ikke indekseres, vises aldri i Google. For å forstå hele bildet kan du lese mer om hvordan søkemotorer og Google fungerer.
Nettstedstruktur og interne lenker styrer crawlerne
Crawlere følger lenker. Det betyr at sidens plassering i nettstedstrukturen din avgjør hvor lett den blir funnet. En side som ligger fire klikk fra forsiden, blir crawlet sjeldnere enn en side som ligger ett klikk unna. Flat struktur med tydelig hierarki gir crawlerne rask tilgang til de viktigste sidene dine.
Interne lenker er verktøyet du bruker for å styre dette. Når du lenker strategisk mellom relaterte sider, forteller du crawlerne hvilke sider som hører sammen og hvilke som er viktigst. En produktside som lenkes til fra kategorisiden, blogginnlegg og relaterte produkter, får langt mer oppmerksomhet fra crawlerne enn en side som bare finnes i et dypt undermeny-nivå. Lær hvordan du kan bruke interne lenker for bedre SEO.
Robots.txt: Trafikkreglene for crawlere
Robots.txt er en tekstfil som ligger i roten av domenet ditt. Den forteller søkemotorenes crawlere hvilke deler av nettstedet de har lov til å besøke, og hvilke de skal holde seg unna. Du kan blokkere hele mapper, enkeltfiler eller spesifikke URL-mønstre.
Typiske ting du blokkerer er admin-sider, søkeresultatsider internt på nettstedet, og duplisert innhold som ikke skal vises i Google. Men robots.txt krever presisjon. En feil her kan gjøre viktige sider usynlige for søkemotorene uten at du merker det.
Sitemaps gir crawlerne et kart
Et XML-sitemap er en oversikt over alle sidene du vil at søkemotorene skal kjenne til. Tenk på det som en innholdsfortegnelse for crawlerne. Mens crawlere finner sider ved å følge lenker, gir sitemapet dem en komplett liste slik at ingen viktige sider faller mellom stolene.
Sitemaps er spesielt nyttige for store nettsteder, nye nettsteder med få innkommende lenker, og sider som ikke er godt lenket internt. Du sender sitemapet til Google via Search Console, og crawlerne bruker det som utgangspunkt for å finne sidene dine. Vil du lage ditt eget? Se guiden om hvordan du lager et XML-sitemap.
Crawl budget: Google har begrenset tid
Google crawler ikke hele nettstedet ditt hver dag. Hvert nettsted har et crawl budget, altså et begrenset antall sider crawleren besøker per periode. For små nettsteder med noen titalls sider er dette sjelden et problem. Men for nettbutikker med tusenvis av produktsider, filtervarianter og paginering blir det kritisk.
Når crawl budsjettet brukes opp på uviktige sider som filtreringsvarianter, sorteringsparametere eller utdaterte kampanjesider, får de viktige sidene dine mindre oppmerksomhet. Resultatet er at nye produkter eller oppdatert innhold bruker lengre tid på å bli indeksert.
Du styrer crawl budsjettet med to hovedgrep: robots.txt blokkerer crawlerne fra sider som ikke trenger å indekseres, og strategisk intern lenking leder crawlerne mot sidene som faktisk betyr noe for trafikken din.
Når crawling og indeksering feiler: et eksempel fra virkeligheten
En norsk nettbutikk mistet plutselig store deler av sin organiske trafikk. Salget falt merkbart over noen uker, og produktsidene forsvant gradvis fra Google. Etter feilsøking viste det seg at en oppdatering av robots.txt ved et uhell blokkerte hele produktmappen. Crawlerne fulgte instruksjonene og sluttet å besøke produktsidene. Etter hvert fjernet Google dem fra indeksen.
Løsningen var todelt. Først ble robots.txt rettet slik at produktsidene igjen var tilgjengelige for crawlerne. Deretter ble et oppdatert sitemap sendt inn via Google Search Console for å be Google om å crawle sidene på nytt. I løpet av noen uker var produktsidene tilbake i søkeresultatene, og trafikken hentet seg inn.
Eksempelet viser hvor direkte koblingen er mellom crawling, indeksering og inntekt. En enkel konfigurasjonsfeil i robots.txt kostet butikken uker med tapte salg.
Sjekkliste: Sørg for at sidene dine blir crawlet og indeksert
- Kontroller at robots.txt ikke blokkerer viktige sider. Les guiden om robots.txt og noindex for å konfigurere riktig.
- Opprett og send inn et XML-sitemap via Google Search Console.
- Bygg en flat og logisk nettstedstruktur der viktige sider er maks to til tre klikk fra forsiden.
- Bruk interne lenker bevisst for å lede crawlere til prioriterte sider.
- Unngå å kaste bort crawl budget på filtersider, sorteringsparametere og duplikatinnhold.
- Sjekk regelmessig «Dekning»-rapporten i Google Search Console for å fange opp indekseringsfeil.
Lær å ta kontroll over crawling og indeksering
Forskjellen mellom et nettsted som vokser organisk og et som står stille, handler ofte om disse tekniske grunnsteinene. I SEO-kurset lærer du hvordan du konfigurerer robots.txt uten å blokkere viktige sider, hvordan du bygger en intern lenkestruktur som prioriterer riktig for crawlerne, og hvordan du bruker Google Search Console til å overvåke og feilsøke indeksering i praksis.
