Vad är crawl budget och varför spelar det roll?
Google har inte oändliga resurser. Varje dag skickar sökmotorn ut sina spindlar, så kallade Googlebots, för att besöka och analysera webbsidor. Men din sajt får bara en viss mängd uppmärksamhet. Den mängden kallas crawl budget.
Tänk på det som en budget för hembesök. Google har bestämt att din sajt förtjänar exempelvis 500 besök per dag. Om du har 2000 sidor betyder det att det tar fyra dagar innan alla sidor hunnit besökas en gång. Har du dessutom sidor som slösar bort dessa besök på innehåll utan värde, blir situationen ännu värre.
För mindre sajter med några hundra sidor är crawl budget sällan ett problem. Men driver du en e-handel med tusentals produkter, en nyhetssajt med artikelarkiv eller en stor företagssajt med många undersidor? Då kan crawl budget vara anledningen till att ditt nya innehåll inte dyker upp i sökresultaten.
Så fungerar Googles crawling i praktiken
Googlebot bestämmer hur ofta och hur djupt den ska crawla din sajt baserat på två faktorer: crawl rate limit och crawl demand.
Crawl rate limit handlar om hur snabbt Google kan hämta sidor utan att överbelasta din server. Om din server svarar snabbt och stabilt får du en högre gräns. Har du en långsam hosting eller återkommande serverfel sänker Google takten för att inte orsaka problem.
Crawl demand avgör hur intresserad Google är av ditt innehåll. Populära sidor som får många länkar och mycket trafik crawlas oftare. Sidor som aldrig uppdateras och inte har några inkommande länkar hamnar längst ner i prioriteringslistan.
Det här skapar en ond cirkel för vissa sajter. Nya produktsidor får inga länkar ännu, Google prioriterar dem lågt, de indexeras sent, och under tiden kan konkurrenters liknande sidor redan ha etablerat sig i sökresultaten.
Vanliga orsaker till slösad crawl budget
Duplicerat innehåll och parameterkaos
En klassiker inom e-handel: samma produkt går att nå via tio olika URLer. Med filter, sorteringsordningar och sessionparametrar kan en katalog på 500 produkter plötsligt generera 50 000 URLer. Googlebot besöker dem alla och slösar värdefull tid på att analysera samma innehåll om och om igen.
Lösningen är att använda canonical-taggar konsekvent och blockera onödiga parametrar i Google Search Console. Du kan också använda robots.txt för att stänga ute hela filterkombinationer, men var försiktig så du inte blockerar något viktigt.
Faceted navigation utan kontroll
Filter för storlek, färg, pris och varumärke skapar ofta en explosion av URLer. Om varje kombination genererar en unik URL kan din sajt ha miljontals sidor som egentligen visar samma eller nästan samma innehåll.
Här gäller det att tänka igenom vilka filterkombinationer som faktiskt har sökvärde. Kanske vill folk söka på "blå sneakers storlek 42", men ingen söker på "blå sneakers sorterade efter nyast först". Den första kombinationen kan få en indexerbar URL, den andra bör blockeras eller använda noindex.
Soft 404 och trasiga sidor
En soft 404 är en sida som visar ett felmeddelande men returnerar statuskod 200 istället för 404. Google måste ladda hela sidan för att upptäcka att den saknar innehåll. Det är slöseri.
Gå igenom rapporten för crawl-statistik och sidindexering i Search Console regelbundet. Leta efter mönster: kommer samma typ av fel från samma del av sajten? Ofta går problemen att lösa genom att fixa en mall eller justera hur ditt CMS hanterar borttagna produkter.
Oändliga loopar och kalenderfällor
Evenemangskalendrar och bokningssystem kan skapa oändliga serier av URLer. Varje månad genererar en ny sida, och Google kan i teorin klicka sig fram till år 2150. Det här är en crawl budget-katastrof.
Begränsa hur långt fram och bakåt kalendern genererar faktiska URLer. Använd JavaScript för att ladda framtida datum dynamiskt istället för att skapa nya URLer.
Konkreta steg för att optimera din crawl budget
Börja med att granska din sajts arkitektur. Hur många klick krävs för att nå dina viktigaste sidor från startsidan? Google värderar sidor högre ju närmare de ligger startsidan i länkstrukturen. Om dina nyaste produkter ligger begravda fem nivåer ner, flytta upp dem.
Se över din interna länkning. Varje intern länk är en signal till Google om vad som är viktigt. Länka aktivt till sidor du vill ha indexerade snabbt. Ta bort eller noindex-tagga gamla kampanjsidor, utgångna erbjudanden och annat som inte längre är relevant.
Uppdatera din sitemap så att den bara innehåller sidor du faktiskt vill ha indexerade. En sitemap med 10 000 URLer där hälften returnerar 404 eller är duplicerade gör mer skada än nytta. Google tappar förtroendet för din sitemap och kan börja ignorera den.
Investera i snabbare hosting och optimera dina sidladdningstider. Om varje sida tar tre sekunder att ladda hinner Googlebot med färre sidor per session. Halverar du laddningstiden kan du teoretiskt dubbla antalet crawlade sidor.
Använd Search Consoles URL-inspektionsverktyg för att begära indexering av särskilt viktiga nya sidor. Det är ingen garanti, men det skickar en signal om att sidan finns och är redo.
Mät och följ upp
I Search Console hittar du rapporten "Crawl-statistik" under Inställningar. Där ser du hur många förfrågningar Google gör per dag, genomsnittlig svarstid och hur din crawl-aktivitet förändras över tid.
En plötslig nedgång i crawl-aktivitet kan tyda på serverproblem eller att Google hittat kvalitetsproblem på sajten. En stadig ökning är ofta ett tecken på att sajten växer och att Google uppfattar den som värdefull.
Kolla också rapporten "Sidindexering" regelbundet. Där ser du exakt vilka sidor som är indexerade, vilka som inte är det, och varför. Det är din guide till vad som behöver åtgärdas.
Ta kontroll över din indexering
Att förstå crawl budget handlar inte om att jaga tekniska detaljer för sakens skull. Det handlar om att se till att Google faktiskt ser och indexerar ditt bästa innehåll. Varje slösad crawl på en tom parametersida är en missad chans att visa upp en sida som faktiskt kunde generera trafik och affärer.
Gå igenom din sajt med nya ögon. Hur ser det ut från Googlebots perspektiv? Vilka vägar leder till återvändsgränder, duplicerat innehåll eller trasiga sidor? Åtgärda dem systematiskt, börja med de största problemen, och följ upp resultatet i Search Console.
Din crawl budget är begränsad. Se till att varje förfrågan räknas.