Više-manje svima nam je poznato da Google ne može odmah “skenirati, pročešljati ili crawlati” svaku stranicu na određenoj web lokaciji i da indeksiranje zapravo može potrajati tjednima.

Problem nastaje kada se nova stranica na vašoj web lokaciji iz određenog razloga ne može indeksirati, a rješenje tog problema krije se u optimizaciji vlastitog crawl budgeta.

U nastavku ćemo objasniti što je to crawl budget, kako ga optimizirati i koliki je njegov utjecaj na vašu prisutnost i poziciju na tražilicama.

Što je crawl budget?

Crawl budget količina je resursa koje Google koristi kako bi indeksirao (“pretražio”) sve stranice na vašoj web lokaciji. Može se reći da je vaš crawl budget jednak broju indeksiranih stranica dnevno, no taj podatak nije u potpunosti točan jer neke stranice (ovisno o veličini) troše više resursa.
Broj stranica koje Google indeksira odnosno vaš crawl budget, ovisi o veličini vaše web stranice, o greškama s kojima se Google botovi susreću pri indeksiranju, o stopi ažuriranja web stranice te o broju linkova.

Google određuje crawl budget uspoređujući crawl rate limit i crawl demand.

• Na crawl rate limit utječe brzina učitavanja vaše stranice, te razne pogreške ili ograničenja kod indeksiranja. Odgovara na pitanja koliko brzo ili sporo se učitava vaša stranica i jesu li Google botovi naišli na pogreške prilikom indeksiranja?!
• Na crawl demand utječe popularnost vaše stranice točnije “svježina” ažuriranja i odgovara upravo na pitanje koliko je popularna vaša web lokacija te koliko su zastarjele stranice i sadržaj.

Definicija Google crawl budgeta prikazana jednostavnom jednadžbom izgledala bi otprilike ovako:

CRAWL BUDGET = CRAWL RATE LIMIT + CRAWL DEMAND

Na većinu navedenih čimbenika možemo utjecati, a u nastavku ćemo objasniti i kako.

Zašto je crawl budget važan za SEO?

Crawl budget možda nije faktor koji direktno utječe na pozicioniranje u tražilicama, ali definitivno određuje koliko će se brzo vaša stranica pojaviti u rezultatima pretraživanja. Stoga, ako Google ne indeksira vašu stranicu, hoće li se ona moći pozicionirati u tražilicama?!

Odgovor je – neće!
Zato treba uskladiti crawl budget s brzinom ažuriranja web stranice.

Jedan od razloga zbog kojih “nemate dovoljno” crawl budgeta je primjerice to što Google vašu web stranicu ne smatra dovoljno važnom, točnije sadržaj na vašoj web stranici ne smatra korisnim i relevantnim za korisnika. Najčešće je tu riječ o lošem korisničkom iskustvu kada Google “čeka” da se vaša reputacija poboljša ili da počnete objavljivati kvalitetniji sadržaj.

Uz navedene postoje i određeni tehnički problemi koji onemogućavaju Google botovima da “skeniraju” i posjete vašu web stranicu.
Sva sreća za svaki problem postoji i rješenje. U ovom slučaju to je nekoliko rješenja koja će Googleu pomoći pri indeksiranju vaših web stranica i povećati crawl budget, a evo i popisa:

1. Uploadajte sitemap u Google Search Consolu

Sitemap je dokument koji sadrži sve stranice na vašoj web lokaciji koje želite indeksirati, točnije sitemap je samo prijedlog Googleu koje da stranice indeksira, ali Google na kraju odlučuje koje će to stranice biti. Pomoću sitemap datoteka Google lakše shvaća koliko stranica i podstranica ima vaša web lokacija i koje od stranica su vam važne i želite da se indeksiraju.

Google povezivanje sitemapa s GSC-om smatra se dobrim korakom u optimizaciji crawl budgeta, ali to nije obavezno.

2. Riješite probleme s indeksiranjem vaše web stranice

Problemi s indeksiranjem pojavljuju se najčešće kada Google želi posjetiti određenu web adresu, smatra da je treba indeksirati, ali joj ne može pristupiti.

Postoje dva slučaja kada se Googleu daju krivi signali i kada se nepotrebno troši crawl budget.

• Prvi slučaj odnosi se na stranice koje ne želite ili se ne smiju indeksirati, a Googleu je pogreškom poslan zahtjev za indeksiranje. U tom slučaju trebate poništiti zahtjev za prijavu te ukloniti navedenu stranicu sa svoje web lokacije ili ukloniti sve interne linkove koji vode do te stranice.
• Drugi slučaj odnosi se na stranice koje je potrebno i koje želite indeksirati, ali se zahtjev iz određenog razloga odbija. Tada treba provjeriti što blokira pristup (pogreške u preusmjeravanju) i riješiti problem u skladu s time.

Najlakši i po nama najbolji način za rješavanje navedenih problema jest pomoću GSC-a.
U odjeljku Coverage možete pronaći popis svih pogrešaka, vrste pogrešaka te broj stranica koje je bilo kakav problem pogodio.

3. Blokirajte (“sakrijte”) dijelove svoje web stranice koji se ne smiju indeksirati

Ako imate dijelove na svojoj web stranici koji ne trebaju biti na Googleu, blokirajte ih pomoću robots.txt. datoteke. Najčešće se ovo odnosi na veće web stranice, točnije web shopove gdje možete koristiti (implementirati) filtere da budete sigurni što dopuštate Googleu “skenirati”.
Bez obzira na robots.txt. datoteku, Google i dalje može prikazivati “blokirane” stranice, u tom slučaju trebate u kodu koristiti tagove #noindex i #nofollow.

Napomena: Za ovaj postupak trebate razumijeti ono što radite, kontaktirati svoje developere ili angažirati stručne osobe.

4. Uklonite (“sakrijte”) nepotrebne resurse

Dobar dio svog crawl budgeta iliti proračuna za indeksiranje možete uštedjeti ako Googleu postavite uputu da ignorira nevažne resurse poput fotografija, videozapisa ili raznih GIF-ova. Spomenuti sadržaj zauzima puno memorije, a najčešće služi samo za zabavu korisnika, ne i za razumijevanje sadržaja vaše web stranice.

5. Smanjite broj redirekcija (preusmjeravanja)

Ako imate prevelik broj 301 i 302 redirekcija, Google će u određenom trenutku prestati pratiti sva preusmjeravanja, a odredišna stranica (landing page) možda neće biti indeksirana.

Kada na primjer preusmjeravate “non-www” na “www” i “http” na “https”, na oba linka imate dvije redirekcije, zato je važno da vaš webmaster napravi za sve to jednu redirekciju.

Isto tako ako Google botovi naiđu na puno 5xx pogrešaka servera prilikom indeksiranja, to vam može smanjiti ograničenje brzine indeksiranja, a samim time i crawl budget.

Ako Google botovi primjete veliku količinu statusnih kodova koji nisu 200, trošit će se puno vremena i resursa indeksirajući stranice koje ste mogli izbrisati ili preusmjeriti.

Da biste što bolje optimizirali crawl budget trebate izbjegavati:

• Preusmjerene URL-ove
• Non-canonical verzije stranice
• URL-ove s statusnim kodom 404

6. Smanjite probleme s dupliciranim sadržajem

Duplicirani sadržaj znači da imate dvije ili više stranica s istim ili gotovo istim sadržajem. Takav se sadržaj pojavljuje zbog dinamičkih URL-ova, ne postavljenih redirekcija, nepravilnog preusmjeravanja “non- www” verzije na “www” ili s “http” na “https” verziju.
Također zbog dupliciranog sadržaja trošite dvostruko više svog crawl budgeta nego što biste trebali. Zato se pobrinite za duplicirani sadržaj, ali obratite pozornost i na to da je sadržaj koji nudite jedinstven, kvalitetan i relevantan.

Moguće probleme s dupliciranim sadržajem možete spriječiti i pomoću canonical taga putem kojeg pretraživačima ukazujete da je određeni sadržaj zapravo kopija neke stranice, odnosno dajete do znanja Googleu da su stranice slične “kao jaje jajetu”. 😉

Pomoću canonical taga možete objediniti duplicirane URL-ove. Duplicirani sadržaj odnosi se na recimo jednu stranicu kojoj možete pristupiti s različitih URL-ova ili različite stranice sa sličnim sadržajem (na primjer mobilna i desktop verzija iste stranice) Google vidi kao dupliciranu verziju iste stranice.
Zato Googleu putem canonical taga trebate reći koja stranica je duplikat, a koju zapravo želite da njegovi botovi indeksiraju.
Ako pak na tim “sličnim/istim stranicama” imate sadržaj koji je različit i željeli biste da je indeksiran, onda se morate pobrinuti da se stranice dovoljno razlikuju prema sadržaju.

Jedno od rješenja? – Upotrijebite datoteku robots.txt da biste tražilicama rekli što ne smiju indeksirati!

7. Optimizirajte strukturu web stranice

Interlinking nije možda izravno povezan s vašim crawl budgetom, ali Google zato daje veću važnost stranicama koje su izravno povezane s vašom početnom stranicom te ih češće indeksira.

Općenito dobar SEO ali i UX savjet jest sve važnije stranice (dijelove stranice) držati najviše na 3 klika udaljenosti od home pagea.

Većina vas je dosad vjerojatno mislila da je SEO samo vrijedan sadržaj, ključne riječi, građenje linkova i stranice koje “lijepo izgledaju”.

Iz ovog teksta mogli ste saznati da “lijepa stranica” koju najčešće klijenti žele, u svojoj pozadini, točnije u svom kodu, može poboljšati puno karakteristika kako bi, osim što je lijepa bila i vrijedna korisniku.

Na početku teksta možda niste ni znali što je crawl budget ili možda niste shvaćali njegovu važnost, ali on je bio i bit će važna stvar svakom SEO stručnjaku.

Primjena prethodno navedenih savjeta za optimizaciju crawl budgeta, ne samo da će povećati vaš crawl budget, nego će povećati i promet na vašoj web stranici, a samim time i prihod.

Vjerujemo da će vam ovi savjeti pomoći da optimizirate svoj crawl budget, svoju web stranicu i svoje SEO karakteristike.

Ako ipak ne znate sami, znate barem da se najbolji SEO stručnjaci kriju u našoj agenciji. 😉