Kako optimizirati crawl budget za bolju poziciju na tražilicama?

 

Više-manje svima nam je poznato da Google ne može odmah “skenirati, pročešljati ili crawlati” svaku stranicu na određenoj web lokaciji i da indeksiranje zapravo može potrajati tjednima.

Problem nastaje kada se nova stranica na vašoj web lokaciji iz određenog razloga ne može indeksirati, a rješenje tog problema krije se u optimizaciji vlastitog crawl budgeta.

U nastavku ćemo objasniti što je to crawl budget, kako ga optimizirati i koliki je njegov utjecaj na vašu prisutnost i poziciju na tražilicama.

Što je crawl budget?

Crawl budget količina je resursa koje Google koristi kako bi indeksirao (“pretražio”) sve stranice na vašoj web lokaciji. Može se reći da je vaš crawl budget jednak broju indeksiranih stranica dnevno, no taj podatak nije u potpunosti točan jer neke stranice (ovisno o veličini) troše više resursa.
Broj stranica koje Google indeksira odnosno vaš crawl budget, ovisi o veličini vaše web stranice, o greškama s kojima se Google botovi susreću pri indeksiranju, o stopi ažuriranja web stranice te o broju linkova.

Google određuje crawl budget uspoređujući crawl rate limit i crawl demand.

  • Na crawl rate limit utječe brzina učitavanja vaše stranice, te razne pogreške ili ograničenja kod indeksiranja. Odgovara na pitanja koliko brzo ili sporo se učitava vaša stranica i jesu li Google botovi naišli na pogreške prilikom indeksiranja?!
  • Na crawl demand utječe popularnost vaše stranice točnije “svježina” ažuriranja i odgovara upravo na pitanje koliko je popularna vaša web lokacija te koliko su zastarjele stranice i sadržaj.

Definicija Google crawl budgeta prikazana jednostavnom jednadžbom izgledala bi otprilike ovako:

CRAWL BUDGET = CRAWL RATE LIMIT + CRAWL DEMAND

Na većinu navedenih čimbenika možemo utjecati, a u nastavku ćemo objasniti i kako.

Zašto je crawl budget važan za SEO?

Crawl budget možda nije faktor koji direktno utječe na pozicioniranje u tražilicama, ali definitivno određuje koliko će se brzo vaša stranica pojaviti u rezultatima pretraživanja. Stoga, ako Google ne indeksira vašu stranicu, hoće li se ona moći pozicionirati u tražilicama?!

Odgovor je – neće!
Zato treba uskladiti crawl budget s brzinom ažuriranja web stranice.

Jedan od razloga zbog kojih “nemate dovoljno” crawl budgeta je primjerice to što Google vašu web stranicu ne smatra dovoljno važnom, točnije sadržaj na vašoj web stranici ne smatra korisnim i relevantnim za korisnika. Najčešće je tu riječ o lošem korisničkom iskustvu kada Google “čeka” da se vaša reputacija poboljša ili da počnete objavljivati kvalitetniji sadržaj.

Uz navedene postoje i određeni tehnički problemi koji onemogućavaju Google botovima da “skeniraju” i posjete vašu web stranicu.
Sva sreća za svaki problem postoji i rješenje. U ovom slučaju to je nekoliko rješenja koja će Googleu pomoći pri indeksiranju vaših web stranica i povećati crawl budget, a evo i popisa:

1. Uploadajte sitemap u Google Search Consolu

Sitemap je dokument koji sadrži sve stranice na vašoj web lokaciji koje želite indeksirati, točnije sitemap je samo prijedlog Googleu koje da stranice indeksira, ali Google na kraju odlučuje koje će to stranice biti. Pomoću sitemap datoteka Google lakše shvaća koliko stranica i podstranica ima vaša web lokacija i koje od stranica su vam važne i želite da se indeksiraju.

Google povezivanje sitemapa s GSC-om smatra se dobrim korakom u optimizaciji crawl budgeta, ali to nije obavezno.

2. Riješite probleme s indeksiranjem vaše web stranice

Problemi s indeksiranjem pojavljuju se najčešće kada Google želi posjetiti određenu web adresu, smatra da je treba indeksirati, ali joj ne može pristupiti.

Postoje dva slučaja kada se Googleu daju krivi signali i kada se nepotrebno troši crawl budget.

  • Prvi slučaj odnosi se na stranice koje ne želite ili se ne smiju indeksirati, a Googleu je pogreškom poslan zahtjev za indeksiranje. U tom slučaju trebate poništiti zahtjev za prijavu te ukloniti navedenu stranicu sa svoje web lokacije ili ukloniti sve interne linkove koji vode do te stranice.
  • Drugi slučaj odnosi se na stranice koje je potrebno i koje želite indeksirati, ali se zahtjev iz određenog razloga odbija. Tada treba provjeriti što blokira pristup (pogreške u preusmjeravanju) i riješiti problem u skladu s time.

Najlakši i po nama najbolji način za rješavanje navedenih problema jest pomoću GSC-a.
U odjeljku Coverage možete pronaći popis svih pogrešaka, vrste pogrešaka te broj stranica koje je bilo kakav problem pogodio.

 

3. Blokirajte (“sakrijte”) dijelove svoje web stranice koji se ne smiju indeksirati

Ako imate dijelove na svojoj web stranici koji ne trebaju biti na Googleu, blokirajte ih pomoću robots.txt. datoteke. Najčešće se ovo odnosi na veće web stranice, točnije web shopove gdje možete koristiti (implementirati) filtere da budete sigurni što dopuštate Googleu “skenirati”.
Bez obzira na robots.txt. datoteku, Google i dalje može prikazivati “blokirane” stranice, u tom slučaju trebate u kodu koristiti tagove #noindex i #nofollow.

Napomena: Za ovaj postupak trebate razumijeti ono što radite, kontaktirati svoje developere ili angažirati stručne osobe.

4. Uklonite (“sakrijte”) nepotrebne resurse

Dobar dio svog crawl budgeta iliti proračuna za indeksiranje možete uštedjeti ako Googleu postavite uputu da ignorira nevažne resurse poput fotografija, videozapisa ili raznih GIF-ova. Spomenuti sadržaj zauzima puno memorije, a najčešće služi samo za zabavu korisnika, ne i za razumijevanje sadržaja vaše web stranice.

5. Smanjite broj redirekcija (preusmjeravanja)

Ako imate prevelik broj 301 i 302 redirekcija, Google će u određenom trenutku prestati pratiti sva preusmjeravanja, a odredišna stranica (landing page) možda neće biti indeksirana.

Kada na primjer preusmjeravate “non-www” na “www” i “http” na “https”, na oba linka imate dvije redirekcije, zato je važno da vaš webmaster napravi za sve to jednu redirekciju.

Isto tako ako Google botovi naiđu na puno 5xx pogrešaka servera prilikom indeksiranja, to vam može smanjiti ograničenje brzine indeksiranja, a samim time i crawl budget.

Ako Google botovi primjete veliku količinu statusnih kodova koji nisu 200, trošit će se puno vremena i resursa indeksirajući stranice koje ste mogli izbrisati ili preusmjeriti.

Da biste što bolje optimizirali crawl budget trebate izbjegavati:

  • Preusmjerene URL-ove
  • Non-canonical verzije stranice
  • URL-ove s statusnim kodom 404

6. Smanjite probleme s dupliciranim sadržajem

Duplicirani sadržaj znači da imate dvije ili više stranica s istim ili gotovo istim sadržajem. Takav se sadržaj pojavljuje zbog dinamičkih URL-ova, ne postavljenih redirekcija, nepravilnog preusmjeravanja “non- www” verzije na “www” ili s “http” na “https” verziju.
Također zbog dupliciranog sadržaja trošite dvostruko više svog crawl budgeta nego što biste trebali. Zato se pobrinite za duplicirani sadržaj, ali obratite pozornost i na to da je sadržaj koji nudite jedinstven, kvalitetan i relevantan.

Moguće probleme s dupliciranim sadržajem možete spriječiti i pomoću canonical taga putem kojeg pretraživačima ukazujete da je određeni sadržaj zapravo kopija neke stranice, odnosno dajete do znanja Googleu da su stranice slične “kao jaje jajetu”. 😉

Pomoću canonical taga možete objediniti duplicirane URL-ove. Duplicirani sadržaj odnosi se na recimo jednu stranicu kojoj možete pristupiti s različitih URL-ova ili različite stranice sa sličnim sadržajem (na primjer mobilna i desktop verzija iste stranice) Google vidi kao dupliciranu verziju iste stranice.
Zato Googleu putem canonical taga trebate reći koja stranica je duplikat, a koju zapravo želite da njegovi botovi indeksiraju.
Ako pak na tim “sličnim/istim stranicama” imate sadržaj koji je različit i željeli biste da je indeksiran, onda se morate pobrinuti da se stranice dovoljno razlikuju prema sadržaju.

Jedno od rješenja? – Upotrijebite datoteku robots.txt da biste tražilicama rekli što ne smiju indeksirati!

7. Optimizirajte strukturu web stranice

Interlinking nije možda izravno povezan s vašim crawl budgetom, ali Google zato daje veću važnost stranicama koje su izravno povezane s vašom početnom stranicom te ih češće indeksira.

Općenito dobar SEO ali i UX savjet jest sve važnije stranice (dijelove stranice) držati najviše na 3 klika udaljenosti od home pagea.

Većina vas je dosad vjerojatno mislila da je SEO samo vrijedan sadržaj, ključne riječi, građenje linkova i stranice koje “lijepo izgledaju”.

Iz ovog teksta mogli ste saznati da “lijepa stranica” koju najčešće klijenti žele, u svojoj pozadini, točnije u svom kodu, može poboljšati puno karakteristika kako bi, osim što je lijepa bila i vrijedna korisniku.

Na početku teksta možda niste ni znali što je crawl budget ili možda niste shvaćali njegovu važnost, ali on je bio i bit će važna stvar svakom SEO stručnjaku.

Primjena prethodno navedenih savjeta za optimizaciju crawl budgeta, ne samo da će povećati vaš crawl budget, nego će povećati i promet na vašoj web stranici, a samim time i prihod.

Vjerujemo da će vam ovi savjeti pomoći da optimizirate svoj crawl budget, svoju web stranicu i svoje SEO karakteristike.

Ako ipak ne znate sami, znate barem da se najbolji SEO stručnjaci kriju u našoj agenciji. 😉

 

 


 

Pročitajte još

Što je SEO optimizacija?

Savjeti

Što je SEO optimizacija?

SEO (Search Engine Optimization) je proces optimizacije web stranica za pretraživače kako bi se povećala količina i kvaliteta organskog (neplaćenog) prometa. Cilj je da stranica bude vidljiva ne samo po imenu, već i po ključnim riječima relevantnim za vaše poslovanje.
UTM tagovi

Objave

Kako postaviti UTM tagove za praćenje prometa?

Kako bismo znali od kuda je došao određeni promet na web stranicu ili web trgovinu kreiramo UTM tagove. Oni nam omogućuju da pratimo s kojeg izvora je došao naš promet.
zaposlenici koji optimiziraju konverzije

Digitalni marketing, Objave

Što je konverzija? Definicija, tipovi, važnost, mjerenje

Svako poslovanje ima svoje specifične ciljeve konverzije koji su prilagođeni njegovim potrebama i prirodi poslovanja. Na primjer za e-commerce stranicu najvžnija konverzija je kupovina proizvoda.
Close




Zaštita Privatnosti

PRAĆENJE POSJEĆENOSTI STRANICE

Ova stranica koristi Google Analytics za praćenje interakcije korisnika. Ti podaci se koriste za pregled statistike posjećenosti stranice da bi bolje razumjeli kako je korisnik pronašao i na koji način koristi web stranicu. Iako Google Analytics bilježi podatke poput geografske lokacije, uređaja, internet preglednika i operacijskog sustava, ništa od navedenog osobno ne upućuje na vaš identitet. Google Analytics također bilježi i IP adresu vašeg računala. Smatramo Google kao procesor podataka treće strane. Google Analytics koristi kolačiće, detalje o tome možete pronaći na Google developer guides. Onesposobljavanje kolačića u vašem internet pregledniku onemogućuje Google Analytics-u praćenje vašeg posjeta na stranici.

KONTAKT FORME I E-MAIL LINK-OVI

Ako nas kontaktirate putem obrasca za kontakt na stranici “Kontaktirajte nas” ili putem e-pošte, te podatke možemo pohraniti u našu bazu podataka u cilju praćenja vašeg angažmana s nama kao (potencijalnim) klijentom ili partnerom.

KAKO SPREMAMO VAŠE OSOBNE PODATKE

Kao što je detaljno navedeno u odjeljku gore, ako pošaljete upit preko kontakt forme na ovoj web stranici, neki će osobni podaci biti pohranjeni u bazi podataka ove web stranice. Ovo je trenutno jedina prigoda u kojoj će se osobni podaci pohraniti na ovoj web stranici. Ovi se podaci trenutno pohranjuju na način koji se može identificirati; ograničenje sustava za upravljanje sadržajem na kojem se gradi ova web stranica (WordPress). U skoroj budućnosti nastojimo izmijeniti pohranu tih podataka na pseudonim način, što znači da će podaci zahtijevati dodatnu obradu pomoću zasebno pohranjenog “ključa” prije nego što se može upotrijebiti za prepoznavanje pojedinca. Pseudonimizacija je nedavni zahtjev GDPR-a na kojem mnogi razvojni programeri web aplikacija trenutno rade kako bi se u potpunosti implementirao. Pseudonimizaciju držimo kao visoki prioritet i implementirat ćemo je na ovoj web stranici čim budemo u mogućnosti.

O SERVERU OVE WEB STRANICE

Ova web stranica je na poslužitelju Site Grounds koji se nalazi u Amsterdamu. Sav promet (prijenos datoteka) između ove web stranice i vašeg preglednika je šifriran i isporučen preko HTTPS-a.

PROCESOR PODATAKA TREĆE STRANE

Koristimo brojne treće strane za obradu osobnih podataka u naše ime. Ove treće strane su pažljivo odabrane i sve su u skladu s propisima. Sve ove treće strane nalaze se u SAD-u i usklađene su s EU-U.S Privacy Shield.
Google (Pravila o privatnosti)

KRŠENJE PODATAKA

Obavijestit ćemo o nezakonitom kršenju podataka baze podataka ove internetske baze ili baze podataka bilo kojeg od naših procesora za obradu podataka treće strane bilo kojoj i svim relevantnim osobama i tijelima u roku od 72 sata od prekršaja ako je očito da su osobni podaci pohranjeni na identificirajući način ukrađeni.

VODITELJ OBRADE OSOBNIH PODATAKA

Voditelj obrade osobnih podataka ove web stranice je: Obrt Markething vl. Miško Macolić Tomičić registracijskim brojem (MBS) 97807788.
Naš registrirani i operativni ured je:
Banovčeva 23, III
52100 Pula,
Hrvatska

PROMJENE NA NAŠOJ ZAŠTITI PRIVATNOSTI

Ova pravila o privatnosti mogu se s vremena na vrijeme mijenjati u skladu s zakonodavstvom ili razvojem industrije. Nećemo eksplicitno obavijestiti naše klijente ili korisnike web stranica o tim promjenama. Umjesto toga, preporučujemo da povremeno provjeravate ovu stranicu za sve izmjene pravila.