SEO
przez Prometeusz temu

Co to jest Crawl Budget – Czy warto się nim przejmować?

Spis treści

  1. Czym jest Crawl Budget?
  2. Crawl rate limit, Crawl health i Crawl demand.
  3. Co wpływa na Crawl Budget?.
  4. Jak zmierzyć Crawl Budget?.
  5. Jak zmaksymalizować swój Crawl Budget?.
  1. Program Screaming Frog – dlaczego warto go użyć?.

 

Ostatnimi czasy zrobiło się głośno o pojęciu budżetu indeksowania. Jest ono kluczowe dla każdego profesjonalnego SEOwca i osób, które na poważnie zajmują się optymalizacją stron internetowych. W tekście postaram się odpowiednio jasno i precyzyjnie zgłębić to rozległe zagadnienie.

Czym jest Crawl Budget?

Budżet indeksowania witryn to swego rodzaju limiter, który zostaje nakładany na roboty Google. Indeksowanie i reindeksowanie obciąża serwery zarówno właścicieli witryn, jak i samego Google.

Jeżeli witryny są rozbudowane i zajmują sporo przestrzeni, a także automatycznie generują dynamiczne zasoby, wówczas ich indeksowanie nie należy do zbyt wydajnych procesów. Google uważa, że wprowadzenie budżetu indeksowania odciąża witryny i ułatwia użytkownikom swobodne poruszanie się po nich.

Crawl rate limit, Crawl health i Crawl demand

Na Crawl Budget składają się trzy ważne parametry – Crawl rate limit, Crawl demand i Crawl health. Zacznę od pierwszego z nich.

Crawl rate limit, czyli limit współczynnika indeksacji ogranicza maksymalną liczbę pobrań danych ze strony. Pisząc inaczej – limit współczynnika indeksacji ściśle określa ilość połączeń wykonywanych równolegle przez roboty Google, które indeksują daną stronę. Parametr ten wpływa również na interwały pomiędzy łączeniem się Googlebotów. Crawl rate limit może być ustawiany ręcznie w narzędziu Google Search Console. Częstotliwości indeksowania nie można zwiększyć. Zmniejszenia zaleca się podczas awarii i niespodziewanych obciążeniach serwera.

Crawl demand z kolei określa częstotliwość, z jaką witryna jest indeksowana. Parametr ten przekazuje robotom Google, że poszczególne strony wymagają częstszej opieki z ich strony. Na Crawl demand składa się popularność oraz ruch, którymi odznacza się strona. Poza tym kluczowa jest również aktualność danych oraz sama częstotliwość aktualizacji treści na stronach. Google przychylniej spogląda na witryny, które są często aktualizowane. Ustawienia tych częstotliwości dostępne były przez pewien czas, jednakże Google postanowiło zrezygnować z tego parametru.

Crawl health jest parametrem opisującym poprawność indeksacji. Gdy witryna odpowiada szybciej, sprawniej i ogólnie jest bardziej przyjazna dla robotów Google, wówczas te będą indeksować więcej. Jeżeli strona jest źle zoptymalizowana, limit indeksacji się zmniejsza, ponieważ maleje ilość połączeń nawiązywanych przez roboty.

Co wpływa na Crawl Budget?

Na budżet indeksowania wpływają wyżej wymienione parametry. Crawl Budget można opisać jako wypadową parametrów: crawl rate limit i crawl demand. Poza tym, podchodząc do tematu bardziej szczegółowo, Crawl Budget implikowany jest przez kilka czynników. Są to przede wszystkim:

identyfikatory sesji i nawigacja fasetowa, duplikowane treści wewnątrz struktury witryny, miękkie błędy na podstronach, nieskończona ilość podstron oraz słaby content lub spam. Ogólnie rzecz biorąc, wszystkie te problemy związane są z elementarną optymalizacją strony pod względem technicznym. Jeżeli zamierzasz poprawić Crawl Budget, zwróć uwagę, czy Twojej witryny nie trapią wyżej wymienione kłopoty.

Jak zmierzyć Crawl Budget?

Niektóre stare i obszerne witryny są dla robotów Google prawdziwym labiryntem. Im bardziej rozbudowana struktura strony, tym więcej backlinków będzie posiadać. Mogą być ich setki, a nawet tysiące i znacząco wpływają na częstotliwość wykonywanych wyszukań.

Nie do końca wiadomo, w jaki sposób można zmierzyć Crawl Budget. Niemniej, wydaje się, że zgodna z prawdą jest hipoteza głosząca, że budżet indeksowania witryny jest mniej więcej proporcjonalny do liczby backlinków podzielonych na liczbę stron witryny.

Jak zmaksymalizować swój Crawl Budget?

Metod na poprawę budżetu indeksowania jest kilka. Oczywiście znaczącą poprawę odczujesz, gdy usuniesz problemy z punktu 3, które dotyczą Twojej strony. Poza tym zagadnienie związane z maksymalizacją budżetu indeksowania witryny lepiej opisują poniżej podane elementy związane ze strukturą i funkcjonowaniem witryny.

Struktura strony i linki wewnętrzne

Prawidłowa architektura strony oraz dobrze zagnieżdżane wewnętrzne linki w znaczący sposób wpływają na tempo indeksacji. Odpowiednie kształtowanie witryny wraz z nawigacją fasetową i kategoryzowaniem struktury pozytywnie odciśnie się na budżecie indeksowania Twojej strony. Warto zadbać również o autorytet i zaufanie poprzez dopasowywanie struktury strony do strategii linkowania.

Uszkodzone linki i przekierowania

Uszkodzone link i nieprawidłowe przekierowania mocno ograniczają Crawl Budget. Na szczęście można je łatwo naprawić. Za każdym razem, gdy robot podąży za uszkodzonym linkiem, natrafi na błąd 404, co zmarnuje jego „czas” i zredukuje Crawl demand i crawl limit. Zdobądź się na analizę witryny i identyfikację uszkodzonych linków i szybko je napraw.

Wiedz, że zbyt długie łańcuchy przekierowań również stanowią ograniczenie dla Crawl Budget. Warto skrócić te długie ścieżki i podróże robotów po Twojej witrynie. Tutaj pomocny może okazać się program Screaming Frog – o którym nieco niżej.

Prędkość ładowania strony

Podstawowe zagadnienie techniczne w pozycjonowaniu witryny. Im szybciej witryna będzie się wczytywać, tym roboty stracą mniej czasu na jej indeksacji. Poza tym sprawnie wczytująca się strona jest atrakcyjna również dla użytkowników. Page Speed swojej strony możesz przetestować np. narzędziem dostarczanym przez kalifornijskiego giganta – Google PageSpeed Insights.

Usuwanie duplikowanych treści

Duplikowanie stron to ogromne marnotrawstwo zasobów indeksowania. W przypadku budżetowania indeksowania nawet tag kanoniczny niewiele pomoże. Duplikowane strony i tak będą skanowane przez roboty Google, co w konsekwencji obniży wydajność ich pracy. Im więcej zduplikowanych stron usuniesz, tym lepiej dla Ciebie.

Mapa witryny

Mapa strony w postaci pliku HTML lub XML ma ogromną wartość zarówno dla SEO, jak i dla budżetu indeksowania. Ułatwia poruszanie się po witrynie Googlebotom – głównie poprzez wskazywanie im wewnętrznych połączeń między stronami witryny. Zwróć uwagę, aby mapa witryny nie zawierała zduplikowanych stron. Poza tym mapa nie powinna zawierać adresów URL z tagami „noindex” i „nofollow”, a także powinna być wolna od adresów URL niedozwolonych w pliku robots.txt

Plik robots.txt i analiza logów serwera

Pliki robots.txt kierują robotami Google. Przede wszystkim powinieneś blokować katalogi, których nie chcesz indeksować (Adminowy back-end lub strony CMS). Warto zablokować również strony logowania, (szczególnie w popularnych CMSach) które często „odpytwanie” są przez spamiarki. Nie marnuj zasobów indeksowania na te adresy. Google nie zaleca również indeksowania stron takich jak:

  • strony wyszukiwarki wewnętrznej
  • paginacja
  • sortowanie
  • zmiany widoku
  • filtry kategorii
  • linki z parametrami modyfikującym produkt

Aby lepiej zrozumieć dostosowanie pliku robots.txt do indeksowanych obszarów, warto również zdobyć się na przeanalizowanie logów serwera.

Program Screaming Frog – dlaczego warto go użyć?

Screaming Frog to jeden z programów do dokładnej analizy witryn. Dostępny jest na Windowsa, Linuxa i Maca. Program jest rozbudowany i powinien znaleźć się w biblioteczce każdego szanującego się SEOwca i webmastera. Licencja kosztuje około £100 rocznie.

Rekomenduję program jako świetne narzędzie do analizowania problemów i maksymalizacji związanych z budżetem indeksowania, a także przeprowadzania dokładnego audytu SEO. Z powodzeniem radzi sobie z optymalizacją każdego wymienionego we wcześniejszym punkcie aspektu. Sprawdzi się również w innych aspektach związanych z technicznym pozycjonowaniem witryn – np. audytem grafik, sprawdzaniem poprawności wdrożeń GSC i GA, wylistowaniem błędów związanych z URLami, czy ze znacznikami meta.

 

Autor tematu – hauerpower studio / hauer mateusz – grafik na co dzień projektuje strony internetowe. W swojej pracy stawiający na minimalizm graficzny, wysoką użyteczność tworzonych rozwiązań.

 

Dodaj komentarz