Każda strona internetowa ma określoną liczbę zasobów, które Google przeznacza na jej przeszukiwanie. Crawl budget — czyli budżet indeksowania — decyduje o tym, ile podstron i jak często odwiedza robot Googlebot. W praktyce oznacza to, że serwisy z tysiącami adresów URL mogą sprawić, że część ważnych treści nigdy nie trafi do indeksu, bo bot zużyje limit na strony, które nie mają żadnej wartości rankingowej.
Zrozumienie tego mechanizmu to element technicznego SEO, który bywa pomijany w małych serwisach — i słusznie, bo przy kilkuset podstronach problem praktycznie nie istnieje. Sytuacja zmienia się diametralnie przy dużych sklepach internetowych, portalach z setkami tysięcy artykułów czy serwisach z dynamicznie generowanymi adresami URL. Tam crawl budget od podstaw staje się zagadnieniem, które bezpośrednio wpływa na ranking i widoczność.
Z naszego artykułu dowiesz się:
Jak Googlebot decyduje, gdzie idzie i kiedy wróci
Googlebot nie odwiedza stron losowo. Za każdym razem, gdy trafia na Twój serwer, oblicza dwie rzeczy: ile zasobów może zużyć (crawl rate limit) i które adresy zasługują na kolejną wizytę (crawl demand). Iloczyn tych dwóch wartości tworzy efektywny crawl budget.
Crawl rate limit jest wyznaczany dynamicznie — Google sprawdza, jak szybko serwer odpowiada i jak obciąża go indeksowanie. Jeśli strona odpowiada w 50 ms, bot może odwiedzić jej więcej podstron, niż gdyby każde żądanie zajmowało 2 sekundy. Serwer przeciążony wywołaniami bota? Google automatycznie ograniczy tempo crawlowania, żeby nie wpłynąć na dostępność strony dla użytkowników.
Crawl demand to z kolei ocena tego, które adresy warto odwiedzić ponownie. Google bierze pod uwagę kilka czynników:
- Popularność adresu w sieci — strony, do których prowadzi wiele linków zewnętrznych, są odwiedzane częściej
- Aktualność treści — serwisy newsowe z regularnie aktualizowanymi materiałami dostają priorytet
- Wskaźniki świeżości — gdy bot wykryje zmiany podczas poprzedniej wizyty, planuje szybszą kolejną
- Sygnały z sitemapy — urlset ze zmienionymi datami lastmod może przyspieszyć ponowne crawlowanie
Ważne jest to, że crawl demand nie jest wartością stałą. Strona, która przez rok stała niezmieniona i nie budowała linków, będzie odwiedzana coraz rzadziej — bez względu na to, ile ma podstron.
Pułapki techniczne, które pochłaniają budżet indeksowania
Gdy crawl budget jest ograniczony, każda podstrona pochłoniętą przez bota to jedna mniej dla treści, na których nam zależy. Techniczne SEO skupia się więc na tym, żeby wyeliminować adresy, które Google po prostu nie powinien odwiedzać.
Parametry URL i duplikacja treści
Jednym z największych pożeraczy budżetu są parametry URL — czyli fragmenty adresu po znaku zapytania. Filtry, sortowania, sesje użytkownika, znaczniki kampanii UTM — każda kombinacja tworzy nowy adres, który bot może traktować jako odrębną stronę. Sklep z 5000 produktami, który pozwala sortować je według 10 kryteriów i filtrować po 20 parametrach, może teoretycznie generować setki tysięcy unikalnych URL-i prowadzących do tych samych lub bardzo podobnych treści.
Rozwiązaniem jest deklarowanie kanonicznych adresów (tag rel=canonical) oraz — w przypadku parametrów czysto technicznych — stosowanie atrybutu noindex lub blokowania w pliku robots.txt. W Google Search Console istniała wcześniej sekcja do zarządzania parametrami URL, ale Google ją wycofał, co oznacza, że odpowiedzialność za czystość adresów spoczywa w całości po stronie właściciela serwisu.
Strony techniczne, które nie mają wartości SEO
W każdym większym serwisie znajdziemy adresy, które służą wyłącznie funkcjonalności strony, a nie użytkownikom poszukującym informacji. Do tej grupy zaliczają się:
- Strony koszyka i procesu zakupowego —
/cart,/checkout/step-1,/checkout/thank-you - Strony wyników wyszukiwania wewnętrznego —
/search?q=kurtka+zimowa - Adresy z tokenami sesji lub identyfikatorami śledzenia
- Wersje drukowania artykułów i inne duplikaty techniczne
- Strony paginacji głębokiej, do których nie prowadzi żaden wewnętrzny link
Blokowanie tych zasobów w robots.txt albo stosowanie noindex w meta robots to jeden z szybszych sposobów na uwolnienie części budżetu dla ważnych podstron.
Jak audytować crawl budget w praktyce SEO
Wiedza o tym, że budżet jest ograniczony, to tylko teoria. Rzeczywisty audyt zaczyna się od analizy danych — i tu techniczne SEO ma do dyspozycji kilka konkretnych źródeł.
Logi serwera — najważniejsze źródło danych
Logi serwera to zapis każdego żądania, które trafiło na serwer. Znajdziemy w nich informację o tym, który bot odwiedził dany URL, kiedy i z jakim kodem odpowiedzi. To jedyne miejsce, gdzie możemy zobaczyć, co tak naprawdę robi Googlebot na naszej stronie — bez żadnych pośredników i przybliżeń.
Analiza logów pod kątem crawl budgetu polega na wyciągnięciu wszystkich żądań Googlebota (user-agent: Googlebot), pogrupowaniu ich według URL-i i sprawdzeniu, co bot odwiedzał najczęściej. Jeśli okazuje się, że 40% wizyt bota przypada na strony z parametrami URL, a zaledwie 15% na kategorie i artykuły — mamy problem do rozwiązania.
Narzędzia do analizy logów: Screaming Frog Log File Analyser, Semrush Log File Analyzer, a także autorskie skrypty w Pythonie dla bardziej zaawansowanych analiz. Małe serwisy mogą wgrać logi do Arkuszy Google i przeprowadzić podstawową analizę ręcznie.
Google Search Console i raport pokrycia indeksu
Google Search Console nie pokazuje bezpośrednio crawl budgetu, ale dostarcza danych powiązanych. Raport o pokryciu indeksu (Coverage) informuje, które URL-e Google znalazł, które zaindeksował, a które odrzucił i dlaczego. Duża liczba stron w kategorii „Wykryte — aktualnie nieindeksowane” może być sygnałem, że bot dotarł do adresów, ale nie zdecydował się na ich zaindeksowanie — co pośrednio wskazuje na problem z jakością lub z budżetem.
Raport statystyk crawlowania (Crawl Stats) daje z kolei przegląd liczby żądań bota w czasie, czasu odpowiedzi serwera i ilości przesłanych danych. Jeśli widzimy tam nagłe skoki lub długotrwały wzrost czasu odpowiedzi, warto powiązać te dane z logami.
Optymalizacja crawl budgetu — co realnie zmienia wyniki rankingowe
Sama świadomość problemu nic nie zmienia — liczy się działanie. Optymalizacja budżetu indeksowania to zestaw kroków, które można wdrożyć etapami, zaczynając od tych o największym wpływie.
Sitemap XML to punkt wyjścia. Plik powinien zawierać wyłącznie adresy, które chcemy, żeby Google zaindeksował — żadnych stron z noindex, żadnych URL-i blokowanych w robots.txt, żadnych przekierowań. Regularne audytowanie sitemapki (choćby raz na kwartał) eliminuje sytuację, gdy bot traci czas na adresy, które dawno przestały istnieć lub zostały przekierowane.
Struktura linkowania wewnętrznego ma bezpośredni wpływ na to, które podstrony bot odwiedza w pierwszej kolejności. Strony bez żadnego linku prowadzącego (orphan pages) są przez Googlebota odkrywane znacznie rzadziej lub wcale. Regularne sprawdzanie, czy wszystkie ważne podstrony mają co najmniej jeden link wewnętrzny, to prosty sposób na poprawę pokrycia crawlowania.
Kody odpowiedzi HTTP to kolejna warstwa optymalizacji. Każde żądanie kończące się kodem 301 lub 302 oznacza, że bot musi wykonać przynajmniej dwa żądania zamiast jednego — jedno do przekierowania, drugie do docelowego URL-a. Łańcuchy przekierowań (A→B→C→D) potrafią zużywać budżet w sposób nieoczekiwany. Analiza logów szybko pokaże, ile procent wizyt bota kończy się odpowiedzią inną niż 200.
Istotna jest też kwestia szybkości serwera — i tu wracamy do crawl rate limit. Serwis, który odpowiada konsekwentnie poniżej 300 ms, dostanie od Google więcej „wejść” bota niż ten z czasem odpowiedzi 1,5 sekundy. Optymalizacja infrastruktury (CDN, cache, optymalizacja bazy danych) przekłada się więc bezpośrednio na zwiększenie efektywnego budżetu.
Crawl budget a duże serwisy — gdzie ranking stoi na szali
Dla większości serwisów z kilkuset podstronami crawl budget nigdy nie stanie się problemem — Google z łatwością obsłuży taką ilość treści. Inaczej jest przy e-commerce z dziesiątkami tysięcy produktów, przy agregatorach ogłoszeń czy przy portalach informacyjnych produkujących dziesiątki artykułów dziennie.
W dużych serwisach ranking konkretnych podstron może być bezpośrednio powiązany z częstotliwością ich crawlowania. Produkt, który został zaktualizowany (nowa cena, nowy opis, nowe zdjęcia), nie zmieni swojej pozycji w wynikach wyszukiwania, dopóki Googlebot nie odwiedzi go ponownie i nie przekaże nowych danych do indeksu. Jeśli budżet jest skonsumowany przez nieistotne adresy, ta aktualizacja może dotrzeć do indeksu po tygodniach zamiast po godzinach.
Strategiczne podejście do crawl budgetu w dużych serwisach obejmuje segmentację: wyraźne oddzielenie sekcji serwisu według priorytetu indeksowania. Strony o wysokiej wartości SEO (kategorie główne, bestsellery, artykuły z ruchem organicznym) powinny być podlinkowane mocno, znajdować się wysoko w sitemap i nie mieć żadnych barier technicznych. Strony o niskiej wartości (archiwum z 2015 roku, stare promocje, wersje dla drukarki) powinny być zablokowane albo oznaczone noindex.
Monitorowanie tego procesu w czasie to nie jednorazowy projekt, ale ciągła praktyka. Techniczne SEO w dużych serwisach wymaga regularnych przeglądów logów, aktualizacji sitemap i szybkiej reakcji na nowe kategorie błędów pojawiające się w Search Console. Serwisy, które traktują crawl budget jako żywy parametr do zarządzania, a nie jako statyczny element architektury, utrzymują wyraźną przewagę w rankingach nad tymi, które konfigurują raz i zapominają.
Crawl budget od podstaw to temat, który ewoluuje razem ze wzrostem serwisu. Na etapie 200 podstron jest teorią. Przy 200 000 adresach staje się jedną z najważniejszych dźwigni widoczności w organicznych wynikach wyszukiwania.
