O que é crawl budget?
Crawl budget é a quantidade de páginas que o Google se dispõe a rastrear em um site dentro de um período. Em português, o conceito é traduzido como orçamento de rastreamento.
O orçamento existe porque o rastreamento consome recursos dos dois lados: dos servidores do Google e do servidor do site visitado. O Google equilibra esse custo com dois fatores. O primeiro é o limite de capacidade de rastreamento, definido pela velocidade e pela estabilidade com que o seu servidor responde. O segundo é a demanda de rastreamento, influenciada pela popularidade das páginas e pela frequência com que o conteúdo muda.
Segundo a documentação do próprio Google, o crawl budget é uma preocupação relevante principalmente para sites grandes, com muitos milhares de URLs, ou para sites com conteúdo que muda muito rápido. Sites pequenos raramente esbarram nesse limite.
Como funciona na prática?
O problema típico de crawl budget é o desperdício. O robô gasta as visitas disponíveis em URLs sem valor e demora a chegar às páginas que importam. As fontes de desperdício mais comuns incluem navegação facetada que gera combinações infinitas de filtros, URLs duplicadas com parâmetros, cadeias longas de redirecionamento, páginas de erro soft 404 e conteúdo duplicado interno.
O trabalho de otimização, parte do SEO técnico, segue uma sequência prática. Primeiro, você diagnostica: o relatório de estatísticas de rastreamento do Google Search Console mostra o volume de solicitações e os tipos de resposta, e a análise de logs do servidor revela exatamente quais URLs o robô visita. Segundo, você corta o desperdício: bloqueia no robots.txt as áreas sem valor de busca, elimina cadeias de redirecionamento e consolida URLs duplicadas com tags canônicas. Terceiro, você facilita o acesso ao que importa: sitemap XML limpo, links internos para as páginas estratégicas e servidor respondendo rápido.
O resultado esperado é o robô concentrar as visitas nas páginas que geram negócio, acelerando a descoberta de conteúdo novo e a atualização do que mudou.
Exemplos de uso
- Um marketplace com 2 milhões de URLs descobre pela análise de logs que 60% das visitas do Googlebot caem em páginas de filtro sem valor de busca. Ao bloquear os parâmetros de filtro no robots.txt, o robô passa a visitar mais páginas de produto.
- Um portal de notícias percebe que matérias novas demoram horas para serem rastreadas. Ao reduzir o tempo de resposta do servidor e limpar redirecionamentos antigos, a descoberta acelera.
- Um e-commerce que trocou de plataforma encontra milhares de URLs antigas em cadeia de redirecionamento e as atualiza para apontar direto ao destino final.
Erros comuns
- Otimizar crawl budget em sites pequenos, onde o esforço quase nunca traz retorno mensurável.
- Usar a tag noindex para economizar rastreamento, quando o robô precisa visitar a página para ler a tag.
- Bloquear no robots.txt páginas que deveriam ranquear, confundindo controle de rastreamento com controle de indexação.
- Ignorar a saúde do servidor: lentidão e erros 5xx derrubam o limite de capacidade de rastreamento.
Perguntas frequentes sobre crawl budget
Site pequeno precisa se preocupar com crawl budget?
Na maioria dos casos, não. O Google afirma que o orçamento de rastreamento é uma preocupação real para sites com muitos milhares de URLs ou com conteúdo que muda com altíssima frequência. Em um site com algumas centenas de páginas, o robô costuma dar conta de tudo sem otimização específica.
Como sei se meu site tem problema de crawl budget?
Dois sinais principais: páginas novas ou atualizadas demorando muito para serem rastreadas e um volume alto de visitas do robô em URLs sem valor, visível na análise de logs do servidor. O relatório de estatísticas de rastreamento do Google Search Console complementa o diagnóstico com o histórico de solicitações e respostas.
Bloquear páginas no robots.txt aumenta o crawl budget?
O bloqueio redireciona o orçamento em vez de aumentá-lo. Ao impedir o robô de gastar visitas em áreas sem valor, como filtros e buscas internas, você libera essas visitas para as páginas importantes. O tamanho total do orçamento continua dependendo da capacidade do servidor e da demanda pelo seu conteúdo.