Validador de Robots.txt
Valide um arquivo robots.txt no seu navegador. Cole o seu robots.txt e receba verificações de sintaxe na hora — diretivas desconhecidas ou com erro de digitação, regras colocadas antes de qualquer User-agent, URLs de Sitemap inválidas, valores de crawl-delay incorretos e mais — cada problema indicado com o número da linha.
O Validador de Robots.txt verifica o seu arquivo robots.txt em busca de problemas de sintaxe antes de você publicá-lo. Cole o conteúdo do seu robots.txt e ele analisa cada linha em busca de erros e avisos — diretivas desconhecidas ou com erro de digitação, regras colocadas antes de qualquer grupo User-agent, caminhos que não começam com barra, valores de crawl-delay não numéricos e entradas de Sitemap que não são URLs absolutas — indicando cada problema com o número exato da linha. Tudo roda no seu navegador; nada é enviado.
O que um validador de robots.txt verifica?
Um validador de robots.txt analisa o seu arquivo da mesma forma que um crawler faria e aponta tudo que quebra o Protocolo de Exclusão de Robôs ou que provavelmente será ignorado. Este validador reporta erros (linhas malformadas ou no lugar errado) e avisos (linhas que podem ser interpretadas, mas provavelmente não são o que você pretendia), para que você corrija os problemas antes de os mecanismos de busca ou crawlers de IA lerem o arquivo.
- Diretivas desconhecidas ou com erro de digitação, como 'Disalow' em vez de 'Disallow', com uma correção sugerida.
- Regras Disallow, Allow ou Crawl-delay que aparecem antes de qualquer linha User-agent e, portanto, não pertencem a nenhum grupo.
- Dois-pontos ausentes, nomes de User-agent vazios e nomes de diretiva vazios.
- Valores de Crawl-delay que não são números não negativos.
- Diretivas Sitemap vazias ou que usam um caminho relativo em vez de uma URL https:// completa.
Como validar o seu robots.txt
Cole o arquivo e valide em três passos.
- Copie o conteúdo do seu robots.txt em produção (geralmente em https://seudominio.com/robots.txt) ou o rascunho que você está editando.
- Cole na caixa e clique em Validar, ou clique em Carregar exemplo para ver como os problemas são reportados.
- Revise os erros e avisos com número de linha, corrija-os no arquivo de origem e valide novamente até não restar nenhum problema.
Erros vs. avisos
Erros são linhas que um interpretador compatível não consegue executar — dois-pontos ausentes, uma diretiva desconhecida, uma regra que não pertence a nenhum grupo User-agent ou um Sitemap que não é uma URL absoluta. Esses devem sempre ser corrigidos. Avisos são linhas que são interpretadas, mas parecem suspeitas, como um caminho Disallow que não começa com '/' ou um arquivo sem nenhuma diretiva User-agent. Vale revisar os avisos mesmo que os crawlers os tolerem, pois costumam indicar um erro de digitação ou uma regra que não fará o que você espera.
Erros comuns de robots.txt
Os problemas mais frequentes são de ordenação e de URL. Os crawlers leem o robots.txt como uma série de grupos, cada um começando com uma ou mais linhas User-agent seguidas pelas regras daquele grupo — colocar um Disallow antes do primeiro User-agent o deixa ligado a nada. As diretivas Sitemap são globais e devem ser URLs absolutas (https://exemplo.com/sitemap.xml), não caminhos como /sitemap.xml. Lembre-se de que o robots.txt controla o rastreamento, não a indexação: uma linha Disallow impede que crawlers bem-comportados busquem uma URL, mas não garante que a página fique fora dos resultados de busca.
Por que usar este validador de robots.txt?
- Erros e avisos com número de linha para você ir direto a cada problema no arquivo de origem.
- Detecta diretivas com erro de digitação, como 'Disalow' ou 'Useragent', e sugere a grafia correta.
- Sinaliza regras colocadas antes de qualquer grupo User-agent, o erro mais comum de robots.txt.
- Valida diretivas Sitemap como URLs absolutas e verifica se o Crawl-delay é um número válido.
- Roda inteiramente no seu navegador — o seu robots.txt nunca é enviado nem armazenado em lugar algum.
Perguntas frequentes
O que torna um arquivo robots.txt inválido?
O Protocolo de Exclusão de Robôs é tolerante, então a maioria dos arquivos 'funciona' mesmo com erros — mas uma diretiva sem dois-pontos, uma diretiva desconhecida, uma regra antes do primeiro User-agent ou uma URL de Sitemap relativa serão mal interpretadas ou ignoradas pelos crawlers. Este validador aponta exatamente esses casos para que as regras que você escreveu realmente tenham efeito.
A ordem das diretivas importa?
Sim. O robots.txt é lido como uma série de grupos, cada um começando com uma ou mais linhas User-agent seguidas pelas regras Disallow, Allow e Crawl-delay daquele grupo. As regras só se aplicam ao grupo User-agent acima delas, então um Disallow colocado antes de qualquer linha User-agent não pertence a nenhum grupo e é ignorado. O validador avisa quando há regras antes de um User-agent.
Por que o Sitemap precisa ser uma URL completa?
Diferente de Disallow e Allow, que recebem caminhos de URL, a diretiva Sitemap exige uma URL absoluta incluindo o protocolo e o domínio, por exemplo https://exemplo.com/sitemap.xml. Um valor relativo como /sitemap.xml é inválido e não será reconhecido, então o validador sinaliza qualquer Sitemap que não comece com http:// ou https://.
Esta ferramenta testa se uma URL específica está bloqueada?
Não. Este é um validador de sintaxe — ele verifica se o seu robots.txt está bem formado e aponta erros e avisos linha por linha. Ele não simula como um crawler específico combinaria uma URL determinada com as suas regras. Use-o para garantir que o arquivo está correto e depois teste URLs específicas com o testador de robots.txt do seu mecanismo de busca.
O validador de robots.txt é gratuito e privado?
Sim. É totalmente gratuito e roda inteiramente no seu navegador com JavaScript. O robots.txt que você cola é analisado localmente no seu dispositivo e nunca é enviado, registrado ou armazenado.