Gerador de Robots.txt
Gere um arquivo robots.txt limpo a partir de campos simples — grupos de user-agent com regras Allow/Disallow, crawl-delay, URLs de sitemap e predefinições de um clique para permitir tudo, bloquear tudo ou bloquear rastreadores de IA.
O Gerador de Robots.txt cria um arquivo robots.txt válido para o seu site a partir de campos simples. Adicione um ou mais grupos de user-agent com caminhos Allow e Disallow, defina um crawl-delay opcional, liste as URLs do seu sitemap ou comece por uma predefinição — permitir todos os robôs, bloquear todos os robôs ou bloquear rastreadores de IA — e então copie ou baixe um robots.txt limpo para colocar na raiz do seu domínio. Tudo roda no seu navegador.
O que é um arquivo robots.txt?
robots.txt é um arquivo de texto simples que fica na raiz do seu domínio (https://exemplo.com/robots.txt) e informa aos rastreadores dos buscadores quais partes do seu site eles podem ou não acessar. Ele segue o Protocolo de Exclusão de Robôs: cada bloco começa com uma linha User-agent nomeando o rastreador, seguida por regras Disallow e Allow que correspondem a caminhos de URL. O robots.txt controla o rastreamento, não a indexação — para manter uma página fora dos resultados de busca, use uma meta tag noindex ou um cabeçalho HTTP.
Como criar um arquivo robots.txt
Preencha os grupos de user-agent e as URLs de sitemap, ou escolha uma predefinição, e então copie o resultado para um arquivo chamado robots.txt na raiz do seu site.
- Escolha uma predefinição (permitir tudo, bloquear tudo, bloquear rastreadores de IA) ou deixe em Personalizado.
- Para cada grupo de user-agent, informe o nome do rastreador (use * para todos os robôs) e os caminhos a Disallow ou Allow, um por linha.
- Opcionalmente, adicione um Crawl-delay em segundos e liste as URLs do seu sitemap.
- Clique em Copiar ou Baixar e então envie o arquivo como robots.txt para a raiz do seu domínio, de modo que ele fique acessível em https://seudominio.com/robots.txt.
Permitir tudo vs. bloquear tudo
Para deixar todos os rastreadores acessarem o site inteiro, use um único grupo com 'User-agent: *' e uma linha Disallow vazia — esse é o robots.txt mais permissivo. Para bloquear todo o rastreamento, use 'User-agent: *' com 'Disallow: /', que pede aos robôs compatíveis para ignorar todos os caminhos. Lembre-se de que bloquear uma URL apenas impede que rastreadores bem comportados a solicitem; isso não garante que a página fique fora dos resultados de busca nem a esconde de quem tem o link.
Bloqueando rastreadores de IA e bots específicos
Você pode direcionar rastreadores individuais pelo nome em seu próprio grupo User-agent. A predefinição 'Bloquear rastreadores de IA' adiciona regras Disallow para bots comuns de treinamento e respostas de IA, como GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot e Bytespider, mantendo os buscadores normais liberados por meio de um grupo final 'User-agent: *'. Você também pode adicionar um Crawl-delay para pedir que bots agressivos diminuam o ritmo entre as requisições, embora nem todo rastreador respeite isso.
Por que usar este gerador de robots.txt?
- Predefinições de um clique para permitir tudo, bloquear tudo e bloquear rastreadores de IA, além de controle personalizado completo.
- Adicione grupos de user-agent ilimitados, cada um com suas próprias regras Allow, Disallow e Crawl-delay.
- Liste várias diretivas Sitemap — uma por linha — anexadas automaticamente à saída.
- Pré-visualização ao vivo com botões Copiar e Baixar para salvar um arquivo robots.txt pronto para enviar.
- Roda inteiramente no seu navegador — nada é enviado, e o arquivo é gerado localmente no seu dispositivo.
Perguntas frequentes
Onde devo colocar o arquivo robots.txt?
Ele precisa ficar na raiz do seu domínio para ser acessível em https://seudominio.com/robots.txt. Os rastreadores só olham exatamente esse local — um robots.txt em uma subpasta é ignorado. Cada subdomínio (por exemplo, blog.seudominio.com) precisa do seu próprio robots.txt.
Disallow remove uma página do Google?
Não. O robots.txt controla o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados de busca se outras páginas apontarem para ela, só que sem descrição. Para manter uma página fora do índice, permita o rastreamento e adicione uma meta tag noindex ou um cabeçalho X-Robots-Tag, ou proteja-a com autenticação.
Como bloqueio um bot específico e permito os outros?
Adicione um grupo de user-agent dedicado com o nome desse bot e uma regra 'Disallow: /' e mantenha um grupo 'User-agent: *' separado com Disallow vazio para todos os demais. O grupo correspondente mais específico prevalece para cada rastreador.
Devo adicionar meu sitemap ao robots.txt?
Sim, é uma boa prática. A diretiva Sitemap aponta os rastreadores para o seu sitemap XML e é independente dos grupos de user-agent. Você pode listar várias linhas Sitemap — basta informar uma URL completa por linha na caixa de Sitemaps.
Este gerador de robots.txt é gratuito e privado?
Sim. É totalmente gratuito e roda inteiramente no seu navegador com JavaScript. Nada do que você digita é enviado ou armazenado — o robots.txt é gerado localmente e é seu para copiar ou baixar.