Generador de Robots.txt
Genera un archivo robots.txt limpio a partir de campos simples — grupos de user-agent con reglas Allow/Disallow, crawl-delay, URLs de sitemap y ajustes predefinidos de un clic para permitir todo, bloquear todo o bloquear rastreadores de IA.
El Generador de Robots.txt crea un archivo robots.txt válido para tu sitio web a partir de campos simples. Añade uno o más grupos de user-agent con rutas Allow y Disallow, define un crawl-delay opcional, lista las URLs de tu sitemap o parte de un ajuste predefinido — permitir todos los robots, bloquear todos los robots o bloquear rastreadores de IA — y luego copia o descarga un robots.txt limpio para colocarlo en la raíz de tu dominio. Todo funciona en tu navegador.
¿Qué es un archivo robots.txt?
robots.txt es un archivo de texto plano que vive en la raíz de tu dominio (https://ejemplo.com/robots.txt) y le indica a los rastreadores de los buscadores qué partes de tu sitio pueden o no pueden solicitar. Sigue el Protocolo de Exclusión de Robots: cada bloque comienza con una línea User-agent que nombra al rastreador, seguida de reglas Disallow y Allow que coinciden con rutas de URL. robots.txt controla el rastreo, no la indexación — para mantener una página fuera de los resultados de búsqueda, usa una meta etiqueta noindex o una cabecera HTTP en su lugar.
Cómo crear un archivo robots.txt
Rellena los grupos de user-agent y las URLs de sitemap, o elige un ajuste predefinido, y luego copia el resultado en un archivo llamado robots.txt en la raíz de tu sitio.
- Elige un ajuste predefinido (permitir todo, bloquear todo, bloquear rastreadores de IA) o déjalo en Personalizado.
- Para cada grupo de user-agent, introduce el nombre del rastreador (usa * para todos los robots) y las rutas a Disallow o Allow, una por línea.
- Opcionalmente, añade un Crawl-delay en segundos y lista las URLs de tu sitemap.
- Haz clic en Copiar o Descargar, y luego sube el archivo como robots.txt a la raíz de tu dominio para que sea accesible en https://tudominio.com/robots.txt.
Permitir todo frente a bloquear todo
Para dejar que todos los rastreadores accedan a todo tu sitio, usa un único grupo con 'User-agent: *' y una línea Disallow vacía — ese es el robots.txt más permisivo. Para bloquear todo el rastreo, usa 'User-agent: *' con 'Disallow: /', que pide a los robots conformes que omitan todas las rutas. Recuerda que bloquear una URL solo impide que los rastreadores que cumplen las reglas la soliciten; no garantiza que la página quede fuera de los resultados de búsqueda ni la oculta de quienes tienen el enlace.
Bloquear rastreadores de IA y bots específicos
Puedes apuntar a rastreadores individuales por nombre en su propio grupo User-agent. El ajuste predefinido 'Bloquear rastreadores de IA' añade reglas Disallow para bots comunes de entrenamiento y de respuestas de IA como GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot y Bytespider, mientras sigue permitiendo a los buscadores normales a través de un grupo final 'User-agent: *'. También puedes añadir un Crawl-delay para pedir a los bots agresivos que reduzcan el ritmo entre solicitudes, aunque no todos los rastreadores lo respetan.
¿Por qué usar este generador de robots.txt?
- Ajustes predefinidos de un clic para permitir todo, bloquear todo y bloquear rastreadores de IA, además de control personalizado completo.
- Añade grupos de user-agent ilimitados, cada uno con sus propias reglas Allow, Disallow y Crawl-delay.
- Lista varias directivas Sitemap — una por línea — añadidas automáticamente a la salida.
- Vista previa en vivo con botones Copiar y Descargar para guardar un archivo robots.txt listo para subir.
- Funciona por completo en tu navegador — no se sube nada y el archivo se genera localmente en tu dispositivo.
Preguntas frecuentes
¿Dónde coloco el archivo robots.txt?
Debe vivir en la raíz de tu dominio para que sea accesible en https://tudominio.com/robots.txt. Los rastreadores solo miran esa ubicación exacta — un robots.txt en una subcarpeta se ignora. Cada subdominio (por ejemplo, blog.tudominio.com) necesita su propio robots.txt.
¿Disallow elimina una página de Google?
No. robots.txt controla el rastreo, no la indexación. Una URL bloqueada todavía puede aparecer en los resultados de búsqueda si otras páginas enlazan a ella, solo que sin descripción. Para mantener una página fuera del índice, permite que se rastree y añade una meta etiqueta noindex o una cabecera X-Robots-Tag, o protégela detrás de autenticación.
¿Cómo bloqueo un bot específico pero permito los demás?
Añade un grupo de user-agent dedicado con el nombre de ese bot y una regla 'Disallow: /', y luego mantén un grupo 'User-agent: *' aparte con un Disallow vacío para todos los demás. El grupo coincidente más específico prevalece para cada rastreador.
¿Debo añadir mi sitemap al robots.txt?
Sí, es una buena práctica. Una directiva Sitemap apunta a los rastreadores hacia tu sitemap XML y es independiente de los grupos de user-agent. Puedes listar varias líneas Sitemap — solo introduce una URL completa por línea en el cuadro de Sitemaps.
¿Es gratuito y privado este generador de robots.txt?
Sí. Es completamente gratuito y funciona por completo en tu navegador con JavaScript. Nada de lo que escribes se sube ni se almacena — el robots.txt se genera localmente y es tuyo para copiar o descargar.