Validador de Robots.txt
Valida un archivo robots.txt en tu navegador. Pega tu robots.txt y obtén comprobaciones de sintaxis al instante — directivas desconocidas o mal escritas, reglas colocadas antes de cualquier User-agent, URLs de Sitemap inválidas, valores de crawl-delay incorrectos y más — cada problema indicado con su número de línea.
El Validador de Robots.txt revisa tu archivo robots.txt en busca de problemas de sintaxis antes de publicarlo. Pega el contenido de tu robots.txt y analiza cada línea en busca de errores y advertencias — directivas desconocidas o mal escritas, reglas colocadas antes de cualquier grupo User-agent, rutas que no empiezan con una barra, valores de crawl-delay no numéricos y entradas de Sitemap que no son URLs absolutas — e indica cada problema con su número de línea exacto. Todo funciona en tu navegador; no se sube nada.
¿Qué comprueba un validador de robots.txt?
Un validador de robots.txt analiza tu archivo igual que lo haría un rastreador y señala cualquier cosa que rompa el Protocolo de Exclusión de Robots o que probablemente se ignore. Este validador reporta errores (líneas mal formadas o en el lugar equivocado) y advertencias (líneas que técnicamente se pueden interpretar pero que probablemente no son lo que pretendías), para que corrijas los problemas antes de que los buscadores o los rastreadores de IA lean el archivo.
- Directivas desconocidas o mal escritas, como 'Disalow' en lugar de 'Disallow', con una corrección sugerida.
- Reglas Disallow, Allow o Crawl-delay que aparecen antes de cualquier línea User-agent y, por tanto, no pertenecen a ningún grupo.
- Dos puntos ausentes, nombres de User-agent vacíos y nombres de directiva vacíos.
- Valores de Crawl-delay que no son un número no negativo.
- Directivas Sitemap que están vacías o que usan una ruta relativa en lugar de una URL https:// completa.
Cómo validar tu robots.txt
Pega el archivo y valídalo en tres pasos.
- Copia el contenido de tu robots.txt en producción (normalmente en https://tudominio.com/robots.txt) o el borrador que estás editando.
- Pégalo en el cuadro y haz clic en Validar, o haz clic en Cargar ejemplo para ver cómo se reportan los problemas.
- Revisa los errores y advertencias con número de línea, corrígelos en tu archivo de origen y vuelve a validar hasta que no quede ningún problema.
Errores frente a advertencias
Los errores son líneas sobre las que un intérprete conforme no puede actuar — unos dos puntos ausentes, una directiva desconocida, una regla que no pertenece a ningún grupo User-agent o un Sitemap que no es una URL absoluta. Estos siempre deben corregirse. Las advertencias son líneas que se interpretan pero parecen sospechosas, como una ruta Disallow que no empieza con '/' o un archivo sin ninguna directiva User-agent. Vale la pena revisar las advertencias aunque los rastreadores las toleren, porque a menudo señalan un error de escritura o una regla que no hará lo que esperas.
Errores comunes de robots.txt
Los problemas más frecuentes son de orden y de URL. Los rastreadores leen el robots.txt como una serie de grupos, cada uno empezando con una o más líneas User-agent seguidas de las reglas de ese grupo — colocar un Disallow antes del primer User-agent lo deja sin asociar a nada. Las directivas Sitemap son globales y deben ser URLs absolutas (https://ejemplo.com/sitemap.xml), no rutas como /sitemap.xml. Recuerda que robots.txt controla el rastreo, no la indexación: una línea Disallow impide que los rastreadores que cumplen las reglas obtengan una URL, pero no garantiza que la página quede fuera de los resultados de búsqueda.
¿Por qué usar este validador de robots.txt?
- Errores y advertencias con número de línea para que vayas directo a cada problema en tu archivo de origen.
- Detecta directivas mal escritas como 'Disalow' o 'Useragent' y sugiere la grafía correcta.
- Señala reglas colocadas antes de cualquier grupo User-agent, el error de robots.txt más común.
- Valida las directivas Sitemap como URLs absolutas y comprueba que el Crawl-delay sea un número válido.
- Funciona por completo en tu navegador — tu robots.txt nunca se sube ni se almacena en ningún sitio.
Preguntas frecuentes
¿Qué hace que un archivo robots.txt sea inválido?
El Protocolo de Exclusión de Robots es tolerante, así que la mayoría de los archivos 'funcionan' incluso con errores — pero una directiva sin dos puntos, una directiva desconocida, una regla antes del primer User-agent o una URL de Sitemap relativa se interpretarán mal o las ignorarán los rastreadores. Este validador señala exactamente esos casos para que las reglas que escribiste realmente surtan efecto.
¿Importa el orden de las directivas?
Sí. El robots.txt se lee como una serie de grupos, cada uno empezando con una o más líneas User-agent seguidas de las reglas Disallow, Allow y Crawl-delay de ese grupo. Las reglas solo se aplican al grupo User-agent que tienen encima, así que un Disallow colocado antes de cualquier línea User-agent no pertenece a ningún grupo y se ignora. El validador advierte cuando hay reglas antes de un User-agent.
¿Por qué el Sitemap tiene que ser una URL completa?
A diferencia de Disallow y Allow, que aceptan rutas de URL, la directiva Sitemap requiere una URL absoluta que incluya el esquema y el dominio, por ejemplo https://ejemplo.com/sitemap.xml. Un valor relativo como /sitemap.xml es inválido y no se reconocerá, así que el validador señala cualquier Sitemap que no empiece con http:// o https://.
¿Esta herramienta comprueba si una URL específica está bloqueada?
No. Este es un validador de sintaxis — comprueba que tu robots.txt esté bien formado y señala errores y advertencias línea por línea. No simula cómo un rastreador concreto haría coincidir una URL determinada con tus reglas. Úsalo para asegurarte de que el archivo es correcto y luego prueba URLs específicas con el probador de robots.txt de tu buscador.
¿Es gratuito y privado el validador de robots.txt?
Sí. Es completamente gratuito y funciona por completo en tu navegador con JavaScript. El robots.txt que pegas se analiza localmente en tu dispositivo y nunca se sube, registra ni almacena.