Analizador de Robots.txt
Herramienta gratisPega tu robots.txt y una lista de URLs. Para cada una, indicamos si está permitida o bloqueada, la línea y el patrón exacto que gana, y por qué. El linter detecta además errores reales: bloqueos accidentales de todo el sitio, "noindex" en robots.txt (Google no lo soporta ahí desde 2019), sitemaps con URL inválida y reglas contradictorias. Todo se procesa en tu navegador: nada se sube a los servidores de RA Software Apps, y la URL del sitemap solo se valida por sintaxis, nunca se descarga.
Escribe un user-agent (ej. "Googlebot") o deja "*" para todos los rastreadores.
Resultados de la simulación
| URL | Estado | Regla | Por qué |
|---|
Hallazgos del linter
Informe
Informe en Markdown
Cómo se usa
- Pega el contenido de tu robots.txt.
- Añade las URLs o rutas que quieres simular, una por línea, y elige el user-agent (por ejemplo Googlebot, o * para todos).
- Lee el veredicto de cada ruta, con la línea y el patrón que ganan, y los avisos generales del fichero.
Qué calcula y cómo
Para cada ruta, el linter aplica las reglas del grupo de user-agent que corresponde y resuelve los conflictos como hacen los buscadores: gana la regla más específica, es decir, la de patrón más largo. Además detecta errores frecuentes, como un Disallow que bloquea todo el sitio, directivas noindex dentro del robots.txt, sitemaps con URL no válida o reglas que se contradicen.
Preguntas frecuentes
¿Sirve el noindex dentro de robots.txt?
No. Google dejó de admitirlo en 2019. Para sacar una página del índice hay que usar la etiqueta meta robots o la cabecera X-Robots-Tag, y además permitir que se rastree.
Si bloqueo una URL en robots.txt, ¿desaparece de Google?
No necesariamente. Robots.txt impide el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo si otras páginas la enlazan.
¿La herramienta descarga mi sitemap?
No. Solo comprueba que la URL del sitemap tenga una sintaxis válida; no hace ninguna petición de red.