Parsero, auditando el robots.txt de los sitios web

Esta herramienta me hace bastante gracia, ya que cuando hablo con Jaime (Dragon) por Skype él siempre me dice parcero, y cuando vi esta herramienta pensé: «Una herramienta para los colombianos».

Fuera bromas, esta herramienta la he visto incluida en otras herramientas de escaneos webs, que primero hacen el crawler y luego escanean el sitio en busca de vulnerabilidades.

¿Para qué sirve el fichero robots?

Básicamente para que las arañas de los navegadores no indexen el contenido que el webmaster ha declarado que no quiere que indexen.

Para un auditor esto es contraproducente ya que está revelando públicamente que directorios no quieren que se indexen por algún motivo. Estos motivos pueden ser que haya directorios sensibles, que es lo primero que buscará un auditor para buscar vulnerabilidades en el sitio web.

Otro motivo puede ser que haya habido un escándalo público y ya no quieres que se relacione tu sitio web con algún personaje público.

Los directorios indicados en el robots pueden estar accesibles o no y esta herramienta es la que nos ayudará a discernir esto.

Actualización 2026: estado de la herramienta hoy

Parsero es obra de Javier Nieto (@behindfirewalls) y nació en diciembre de 2013 como un script en Python para auditar el fichero robots.txt de un servidor web: lee las entradas Disallow y comprueba el código de estado HTTP de cada una para distinguir las rutas realmente accesibles de las que no lo son. Su repositorio oficial (github.com/behindthefirewalls/Parsero) sigue público, no está archivado y se distribuye bajo licencia GPL-2.0, con 81 commits y 173 estrellas.

Parsero, auditando el robots.txt de los sitios web

El proyecto no muestra evidencia de desarrollo activo reciente —el ejemplo del propio README referencia la versión 0.75, fechada en mayo de 2014, y no existen releases ni etiquetas—, pero la herramienta sigue viva en la práctica: está empaquetada en Kali Linux (se instala con apt install parsero) y documentada en los manuales de Debian y Ubuntu, lo que garantiza que se mantiene funcional en las distribuciones de auditoría actuales.

En resumen: Parsero es una herramienta madura y sin mantenimiento activo, pero operativa para su propósito original, que es simple y no ha cambiado: pedir un robots.txt y medir qué responde cada ruta declarada en él.

Actualización 2026: cómo aplica la técnica hoy

La técnica que describe este artículo sigue siendo un paso estándar de reconocimiento: revisar el robots.txt en busca de rutas sensibles que el administrador quiso ocultar a los buscadores pero que siguen respondiendo al acceso directo. El protocolo se formalizó además como estándar de Internet (RFC 9309, 2022) sin cambios en su mecánica básica, de modo que la lógica de Parsero —enumerar los Disallow y clasificarlos por código de estado HTTP— continúa siendo válida.

Lo que sí ha cambiado es el ecosistema que la rodea: hoy esta comprobación suele venir integrada en los escáneres web modernos y en los flujos de reconocimiento automatizado, y la superficie a revisar se ha ampliado (sitemap.xml, ficheros de seguridad, cabeceras y rutas de administración expuestas). Parsero conserva su valor como comprobación ligera y dedicada, ideal para una primera pasada rápida sobre un objetivo antes de lanzar herramientas más pesadas.

La lección defensiva tampoco ha cambiado: nada que deba permanecer privado debe aparecer en el robots.txt, porque el fichero es público por diseño. Si una ruta sensible existe, la protección correcta es el control de acceso en el servidor, no una línea Disallow.

Instalando Parsero.

Parsero tiene algunas dependencias, yo lo he ejecutado bajo Kali Linux.

Vamos a ejecutar Parsero en un sitio web, por ejemplo Google

No todo lo que hay en el Robots.txt de Google para que no se indexe no está accesible :D!.

Ahora le pasamos la herramienta a un sitio en el que ya no quieren que se le relacione ni se indexe nada con él.

En instalaciones de CMS también se suele poner en el robots que no indexe el contenido.

Esta herramienta, la podemos integrar con otras herramientas en el proceso de auditoría, para tratar de encontrar directorios que nos puedan interesar.

[+] ¿Necesitas auditar la exposición de tu sitio web?

En DragonJAR realizamos auditorías de seguridad y pruebas de penetración que incluyen el análisis de exposición de información: robots.txt, rutas sensibles, configuraciones y superficies de ataque que los escáneres automáticos pasan por alto. Conoce nuestros servicios de seguridad informática y descubre qué está viendo un atacante de tu infraestructura.

target=»_blank» rel=»noopener»>https://github.com/behindthefirewalls/Parsero