Esta herramienta me hace bastante gracia, ya que cuando hablo con Jaime (Dragon) por Skype el siempre me dice parcero, y cuando vi esta herramienta pensé: «Una herramienta para los colombianos».
Fuera bromas, esta herramienta la he visto incluida en otras herramientas de escaneos webs, que primero hacen el crawler y luego escanean el sitio en busca de vulnerabilidades.
¿Para que sirve el fichero robots?
Básicamente para que las arañas de los navegadores no indexen el contenido que el webmaster ha declarado que no quiere que indexen.
Para un auditor esto es contraproducente ya que está revelando públicamente que directorios no quieren que se indexen por algún motivo. Estos motivos pueden ser que haya directorios sensibles, que es lo primero que buscará un auditor para buscar vulnerabilidades en el sitio web.
Otro motivo puede ser que haya habido un escándalo público y ya no quieres que se relacione tu sitio web con algún personaje público.
Los directorios indicados en el robots pueden estar accesibles o no y esta herramienta es la que nos ayudará a discernir esto.
Instalando Parsero.
Parsero tiene algunas dependencias, yo lo he ejecutado bajo Kali Linux.
Vamos a ejecutar Parsero en un sitio web, por ejemplo Google
No todo lo que hay en el Robots.txt de Google para que no se indexe no está accesible :D!.
Ahora le pasamos la herramienta a un sitio en el que ya no quieren que se le relacione ni se indexe nada con él.
En instalaciones de CMS también se suele poner en el robots que no indexe el contenido.
Esta herramienta, la podemos integrar con otras herramientas en el proceso de auditoría, para tratar de encontrar directorios que nos puedan interesar.
