Parsero, auditando el robots.txt de los sitios web
Ene04

Parsero, auditando el robots.txt de los sitios web

Esta herramienta me hace bastante gracia, ya que cuando hablo con Jaime (Dragon) por Skype el siempre me dice parcero, y cuando vi esta herramienta pensé: “Una herramienta para los colombianos”. Fuera bromas, esta herramienta la he visto incluida en otras herramientas de escaneos webs, que primero hacen el crawler y luego escanean el sitio en busca de vulnerabilidades. ¿Para que sirve el fichero robots? Básicamente para que las arañas de los navegadores no indexen el contenido que el webmaster ha declarado que no quiere que indexen. Para un auditor esto es contraproducente ya que está revelando públicamente que directorios no quieren que se indexen por algún motivo. Estos motivos pueden ser que haya directorios sensibles, que es lo primero que buscará un auditor para buscar vulnerabilidades en el sitio web. Otro motivo puede ser que haya habido un escándalo público y ya no quieres que se relacione tu sitio web con algún personaje público. Los directorios indicados en el robots pueden estar accesibles o no y esta herramienta es la que nos ayudará a discernir esto. Instalando Parsero. Parsero tiene algunas dependencias, yo lo he ejecutado bajo Kali Linux. sudo apt-get install python-pip sudo apt-get install python3 sudo apt-get install python3-pip sudo pip-3.2 install urllib3 Vamos a ejecutar Parsero en un sitio web, por ejemplo Google </pre> [email protected]:~/tools/Parsero# python3 parsero.py -u www.google.es ____ | _ \ __ _ _ __ ___ ___ _ __ ___ | |_) / _` | '__/ __|/ _ \ '__/ _ \ | __/ (_| | | \__ \ __/ | | (_) | |_| \__,_|_| |___/\___|_| \___/ Starting Parsero v0.45 (https://github.com/behindthefirewalls/Parsero) at 01/04/14 05:42:06 Parsero scan report for www.google.es www.google.es/search 302 Found www.google.es/sdch 404 Not Found www.google.es/groups 404 Not Found www.google.es/images 302 Found www.google.es/catalogs 200 OK www.google.es/catalogues 404 Not Found www.google.es/news 404 Not Found www.google.es/nwshp 404 Not Found www.google.es/setnewsprefs? 404 Not Found www.google.es/index.html? 200 OK www.google.es/? 200 OK www.google.es/?hl=*& 200 OK www.google.es/addurl/image? 301 Moved Permanently www.google.es/pagead/ 404 Not Found www.google.es/relpage/ 404 Not Found www.google.es/relcontent 404 Not Found www.google.es/imgres 301 Moved Permanently www.google.es/imglanding 301 Moved Permanently www.google.es/sbd 403 Forbidden www.google.es/keyword/ 404 Not Found www.google.es/u/ 404 Not Found www.google.es/univ/ 301 Moved Permanently www.google.es/cobrand 404 Not Found www.google.es/custom 200 OK www.google.es/advanced_group_search 404 Not Found www.google.es/googlesite 404 Not Found www.google.es/preferences 200 OK www.google.es/setprefs 302 Found www.google.es/swr 404 Not Found www.google.es/url 404 Not Found www.google.es/default 302 Found www.google.es/m? 200 OK www.google.es/m/ 404 Not Found www.google.es/wml? 200 OK www.google.es/wml/? 404 Not Found www.google.es/wml/search? 200 OK www.google.es/xhtml? 200 OK www.google.es/xhtml/? 404 Not Found www.google.es/xhtml/search? 200 OK www.google.es/xml? 403 Forbidden www.google.es/imode? 200 OK www.google.es/imode/? 404 Not Found www.google.es/imode/search? 404 Not Found www.google.es/jsky? 200 OK www.google.es/jsky/? 404 Not Found www.google.es/jsky/search? 404...

Leer Más

Siguenos!

O Puedes Subscribete

ANTES DE

SALIRTE ...

NO TE

ARREPENTIRÁS

!Gracias¡

NO OLVIDES NUESTRAS REDES SOCIALES