Parsero, auditando el robots.txt de los sitios web

Esta herramienta me hace bastante gracia, ya que cuando hablo con Jaime (Dragon) por Skype el siempre me dice parcero, y cuando vi esta herramienta pensé: "Una herramienta para los colombianos".

Fuera bromas, esta herramienta la he visto incluida en otras herramientas de escaneos webs, que primero hacen el crawler y luego escanean el sitio en busca de vulnerabilidades.

¿Para que sirve el fichero robots?

Básicamente para que las arañas de los navegadores no indexen el contenido que el webmaster ha declarado que no quiere que indexen.

Para un auditor esto es contraproducente ya que está revelando públicamente que directorios no quieren que se indexen por algún motivo. Estos motivos pueden ser que haya directorios sensibles, que es lo primero que buscará un auditor para buscar vulnerabilidades en el sitio web.

Otro motivo puede ser que haya habido un escándalo público y ya no quieres que se relacione tu sitio web con algún personaje público.

Los directorios indicados en el robots pueden estar accesibles o no y esta herramienta es la que nos ayudará a discernir esto.

Instalando Parsero.

Parsero tiene algunas dependencias, yo lo he ejecutado bajo Kali Linux.


sudo apt-get install python-pip
sudo apt-get install python3
sudo apt-get install python3-pip
sudo pip-3.2 install urllib3

Vamos a ejecutar Parsero en un sitio web, por ejemplo Google

</pre>
root@kali:~/tools/Parsero# python3 parsero.py -u www.google.es

____
 | _ \ __ _ _ __ ___ ___ _ __ ___
 | |_) / _` | '__/ __|/ _ \ '__/ _ \
 | __/ (_| | | \__ \ __/ | | (_) |
 |_| \__,_|_| |___/\___|_| \___/

Starting Parsero v0.45 (https://github.com/behindthefirewalls/Parsero) at 01/04/14 05:42:06
Parsero scan report for www.google.es
www.google.es/search 302 Found
www.google.es/sdch 404 Not Found
www.google.es/groups 404 Not Found
www.google.es/images 302 Found
www.google.es/catalogs 200 OK
www.google.es/catalogues 404 Not Found
www.google.es/news 404 Not Found
www.google.es/nwshp 404 Not Found
www.google.es/setnewsprefs? 404 Not Found
www.google.es/index.html? 200 OK
www.google.es/? 200 OK
www.google.es/?hl=*& 200 OK
www.google.es/addurl/image? 301 Moved Permanently
www.google.es/pagead/ 404 Not Found
www.google.es/relpage/ 404 Not Found
www.google.es/relcontent 404 Not Found
www.google.es/imgres 301 Moved Permanently
www.google.es/imglanding 301 Moved Permanently
www.google.es/sbd 403 Forbidden
www.google.es/keyword/ 404 Not Found
www.google.es/u/ 404 Not Found
www.google.es/univ/ 301 Moved Permanently
www.google.es/cobrand 404 Not Found
www.google.es/custom 200 OK
www.google.es/advanced_group_search 404 Not Found
www.google.es/googlesite 404 Not Found
www.google.es/preferences 200 OK
www.google.es/setprefs 302 Found
www.google.es/swr 404 Not Found
www.google.es/url 404 Not Found
www.google.es/default 302 Found
www.google.es/m? 200 OK
www.google.es/m/ 404 Not Found
www.google.es/wml? 200 OK
www.google.es/wml/? 404 Not Found
www.google.es/wml/search? 200 OK
www.google.es/xhtml? 200 OK
www.google.es/xhtml/? 404 Not Found
www.google.es/xhtml/search? 200 OK
www.google.es/xml? 403 Forbidden
www.google.es/imode? 200 OK
www.google.es/imode/? 404 Not Found
www.google.es/imode/search? 404 Not Found
www.google.es/jsky? 200 OK
www.google.es/jsky/? 404 Not Found
www.google.es/jsky/search? 404 Not Found
www.google.es/pda? 200 OK
www.google.es/pda/? 404 Not Found
www.google.es/pda/search? 200 OK
www.google.es/sprint_xhtml 301 Moved Permanently
www.google.es/sprint_wml 301 Moved Permanently
www.google.es/pqa 404 Not Found
www.google.es/palm 404 Not Found
www.google.es/gwt/ 404 Not Found
www.google.es/purchases 404 Not Found
www.google.es/hws 404 Not Found
www.google.es/bsd? 302 Found
www.google.es/linux? 302 Found
www.google.es/mac? 302 Found
www.google.es/microsoft? 302 Found
www.google.es/unclesam? 302 Found
www.google.es/answers/search?q= 404 Not Found
www.google.es/local? 302 Found
www.google.es/local_url 400 Bad Request
www.google.es/shihui? 404 Not Found
www.google.es/shihui/ 404 Not Found
www.google.es/froogle? 301 Moved Permanently
www.google.es/products? 302 Found
www.google.es/products/ 301 Moved Permanently
www.google.es/froogle_ 404 Not Found
www.google.es/product_ 404 Not Found
www.google.es/products_ 404 Not Found
www.google.es/products; 302 Found
www.google.es/print 404 Not Found
www.google.es/books/ 200 OK
www.google.es/bkshp?*q=* 200 OK
www.google.es/books?*q=* 200 OK
www.google.es/books?*output=* 200 OK
www.google.es/books?*pg=* 200 OK
www.google.es/books?*jtp=* 200 OK
www.google.es/books?*jscmd=* 200 OK
www.google.es/books?*buy=* 200 OK
www.google.es/books?*zoom=* 200 OK
www.google.es/ebooks/ 404 Not Found
www.google.es/ebooks?*q=* 404 Not Found
www.google.es/ebooks?*output=* 404 Not Found
www.google.es/ebooks?*pg=* 404 Not Found
www.google.es/ebooks?*jscmd=* 404 Not Found
www.google.es/ebooks?*buy=* 404 Not Found
www.google.es/ebooks?*zoom=* 404 Not Found
www.google.es/patents? 302 Found
www.google.es/patents/download/ 302 Found
www.google.es/patents/pdf/ 302 Found
www.google.es/patents/related/ 404 Not Found
www.google.es/scholar 301 Moved Permanently
www.google.es/citations? 301 Moved Permanently
www.google.es/complete 404 Not Found
www.google.es/s? 400 Bad Request
www.google.es/sponsoredlinks 404 Not Found
www.google.es/videosearch? 404 Not Found
www.google.es/videopreview? 404 Not Found
www.google.es/videoprograminfo? 404 Not Found
www.google.es/maps? 302 Found
www.google.es/mapstt? 404 Not Found
www.google.es/mapslt? 404 Not Found
www.google.es/maps/stk/ 404 Not Found
www.google.es/maps/br? 404 Not Found
www.google.es/mapabcpoi? 404 Not Found
www.google.es/maphp? 302 Found
www.google.es/mapprint? 404 Not Found
www.google.es/maps/api/js/ 404 Not Found
www.google.es/maps/api/staticmap? 400 Bad Request
www.google.es/mld? 404 Not Found
www.google.es/staticmap? 400 Bad Request
www.google.es/places/ 404 Not Found
www.google.es/maps/preview 302 Found
www.google.es/maps/place 302 Found
www.google.es/help/maps/streetview/partners/welcome/ 200 OK
www.google.es/help/maps/indoormaps/partners/ 404 Not Found
www.google.es/lochp? 302 Found
www.google.es/center 404 Not Found
www.google.es/ie? 301 Moved Permanently
www.google.es/sms/demo? 404 Not Found
www.google.es/katrina? 404 Not Found
www.google.es/blogsearch? 200 OK
www.google.es/blogsearch/ 200 OK
www.google.es/blogsearch_feeds 301 Moved Permanently
www.google.es/advanced_blog_search 301 Moved Permanently
www.google.es/uds/ 200 OK
www.google.es/chart? 400 Bad Request
www.google.es/transit? 302 Found
www.google.es/mbd? 403 Forbidden
www.google.es/extern_js/ 404 Not Found
www.google.es/xjs/ 404 Not Found
www.google.es/calendar/feeds/ 400 Bad Request
www.google.es/calendar/ical/ 404 Not Found
www.google.es/cl2/feeds/ 404 Not Found
www.google.es/cl2/ical/ 404 Not Found
www.google.es/coop/directory 301 Moved Permanently
www.google.es/coop/manage 404 Not Found
www.google.es/trends? 301 Moved Permanently
www.google.es/trends/music? 301 Moved Permanently
www.google.es/trends/hottrends? 200 OK
www.google.es/trends/viz? 200 OK
www.google.es/trends/embed.js? 200 OK
www.google.es/trends/fetchComponent? 500 Internal Server Error
www.google.es/notebook/search? 301 Moved Permanently
www.google.es/musica 404 Not Found
www.google.es/musicad 404 Not Found
www.google.es/musicas 404 Not Found
www.google.es/musicl 404 Not Found
www.google.es/musics 404 Not Found
www.google.es/musicsearch 404 Not Found
www.google.es/musicsp 404 Not Found
www.google.es/musiclp 404 Not Found
www.google.es/browsersync 404 Not Found
www.google.es/call 404 Not Found
www.google.es/archivesearch? 301 Moved Permanently
www.google.es/archivesearch/url 301 Moved Permanently
www.google.es/archivesearch/advanced_search 301 Moved Permanently
www.google.es/base/reportbadoffer 404 Not Found
www.google.es/urchin_test/ 404 Not Found
www.google.es/movies? 200 OK
www.google.es/codesearch? 404 Not Found
www.google.es/codesearch/feeds/search? 404 Not Found
www.google.es/wapsearch? 200 OK
www.google.es/safebrowsing 404 Not Found
www.google.es/reviews/search? 302 Found
www.google.es/orkut/albums 404 Not Found
www.google.es/views? 301 Moved Permanently
www.google.es/c/ 404 Not Found
www.google.es/cbk 400 Bad Request
www.google.es/recharge/dashboard/car 404 Not Found
www.google.es/recharge/dashboard/static/ 404 Not Found
www.google.es/translate_a/ 404 Not Found
www.google.es/translate_c 400 Bad Request
www.google.es/translate_f 404 Not Found
www.google.es/translate_static/ 404 Not Found
www.google.es/translate_suggestion 404 Not Found
www.google.es/profiles/me 302 Moved Temporarily
www.google.es/s2/profiles/me 301 Moved Permanently
www.google.es/s2 404 Not Found
www.google.es/transconsole/portal/ 404 Not Found
www.google.es/gcc/ 404 Not Found
www.google.es/aclk 400 Bad Request
www.google.es/cse? 301 Moved Permanently
www.google.es/cse/home 302 Found
www.google.es/cse/panel 404 Not Found
www.google.es/cse/manage 404 Not Found
www.google.es/tbproxy/ 404 Not Found
www.google.es/imesync/ 404 Not Found
www.google.es/shenghuo/search? 404 Not Found
www.google.es/support/forum/search? 302 Moved Temporarily
www.google.es/reviews/polls/ 404 Not Found
www.google.es/hosted/images/ 404 Not Found
www.google.es/ppob/? 404 Not Found
www.google.es/ppob? 404 Not Found
www.google.es/adwordsresellers 404 Not Found
www.google.es/accounts/o8 404 Not Found
www.google.es/topicsearch?q= 404 Not Found
www.google.es/xfx7/ 404 Not Found
www.google.es/squared/api 404 Not Found
www.google.es/squared/search 404 Not Found
www.google.es/squared/table 404 Not Found
www.google.es/toolkit/ 404 Not Found
www.google.es/globalmarketfinder/ 404 Not Found
www.google.es/qnasearch? 404 Not Found
www.google.es/app/updates 404 Not Found
www.google.es/sidewiki/entry/ 404 Not Found
www.google.es/quality_form? 404 Not Found
www.google.es/labs/popgadget/search 404 Not Found
www.google.es/buzz/post 404 Not Found
www.google.es/compressiontest/ 200 OK
www.google.es/analytics/reporting/ 404 Not Found
www.google.es/analytics/admin/ 404 Not Found
www.google.es/analytics/web/ 404 Not Found
www.google.es/analytics/feeds/ 404 Not Found
www.google.es/analytics/settings/ 404 Not Found
www.google.es/alerts/ 301 Moved Permanently
www.google.es/ads/search 200 OK
www.google.es/ads/plan/action_plan? 400 Bad Request
www.google.es/ads/plan/api/ 404 Not Found
www.google.es/phone/compare/? 404 Not Found
www.google.es/travel/clk 404 Not Found
www.google.es/hotelfinder/rpc 405 HTTP method GET is not supported by this URL
www.google.es/hotels/rpc 405 HTTP method GET is not supported by this URL
www.google.es/flights/rpc 405 HTTP method GET is not supported by this URL
www.google.es/commercesearch/services/ 404 Not Found
www.google.es/evaluation/ 404 Not Found
www.google.es/chrome/browser/mobile/tour 404 Not Found
www.google.es/compare/*/apply* 404 Not Found
www.google.es/forms/perks/ 404 Not Found
www.google.es/baraza/*/search 404 Not Found
www.google.es/baraza/*/report 404 Not Found
www.google.es/shopping/suppliers/search 302 Moved Temporarily
www.google.es/ct/ 404 Not Found
www.google.es/edu/cs4hs/ 200 OK
www.google.es/trustedstores/s/ 302 Found
www.google.es/trustedstores/tm2 302 Found
www.google.es/trustedstores/verify 400 Bad Request
www.google.es/adwords/proposal 404 Not Found
www.google.es/shopping/product/ 302 Found
www.google.es/shopping/seller 200 OK
www.google.es/shopping/reviewer 302 Moved Temporarily
www.google.es/jobs/application/ 404 Not Found
www.google.es/about/jobs/applications/ 301 Moved Permanently
www.google.es/landing/signout.html 200 OK

247 links have been analyzed and 38 of them are available!!!

Finished in 31.955953121185303 seconds
<pre>

No todo lo que hay en el Robots.txt de Google para que no se indexe no está accesible :D!.

Ahora le pasamos la herramienta a un sitio en el que ya no quieren que se le relacione ni se indexe nada con él.


root@kali:~/tools/Parsero# python3 parsero.py -u www.casareal.es

____
 | _ \ __ _ _ __ ___ ___ _ __ ___
 | |_) / _` | '__/ __|/ _ \ '__/ _ \
 | __/ (_| | | \__ \ __/ | | (_) |
 |_| \__,_|_| |___/\___|_| \___/

Starting Parsero v0.45 (https://github.com/behindthefirewalls/Parsero) at 01/04/14 06:25:25
Parsero scan report for www.casareal.es
www.casareal.es 302 Redirect
www.casareal.es/_*/ 400 Bad Request
www.casareal.es/ES/FamiliaReal/Urdangarin/ 404 NOT FOUND
www.casareal.es/CA/FamiliaReal/Urdangarin/ 404 NOT FOUND
www.casareal.es/EU/FamiliaReal/Urdangarin/ 404 NOT FOUND
www.casareal.es/GL/FamiliaReal/Urdangarin/ 404 NOT FOUND
www.casareal.es/VA/FamiliaReal/Urdangarin/ 404 NOT FOUND
www.casareal.es/EN/FamiliaReal/Urdangarin/ 404 NOT FOUND

8 links have been analyzed but any them are available... :(

Finished in 1.1885402202606201 seconds

En instalaciones de CMS también se suele poner en el robots que no indexe el contenido.


<b>root@kali</b>:<b>~/tools/Parsero</b># python3 parsero.py -u www.cup.cat

&nbsp;

____

|  _ \ __ _ _ __ ___  ___ _ __ ___

| |_) / _` | '__/ __|/ _ \ '__/ _ \

|  __/ (_| | |  \__ \  __/ | | (_) |

|_|   \__,_|_|  |___/\___|_|  \___/

&nbsp;

Starting Parsero v0.45 (https://github.com/behindthefirewalls/Parsero) at 01/04/14 06:31:52

Parsero scan report for www.cup.cat

www.cup.cat/includes/ 301 Moved Permanently

www.cup.cat/misc/ 301 Moved Permanently

www.cup.cat/modules/ 301 Moved Permanently

www.cup.cat/profiles/ 301 Moved Permanently

www.cup.cat/scripts/ 301 Moved Permanently

www.cup.cat/themes/ 301 Moved Permanently

www.cup.cat/boost_stats.php 301 Moved Permanently

www.cup.cat/CHANGELOG.txt 301 Moved Permanently

www.cup.cat/cron.php 301 Moved Permanently

www.cup.cat/INSTALL.mysql.txt 301 Moved Permanently

www.cup.cat/INSTALL.pgsql.txt 301 Moved Permanently

www.cup.cat/install.php 301 Moved Permanently

www.cup.cat/INSTALL.txt 301 Moved Permanently

www.cup.cat/LICENSE.txt 301 Moved Permanently

www.cup.cat/MAINTAINERS.txt 301 Moved Permanently

www.cup.cat/update.php 301 Moved Permanently

www.cup.cat/UPGRADE.txt 301 Moved Permanently

www.cup.cat/xmlrpc.php 301 Moved Permanently

www.cup.cat/admin/ 301 Moved Permanently

www.cup.cat/comment/reply/ 301 Moved Permanently

www.cup.cat/contact/ 301 Moved Permanently

www.cup.cat/logout/ 301 Moved Permanently

www.cup.cat/node/add/ 301 Moved Permanently

www.cup.cat/search/ 301 Moved Permanently

www.cup.cat/user/register/ 301 Moved Permanently

www.cup.cat/user/password/ 301 Moved Permanently

www.cup.cat/user/login/ 301 Moved Permanently

www.cup.cat/?q=admin/ 301 Moved Permanently

www.cup.cat/?q=comment/reply/ 301 Moved Permanently

www.cup.cat/?q=contact/ 301 Moved Permanently

www.cup.cat/?q=logout/ 301 Moved Permanently

www.cup.cat/?q=node/add/ 301 Moved Permanently

www.cup.cat/?q=search/ 301 Moved Permanently

www.cup.cat/?q=user/password/ 301 Moved Permanently

www.cup.cat/?q=user/register/ 301 Moved Permanently

www.cup.cat/?q=user/login/ 301 Moved Permanently

&nbsp;

36 links have been analyzed but any them are available... :(

&nbsp;

Finished in 23.347599029541016 seconds

Esta herramienta, la podemos integrar con otras herramientas en el proceso de auditoría, para tratar de encontrar directorios que nos puedan interesar.

[+] https://github.com/behindthefirewalls/Parsero

Subir