############################################################# # # robots.txt file in root directory # http://www.searchengineworld.com/misc/robots_txt_crawl.htm # ############################################################# User-agent: * Disallow: /errordocs/ Disallow: /gpics/ Disallow: /images/ Disallow: /lib/ Disallow: /logs/ Disallow: /pictures/ Disallow: /secure/ Disallow: /vpics/ # #