en cart站内优化之robots.txt编写实例

robots.txt的的作用是告诉搜素允许或者不允许收录网站的哪些页面，默认是允许收录。robot单词本身是机器人的意思。 详解介绍请查看robots.txt的功能和写法详解.

现在我需要的是确定哪些页面是不需要被抓取的。下面是一个正在使用的robots.文件，你可以参考自己的网站修改使用。:-)

等一些，但是我建议；1.admin或者其他后台管理文件夹不要写，一会暴露后台地址，二没必要，前台页面中没有链接是链接到后台的，所有蜘蛛爬不到的，htmlarea文件夹同理。2.extras 和 docs 文件夹，网站安装完是必须要删除掉的，无用文件而且影响网站安全.3.其他例如conract_us等页面，页面中可以含有商品的关键词或者潜在客户会搜索了解的一些内容，有助于站内链接和客户需要，所有没必要disallow，但是建议在网站页面的这几个内容链接属性加上rel=“nofollow”属性不分散权重。