SNS网站的ROBOTS.TXT

来源：互联网发布：淘宝关于退换货说明编辑：程序博客网时间：2024/05/02 01:03

　　以千橡旗下的两大SNS站：开心网、人人网为例，我认为SNS网站从robot.txt开始就已经走错了。我们来看开心网的robots.txt：

　　

　　其中有一句“Disallow: /profile.do*”，即不允许搜索引擎抓取网站中包含profile.do的所有网址，而profile.do恰恰是与个人主页相关联的网址（人人网robots.txt与上图完全相同）。

　　如果我以自己的名字在开心网建立了个人主页，朋友在搜索引擎上搜索的时候，是找不到我在开心网上的个人主页的。

　　SNS站更多的是为人与人之间的关系服务，但SNS站为什么不让搜索引擎抓取与个人主页相关的任何资源？是想给别人说要找人就要上你的SNS网站？不敢苟同，SNS站这样做同时也浪费了搜索朋友的潜在用户。

　　作者：hi3w@SEM根据地
　　原文地址：http://blog.csdn.net/hi3wsem/archive/2009/11/07/4783340.aspx
　　原创文章如转载，请以链接形式注明作者及原始出处。