wordpress中如何正确书写robots.txt

首先我们来查看一个朋友的robots.txt，显然他的是不曾修改的，用的还是Wordpress默认的。

这种缺陷是巨大的，因为没有屏蔽/wp-content/和/wp-includes/等诸多文件，假以时日，会有很多后台文件都被收录的，像这样

所以我们需要更加完整的robots.txt内容，防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt，大家都可以参考。
其一

User-agent: *Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: /*/comment-page-*Disallow: /*?replytocom=*Disallow: /category/*/page/Disallow: /tag/*/page/Disallow: /*/trackbackDisallow: /feedDisallow: /*/feedDisallow: /comments/feedDisallow: /?s=*Disallow: /*/?s=*\Disallow: /*?*Disallow: /attachment/

其二

User-agent: *Disallow: /wp-*Disallow: /qiuye-*Disallow: /*replytocom=Disallow: /*?iapolo_co*Disallow: /page/*?iapolo_co*Disallow: /page/?iapolo_co*Disallow: /?iapolo_co*Disallow: /?ad=daDisallow: /?iapolo.comDisallow: /daohang/Disallow: /wp-login.php?*Disallow: /?_=*Disallow: /?p=*Disallow: /api/*Disallow: /*.js$Disallow: /*.css$Disallow: /*.eot$Disallow: /*.svg$Disallow: /*.ttf$Disallow: /*.woff$Disallow: /*.json$Disallow: /page/1Disallow: /shuoshuo/Disallow: /jiayi

我们都可以作为参考，大家可以根据上面的删除不要的，然后上传到网站根目录，然后去百度站长平台，进行检测，如下图，js文件百度蜘蛛将不再抓取

---

更多文章：http://liuyanzhao.com/2207.html
本文地址：http://liuyanzhao.com/3275.html
转载请注明