Wordpress如何正确书写Robots.txt

首先我们来查看一个朋友的robots.txt，显然他的是不曾修改的，用的还是Wordpress默认的。

这种缺陷是巨大的，因为没有屏蔽/wp-content/和/wp-includes/等诸多文件，假以时日，会有很多后台文件都被收录的，像这样

所以我们需要更加完整的robots.txt内容，防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt，大家都可以参考。

其一

 User-agent: *    Disallow: /wp-admin/    Disallow: /wp-content/    Disallow: /wp-includes/    Disallow: /*/comment-page-*    Disallow: /*?replytocom=*    Disallow: /category/*/page/    Disallow: /tag/*/page/    Disallow: /*/trackback    Disallow: /feed    Disallow: /*/feed    Disallow: /comments/feed    Disallow: /?s=*    Disallow: /*/?s=*\    Disallow: /*?*    Disallow: /attachment/

其二

    User-agent: *    Disallow: /wp-*    Disallow: /qiuye-*    Disallow: /*replytocom=    Disallow: /*?iapolo_co*    Disallow: /page/*?iapolo_co*    Disallow: /page/?iapolo_co*    Disallow: /?iapolo_co*    Disallow: /?ad=da    Disallow: /?iapolo.com    Disallow: /daohang/    Disallow: /wp-login.php?*    Disallow: /?_=*    Disallow: /?p=*    Disallow: /api/*    Disallow: /*.js$    Disallow: /*.css$    Disallow: /*.eot$    Disallow: /*.svg$    Disallow: /*.ttf$    Disallow: /*.woff$    Disallow: /*.json$    Disallow: /page/1    Disallow: /shuoshuo/    Disallow: /jiayi

我们都可以作为参考，大家可以根据上面的删除不要的，然后上传到网站根目录，然后去百度站长平台，进行检测，如下图，js文件百度蜘蛛将不再抓取

---

更多文章：http://liuyanzhao.com/2207.html
本文地址：http://liuyanzhao.com/3275.html
转载请注明