屏蔽百度爬虫搜索
来源:互联网 发布:caffe loss震荡 编辑:程序博客网 时间:2024/05/01 21:03
在百度C2C产品“百度有啊”即将上线的时候,淘宝网站曾经屏蔽百度搜索爬虫,禁止百度搜索引擎抓取淘宝网站的网页内容,淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面,淘宝屏蔽百度的方法是,在网站的robots.txt文件中加上如下内容:
User-agent: Baiduspider
Disallow: /
但实际上这种方法并不能完全屏蔽百度的爬虫,至今在百度上输入site:taobao.com还是可以看到内容,要不要索引网站,还是由百度说了算,要是遵守robots协议,那才不会索引,因此要想完全屏蔽百度的爬虫,需要在.htaccess中加入一些语句才可以,下面介绍两种方法。
方法1:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F]
方法2:
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
当然,对于普通中文网站来说,还是不建议屏蔽百度的爬虫,通常情况下做一些大型的英文网站,才有必要这么做,以节省流量。
同时个人搜索了一下发现貌似百度站长平台有解决方案。:robots
- 屏蔽百度爬虫搜索
- 屏蔽百度爬虫的方法
- 百度搜索结果爬虫
- 如何屏蔽百度搜索推广
- 淘宝网开始屏蔽百度蜘蛛爬虫
- python 爬虫百度搜索结果
- 百度搜索-爬虫保存结果
- 使用javascript屏蔽百度搜索的广告
- 百度搜索屏蔽掉右侧的推荐
- 解决GitHub Pages屏蔽百度爬虫的方法
- 【爬虫】爬取百度搜索结果页面
- Python3爬虫百度图片搜索的图片
- python爬虫爬取百度搜索结果
- Python爬虫抓取百度搜索图片
- 爬取百度搜索结果的爬虫
- 百度手机搜索屏蔽“美女”,却允许“美女 包养”?!
- Python爬虫爬取百度搜索结果——邮箱地址
- python爬虫抓取多关键词搜索的百度图片
- 顺序容器vector、list、deque的区别
- strcpy函数
- nginx 服务并发过10万的linux内核优化配置
- 修改oracle最大连接数
- 12款浏览器兼容性测试工具推荐
- 屏蔽百度爬虫搜索
- “蝙蝠”关系学(下)之二:李学凌口述给创业者的第一堂课
- x86下的C函数调用惯例
- 判断关联规则是否可靠-提升度 lift,KULC,IR
- CArray 的两种方式与类中包含指针情况
- 同一款Android软件有两样东西是不会变的:包名和数字签名
- android开机充电logo的显示方法
- 类型的比较
- java滑动窗口(实现平滑数据量)