Scrapy研究探索(七)——如何防止被ban之策略大集合
来源:互联网 发布:行政许可知乎 编辑:程序博客网 时间:2024/04/28 21:46
话说在尝试设置download_delay小于1,并且无任何其他防止被ban的策略之后,我终于成功的被ban了。
关于scrapy的使用可参见之前文章:
敌退我进,敌攻我挡。
本篇博客主要研究使用防止被ban的几大策略以及在scrapy中的使用。
1.策略一:设置download_delay
这个在之前的教程中已经使用过,他的作用主要是设置下载的等待时间,大规模集中的访问对服务器的影响最大,相当与短时间中增大服务器负载。
下载等待时间长,不能满足段时间大规模抓取的要求,太短则大大增加了被ban的几率。
使用注意:
download_delay可以设置在settings.py中,也可以在spider中设置,在之前博客中已经使用过,这里不再过多阐述。
2.策略二:禁止cookies
所谓cookies,是指某些网站为了辨别用户身份而储存在用户本地终端(Client Side)上的数据(通常经过加密),禁止cookies也就防止了可能使用cookies识别爬虫轨迹的网站得逞。
使用:
在settings.py中设置COOKIES_ENABLES=False。也就是不启用cookies middleware,不想web server发送cookies。
3.策略三:使用user agent池
所谓的user agent,是指包含浏览器信息、操作系统信息等的一个字符串,也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。在request.headers可以查看user agent。如下,使用scrapy shell查看:
进而输入如下,可得到uesr agent信息:
由此得到,scrapy本身是使用Scrapy/0.22.2来表明自己身份的。这也就暴露了自己是爬虫的信息。
使用:
首先编写自己的UserAgentMiddle中间件,新建rotate_useragent.py,代码如下:
除此之外,要在settings.py(配置文件)中禁用默认的useragent并启用重新实现的User Agent。配置方法如下:
至此配置完毕。现在可以运行看下效果。
可以发现一直在变化的UserAgent。
4.策略四:使用IP池
web server应对爬虫的策略之一就是直接将你的IP或者是整个IP段都封掉禁止访问,这时候,当IP封掉后,转换到其他的IP继续访问即可。
可以使用Scrapy+Tor+polipo
配置方法与使用教程可参见:http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/。有时间我会翻译过来。
5.策略五:分布式爬取
这个,内容就更多了,针对scrapy,也有相关的针对分布式爬取的GitHub repo。可以搜一下。
原文连接:http://blog.csdn.net/u012150179/article/details/35774323
- Scrapy研究探索(七)——如何防止被ban之策略大集合
- Scrapy研究探索(七)——如何防止被ban之策略大集合
- Scrapy研究探索(七)——如何防止被ban之策略大集合
- Scrapy研究探索(七)——如何防止被ban之策略大集合
- Scrapy ——如何防止被ban 屏蔽 之策略大集合(六)
- Scrapy研究探索(六)——自动爬取网页之II(CrawlSpider)
- Scrapy研究探索(六)——自动爬取网页之II(CrawlSpider)
- Scrapy研究探索(六)——自动爬取网页之II(CrawlSpider)
- Scrapy研究探索(六)——自动爬取网页之II(CrawlSpider)
- Scrapy研究探索(一)——基础入门
- Scrapy研究探索(一)——基础入门
- [scrapy]如何让你的scrapy爬虫不再被ban
- [scrapy]如何让你的scrapy爬虫不再被ban
- Scrapy 探索:如何防止爬虫被禁止(翻译、转载、整理)
- Scrapy研究探索(三)——Scrapy核心架构与代码运行分析
- Scrapy研究探索(三)——Scrapy核心架构与代码运行分析
- 網絡爬蟲,防止被ban
- scrapy爬虫防ban策略总结
- 用十条命令在一分钟内检查Linux服务器性能
- GTK+-3.0编程 (四) 网格布局 Grid
- 递归应用
- shell脚本的一个简单运算
- 动态链接和静态连接的优缺点
- Scrapy研究探索(七)——如何防止被ban之策略大集合
- ImageView
- [samtools]sort命令简介
- 【NOIP 2005提高】谁拿了最多奖学金 简单的模拟
- JavaScript基本介绍
- easyui-textbox取值和赋值
- CSS选择器
- 关于ViewPager滑动广告栏所出的问题和布局分析,做一个结果。。。
- CentOS显示没有网卡(eth0)