scrapy绕过反爬虫

这里还是用scrapy框架写的爬虫。
最近才开始学习的，经过搜索了之后，常见的反爬虫方案大致有几个：
1.针对用户行为，常见的就是网站会针对ip访问频率统计，访问太过频繁，会禁止该ip地址的访问
2.判断Header，比如如果User-agent是爬虫或者检测工具，或者非正常的浏览器，就禁止该次连接
3.数据加载方式，采用ajax异步加载，这样只是爬取静态页面的话什么信息都没有办法得到

下面实现一下每一个方案的应对方案：

1.针对用户行为
针对用户行为基本上就是对ip地址的访问统计，还有同一个用户多次相同的行为什么的，不过这里是为了爬取url，基本不会有后者的情况。
可以采用代理ip来解决，写一个爬虫爬取免费的代理网站，获取到一批免费代理，然后每次都随机选一个就好了。
下面是爬取代理的代码，注意频率不要太高，免费的代理网站也是有反爬虫的。

# -*- coding: utf-8 -*-import scrapyimport timefrom scrapy.selector import Selectorclass Proxyspider(scrapy.Spider):    name = 'proxy'    allowed_domains = ['www.xicidaili.com']    start_urls = ['http://www.xicidaili.com/']    def start_requests(self):        burl = "http://www.xicidaili.com/nn/"        for i in range(1,5):            yield scrapy.Request(url=burl+str(i), callback=self.parse)    def parse(self, response):        se = scrapy.Selector(response)        cnt = 0        site = se.xpath('//tr')        for s in site:            content = s.xpath('.//td/text()').extract()            if len(content) > 2:                scheme = content[5]                if scheme == 'HTTP' or scheme == 'HTTPS':                    print '%s://%s:%s'%(scheme.lower(), content[0], content[1])

免费的代理不一定能用，需要先做一下测试

# testproxy.py#encoding=utf8import urllibimport requestsimport sysif __name__ == "__main__":    for url in sys.stdin:        resp = requests.get(url)        if resp.status_code == requests.codes.ok:            print url

然后写个脚本，用crontab设置其定期运行，就可以愉快地更新代理啦。

# updateproxy.shset -xscrapy crawl proxy > tmpcat tmp > python updateproxy.sh > proxy

crontab设置为每15分钟运行更新一次

*/15 * * * * cd /home/qiqi/spider/urlspider/urlspider && sh updateproxy.sh

现在我们有了一批定期更新的代理了，需要在scrapy运行过程中加入代理就可以了。
可以在发送请求的时候加上，也可以添加一个中间件，这里是添加了中间件。
添加中间件的代码：

# middlewares.pyclass ProxyMiddleware(object):    def process_request(self, request, spider):        f = open("proxy", "r")        proxy = f.readlines()        # print request.headers        try:            request.meta['proxy'] = random.choice(proxy)        except Exception, e:            print >> sys.stderr, e

在设置setting.py中进行配置

DOWNLOADER_MIDDLEWARES = {    'tutorial.middlewares.ProxyMiddleware': 100,}

这就完成了代理配置了。

2.判断Header
对这个只需要在请求时都构造一个header就可以了。
user-agent：可以移步http://blog.csdn.net/bone_ace/article/details/52476016 这里提供了非常全的user-agent
referer：可以填上一个爬取的页面

myheader = {            'referer': response.url,            'user-agent': random.choice(UrlSpider.user_agent), #user_agent是从上面提到的文章中摘取的列表        }yield scrapy.Request(url, self.parse, headers=myheader)

3.数据加载方式
scrapy+splash可以爬取JS生成的动态页面
先安装splash

sudo pip install scrapy-splash

splash一般是运行在docker上面的，因此需要先下载docker

sudo apt-get install docker

然后拉取镜像运行

sudo docker pull scrapinghub/splashdocker run -p 8000:8000 scrapinghub/splash

在setting.py中配置splash

SPLASH_URL = 'http://127.0.0.1:8000'...DOWNLOADER_MIDDLEWARES = { 'tutorial.middlewares.ProxyMiddleware': 100,'scrapy_splash.SplashCookiesMiddleware': 723,'scrapy_splash.SplashMiddleware': 725,'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,}...SPIDER_MIDDLEWARES = {'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,}...DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'...HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

然后修改spiders,将scrapy.Request替换为SplashRequest

# -*- coding: utf-8 -*-import scrapyimport urlparseimport randomfrom urlspider.items import UrlspiderItemfrom scrapy.selector import Selectorfrom scrapy_splash import SplashRequestclass UrlSpider(scrapy.Spider):    name = 'url'    allowed_domains = ['opencv.org']    start_urls = ['http://opencv.org/']    result_urls = []    user_agent=[]    black_list = ['.jpeg', '.jpg', '.png', '.gif',                  '.css', '.json',                  '.mp3', '.mp4',                  '.zip', '.tar.gz', '.rar', '.7z']    def start_requests(self):        self.get_UA()        for url in UrlSpider.start_urls:            myheader = {                'referer': response.url,                'user-agent': random.choice(UrlSpider.user_agent), #user_agent是从上面提到的文章中摘取的列表            }            yield SplashRequest(url, self.parse, args={'wait': 1.0})    def parse(self, response):        item = UrlspiderItem()        item['url'] = response.url        se = Selector(response)        result = set()        site = se.xpath('//a/@href').extract()        for s in site:            tmpurl = urlparse.urljoin(response.url, s)            if self.check_url(tmpurl):                continue            if tmpurl not in result:                result.add(tmpurl)        myheader = {            'referer': response.url,            'user-agent': random.choice(UrlSpider.user_agent), #user_agent是从上面提到的文章中摘取的列表        }        for r in result:            if r not in UrlSpider.result_urls:                UrlSpider.result_urls.append(r)                yield SplashRequest(url, self.parse, header=myheader, args={'wait': 1.0})        yield item    def get_UA(self):        for line in open('UA'):            UrlSpider.user_agent.append(line)    def check_url(self, url):        tmp = urlparse.urlparse(url)        res = False        for i in UrlSpider.black_list:            print tmp['path']            if i in tmp['path']:                 res = True                 return res        return res

这样就可以获取到JS动态加载生成的页面了。