Python协程并发 爬虫下载

我用的是gevent模块来使用协程，另外这里强烈推荐下Anaconda3，因为几乎所有包都有，安装很方便。

gevent并发下载我是借鉴了http://blog.csdn.net/wzm112/article/details/8171146这一篇文章的，不过因为它有点旧了，所有我用了requests库重新写了下。

代码非常简单，速度却比多进程和多线程快了非常多。

代码如下：

#同样的，下载30个url

import random
import time
import gevent
import gevent.monkey
gevent.monkey.patch_all()#有IO时使用
import requests


def download(url):
    a=random.randint(0,40)
    s=requests.Session()
    res=s.get(url)
    with open('%d.jpg'%a,'wb')as f:
        f.write(res.content)
if __name__=='__main__':
    s=time.time()
    f=open('E:\Python\py\process+xiec\\test.txt','r')
    b=f.readlines()
    f.close()
    for i in b:
        ge=[gevent.spawn(download,i)]
    gevent.joinall(ge)
    e=time.time()
    print(e-s)
    

输出时间：1.499

比多进程（8s多）和多线程（4s多）快多了

另外，我也试了多进程+协程（听说并发更快）的方式来并发下载，试了3次，电脑都崩溃了。

这方式我在想想吧。