Python 单线程与多线程批量下载的比较

目前刚学习了Python，想要自己试试爬虫下载，就看了《Python核心编程》这本书，和综合了网上很多的爬虫下载的代码，所以自己来试试。BTW：我用的是python3.6.

这是单线程下载30个url：

from urllib.request import urlretrieve
import time
import random
start=time.time()
f=open('E:\Python\py\web\hh.txt','r')#打开存放URL的文件
a=f.readlines()
f.close()
for i in a:
    b=random.randint(0,30)
    urlretrieve(i,'%d.png'%b) 
end=time.time()
print(end-start)

输出时间是：4.2432427406311035

同样的url文件，我用多线程和队列来实现：

from urllib.request import urlretrieve
import queue  
import threading   
import random
import time
class download(threading.Thread):  
    def __init__(self,que):  
        threading.Thread.__init__(self)  
        self.que=que  
    def run(self):  
        while True:  
            if not self.que.empty():   
                host=self.que.get()
                a=random.randint(0,30)
                urlretrieve(host,'%d.png'%a) 
            else:  
                break  
  
def Down():  
    f=open('E:\Python\py\web\hh.txt','r')
    a=f.readlines()
    f.close()
    que=queue.Queue() 
    threads=[]
    for i in a:  
        que.put(i)  
    for i in range(20):  
        d=download(que) 
        threads.append(d)
    for i in threads:
        i.start()
    for i in threads:
        i.join()
  
if __name__=='__main__':   
    start=time.time()
    Down()  
    end=time.time()
    print(end-start)

最后输出是：3.6262073516845703          可以看出多线程是快了一点的

在最后我还想试试用线程池来试试，但发现我下载的Anaconda3上没有threadpool这个模块，就之后再试了

第一次写博客，想想都有点激动