python中map多进程使用方法

来源:互联网 发布:用工作站玩游戏知乎 编辑:程序博客网 时间:2024/06/05 23:43

from multiprocessing.dummy import Pool as ThreadPool

import requests


urls=[]

for i in range(1,20+1):

    newpage="http://www.xxxxxx.xxx.page="+str(i)


def getsource(url):

     html= reauests.get(url)


pool = ThreadPool(4)       ###如果电脑是8核,可以改成8

result = pool.map(getsource, urls)        ###   pool.map(爬取函数,url列表)

pool.close()

pool.join()



原创粉丝点击