python中map多进程使用方法
来源:互联网 发布:用工作站玩游戏知乎 编辑:程序博客网 时间:2024/06/05 23:43
from multiprocessing.dummy import Pool as ThreadPool
import requests
urls=[]
for i in range(1,20+1):
newpage="http://www.xxxxxx.xxx.page="+str(i)
def getsource(url):
html= reauests.get(url)
pool = ThreadPool(4) ###如果电脑是8核,可以改成8
result = pool.map(getsource, urls) ### pool.map(爬取函数,url列表)
pool.close()
pool.join()
阅读全文
0 0
- python中map多进程使用方法
- Python多进程使用方法
- python中map、filter、reduce 函数使用方法
- Python:map()的使用方法
- python 进程,线程的使用方法
- jquery 中 $.map 的使用方法
- C++中 map::at 使用方法
- STL中map使用方法详解
- jquery 中 $.map 的使用方法
- jquery 中 $.map 的使用方法
- java中Map的使用方法
- jquery 中 $.map 的使用方法
- jquery 中 $.map 的使用方法
- jquery 中 $.map 的使用方法
- python中多进程编程
- python中split使用方法
- python中yield使用方法
- python中_str_使用方法
- [python3.6 flask web学习]Flask用户权限管理
- Android7.0应用程序自助更新跳转安装界面出现解析包出错
- Android 简单的点击震动
- 关于在JetBrains WebStorm 2017.2 x64上配置本地服务器(apache)
- Android 7.0 PopupWindow 的showAsDropDown(View v)适配
- python中map多进程使用方法
- hibernate注解之单/双向多对一映射
- new一个对象的时候JVM都做了那些事情
- telnet 命令发送HTTP请求报文
- Html Css 未掌握的地方回顾复习
- 漂亮回答面试官struts2的原理
- 简单选择排序、直接插入排序、归并排序
- 案例:数据库open时报错ORA-1172,ORA-1151 处理
- 斯坦福《编程方法学》Karel环境搭建问题一:运行时出现jpanel面板只有file选项 没有karel机器人的现象