parrallel python study notes

来源:互联网 发布:linux子目录权限 编辑:程序博客网 时间:2024/05/17 01:09

工作中需要用到python 数据预处理,然后 跑spark hadoop 太过繁琐,为提高计算速度,再加所用服务器核比较多,然后考虑用parrelell python.



1、pp用的包 :包名叫pp,  pip install pp

import math,sys,timeimport pp

2、主要函数

job_server = pp.Server(cpu_number,ppservers = ppserver)job1 = job_server.submit(***)job2 = job_server.submit(***)jobn = job_server.submit(***)




0 0
原创粉丝点击