python开启并行计算

来源:互联网 发布:算法 编辑:程序博客网 时间:2024/06/11 21:51
import pp

#设置并行计算
ppservers = ()
job_server = pp.Server(ppservers=ppservers)
job_server.get_ncpus()


def myfunction(……):
    ……
    return(myresult)


#获取全部的Access数据文件
files=os.listdir("C:/")
#开启并行计算
jobs = [(input, job_server.submit(myfunction,(input,), (), ("pypyodbc","pandas","numpy","datetime","os"))) for input in files]
#获取并行计算的结果        
for input, job in jobs:
    temp=job()
#合成数据框
frames=[pandas.DataFrame(job()) for input, job in jobs]
finalresult=pandas.concat(frames)

0 0