【转载】如何搭建一个快速的分布式计算平台?Parallel python提供了简易的方式来实现此目的。
来源:互联网 发布:热血江湖人工智能披风 编辑:程序博客网 时间:2024/05/16 05:14
Parallel Python(https://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS)是Python进行分布式计算的开源模块,能够将计算压力分布到多核CPU或集群的多台计算机上,能够非常方便的在内网中搭建一个自组织的分布式计算平台。
在不同节点运行服务器程序,并自动发现运行服务器的节点,命令如下:
node-1> ./ppserver.py -a
node-2> ./ppserver.py -a
node-3> ./ppserver.py -a
客户端
import pp
ppservers=("*",) #自动发现模式
job_server = pp.Server(ppservers=ppservers)
提交执行的任务
f1 = job_server.submit(func1, args1, depfuncs1, modules1)
f2 = job_server.submit(func1, args2, depfuncs1, modules1)
f3 = job_server.submit(func2, args3, depfuncs2, modules2)
检索结果
r1 = f1()
r2 = f2()
r3 = f3()
原文地址:https://www.2cto.com/kf/201407/314360.html
阅读全文
0 0
- 【转载】如何搭建一个快速的分布式计算平台?Parallel python提供了简易的方式来实现此目的。
- Parallel Python——一个简易的分布式计算系统
- MySQL提供了自己的一个快速响应的实现
- Python 分布式计算模块 Parallel
- 转载:基于Mesos和Docker的分布式计算平台
- 一个简易的数据挖掘计算平台项目: feluca
- 基于Hadoop的云计算平台搭建(伪分布式)
- 用Pomelo 搭建一个简易的推送平台
- 用Pomelo 搭建一个简易的推送平台
- 实现一个简易的Python版CountDownLatch
- OPenJWeb快速开发平台中的简易审批流的实现
- NET提供了一个平台和一些相应的工具
- 用 pickle 实现简易“跨”Python实现平台的调用
- Python使用Bottle来提供一个简单的web服务
- 写此blog的目的
- 开此博客的目的
- 开此博客的目的
- spark分布式平台下python环境的搭建
- CentOS服务器上搭建Gitlab安装步骤、中文汉化详细步骤、日常管理以及异常故障排查
- ios字体大小适配(Category)
- Android项目Tab类型主界面大总结 Fragment+TabPageIndicator+ViewPager
- MySQL is running but PID file could not be found(解决方法)
- java设计模式都有哪些?
- 【转载】如何搭建一个快速的分布式计算平台?Parallel python提供了简易的方式来实现此目的。
- js(二)-- 类型的转换
- python列表推导式
- 360CERT:GoAead RCE(CVE–2017–17562)预警分析
- 数据挖掘学习------------------4-分类方法-4-神经网络(ANN)
- C++标准库总结
- Android打包失败原因
- 机器学习–使用numpy随机打散训练数据
- js读取usb扫码枪数据