linux命令parallel实现多进程并行计算
来源:互联网 发布:php将数组转化成json 编辑:程序博客网 时间:2024/06/08 08:03
需求分析:
假设我们有三个进程A和B和C,分别对应三个运行脚本a.sh,b.sh,c.sh。
A和B两个进程是完全独立的。
C进行必须等待A进程和B进程都运行结束之后,才能启动C进程。
我们现在需要写一个脚本要运行这三个程序脚本
解决方法:
串联【不理想】:
a.sh;b.sh;c.sh;
但是如果这三个进程都要运行特别长的时间,如果10个小时左右。
这样的话运行总时间就需要30个小时。
因为我们知道A和B是相互独立的所以我们应该将A和B并联起来,然后再和C串联。
这样运行时间就优化成了20个小时。
并联的话我们不能使用后台运行的方式,如果将A或者B后台运行了,C需要等待A和B都运行结束了才启动,但是C不知道A和B什么时候结束。
暂时能想到的最简单的办法是【引入parallel命令来解决】:
parallel -j 2 "sh a.sh" "sh b.sh";sh c.sh
这样A和B就通过parallel来进行并联,等到A和B都运行结束了,parallel这个命令也就运行结束。
然后再进行C程序。(满足我们的要求)
参考资料:
http://serverfault.com/questions/374131/how-to-run-multiple-shell-scripts-in-parallel
- linux命令parallel实现多进程并行计算
- linux命令parallel实现多进程并行计算
- GNU Parallel: 并行执行Linux命令
- Parallel Python 并行计算
- C# Parallel 并行计算测试
- MPI多进程并行计算矩阵乘法实现
- 并行计算(Parallel Computing)初步认识
- 用Parallel和foreach包玩转并行计算
- Parallel Python(PP)并行计算测试
- 并行计算概述 (Introduction to Parallel Computing)
- 并行计算—OpenMP—parallel指令
- 并行计算—parallel,for联合使用
- python-multiprocessing 多进程并行计算
- 构建局域网下并行计算(parallel computing)环境
- 构建局域网下并行计算(parallel computing)环境
- C#并行计算类Parallel的性能测试
- R语言并行计算的原理和案例(foreach,parallel)
- Parallel::ForkManage: 一个简单的并行进程用于fork管理:
- eclipse控制台输出到文件
- TortoiseSVN文件夹及文件图标不显示解决方法
- how to convert wstring to string
- sql server 数据库同步时如果出现 进程未能读取文件 因为发生操作系统错误 5。解决方法:
- Lucky Number
- linux命令parallel实现多进程并行计算
- linux 内核30题
- Wikioi 1985 GameZ游戏排名系统
- asp.net3.5网站发布到IIS选择4.0后默认首页无效
- linux内核学习笔记之——list_for_each_entry
- 数据库开发之【ADO.NET级别事务】
- 【live555】Medium的子类们的静态方法lookupByName的实现
- 大整数加法
- 留着当模版用(servlet和ajax)