GNU Parallel: 并行执行Linux命令
来源:互联网 发布:大学生网络创业风险 编辑:程序博客网 时间:2024/06/09 14:58
今天在Stack Overflow上看到一个很有趣的问题, 问题的大意是:
需要用一个脚本处理一个文本文件, 但这个文本文件可能很大, 由于处理脚本的问题, 希望每次能够只处理该文本文件的若干行, 就像 xargs 一样, 而且不能使用split来分割文件, 也不允许生成临时文件.
如果允许使用临时文件的话, 那么用bash script并不难实现, 若不能使用临时文件, 那么可以使用GNU Parallel工具来实现. 实现的方法如下:
cat giantfile.txt | parallel -j 8 --pipe -L 50000 import_script-j 8 : 表示并行jobs的数量, 不想并行执行可以设置为 1. 也可以不加 -j 选项, 则默认为每个CPU核运行一个job.
--pipe: 表示从stdin 读取一块数据, 并将每块数据分给各个jobs
-L N: 一次最多读取N行数据
这里有一篇 parallel 的教程: http://www.gnu.org/software/parallel/parallel_tutorial.html
这是翻译版本: http://my.oschina.net/enyo/blog/271612
这里介绍了一些 parallel 与其他 Linux 命令一起使用的例子: http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/
1 0
- GNU Parallel: 并行执行Linux命令
- Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行) .
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- Oracle Parallel Execution(并行执行)
- linux命令parallel实现多进程并行计算
- linux命令parallel实现多进程并行计算
- Parallel SQL Execution并行SQL执行
- Oracle 并行执行( Parallel Execution)原理初探
- GNU Parallel
- 并行执行(parallel)用法Oracle技术[转]
- Android Support v4、v7、v13 介绍
- RPC接口设计随想
- centos 7 ifconfig
- android系统release签名
- 沃通免费SSL证书
- GNU Parallel: 并行执行Linux命令
- 【甘道夫】Mahout推荐算法编程实践
- 什么是Equal Error Rate (EER)
- 视频序列的空间复杂度和时间复杂度的不用模型计算
- linux环境下安装wordpress博客
- lib和dll文件的区别和联系
- 黑马程序员——Java基础
- 《编程导论(Java)·2.1.1里氏替换原则》什么是LSP
- 解决outlook无法保存密码的问题