用shell切分文件--split
来源:互联网 发布:北京php工程师培训 编辑:程序博客网 时间:2024/06/05 09:34
有个文件要处理,因为很大,所以想把它切成若干份,每份N行,以便并行处理。怎么搞呢?查了下强大的shell,果然有现成的工具--split。
下面记录下基本用法:
split [-bl] file [prefix]
参数说明:
-b, --bytes=SIZE:对file进行切分,每个小文件大小为SIZE。可以指定单位b,k,m。
-l, --lines=NUMBER:对file进行切分,每个文件有NUMBER行。
prefix:分割后产生的文件名前缀。
示例:
假设要切分的文件为test.2012-08-16_17,大小1.2M,12081行。
1)
split -l 5000 test.2012-08-16_17生成xaa,xab,xac三个文件。
wc -l 看到三个文件行数如下:
5000 xaa
5000 xab
2081 xac
12081 总计
2)
split -b 600k test.2012-08-16_17生成xaa,xab两个文件
ls -lh 看到 两个文件大小如下:
600K xaa
554K xab
3)
split -b 500k test.2012-08-16_17 example得到三个文件,文件名的前缀都是example
ls -lh 看到文件信息如下:
500K exampleaa
500K exampleab
154K exampleac
- 用shell切分文件--split
- Linux下 split切分文件方法
- linux split命令切分大文件
- 文件的切分split和结合工具cat 介绍
- linux shell cut按列切分文件
- shell split分析日志文件
- shell split文件分割方法
- 标记切分器Split()
- C++字符串切分(split)
- js split 切分字符串
- C++字符串切分: split实现
- Shell学习:切分文件名提取文件扩展名或提取文件名
- Shell文件参数和切分字符串实例代码
- shell split
- 【shell】切分字符串
- 自动将字符串切分(Split功能)
- Java使用split()按"."切分出错解决方法
- Java使用split()按.切分出错解决方法
- Perl 几个技巧
- Hibernate中的catalog属性和自动生成的Hibernate xml文件里面的comment标签
- Oracle 审计功能
- KDD会议的研究领域
- hdu1973 || poj3126 Prime Path
- 用shell切分文件--split
- 瑞士军刀NC下载与使用教程
- 在向服务器发送请求时发生传输级错误
- R,不仅仅是一种语言
- UVA 748 求幂
- ios tableview间隔线效果
- 联通电信收入之和接近移动:渐形成三足鼎立
- 埃拉托斯特尼筛法
- nova-compute启动分析-3