shell大文件读取并处理的问题
来源:互联网 发布:墓碑排版软件 编辑:程序博客网 时间:2024/05/11 00:38
有个文件在/tmp/t.unl下
里面有800万行的数据,每行有8位数字,比如:
00000001
00000002
00000003
00000004
....
这些数字是对应在
/work/0000/00000001
/work/0000/00000002
/work/0000/00000003
/work/0000/00000004
下的文件
求一脚本,使得删除,存在/tmp/t.unl中,并在/work/0000/目录下该文件名的文件。“0000”是“00000004”的前4位
原方案使用
cat /tmp/t.unl |while read tmpf
do
rm the file
done
结果效率非常低,要跑几个小时,怎么才能提高效率呢?
try:
sed 's,^,rm -rf /work/0000/,' /tmp/t.unl >/tmp/t_unl_rm.sh
. /tmp/t_unl_rm.sh
复制代码
awk '{system("rm -f /work/"substr($0,1,4)"/"$0)}' /tmp/t.unl
sed 's#....#/work/&/&#' /tmp/t.unl | xargs rm
- shell大文件读取并处理的问题
- shell脚本,每次读取文件的一行,逐行读取并处理
- shell脚本,每次读取文件的一行,逐行读取并处理
- 文件逐行读取并进行相关处理的Unix Shell 脚本
- R语言逐行读取并处理大文件
- R 语言逐行读取并处理大文件
- R语言逐行读取并处理大文件
- C# 大文件的读取处理
- Java读取大文件的处理
- shell 按行读取文件的问题
- shell脚本:一次读取文件的一行,并输出
- shell脚本:一次读取文件的一行,并输出
- shell脚本:一次读取文件的一行,并输出
- shell:读取文件的每一行内容并输出
- shell:读取文件的每一行内容并输出
- shell读取文件夹里的文件内容并输出
- shell:读取文件的每一行内容并输出
- shell:读取文件的每一行内容并输出
- VC维的图像解释
- myeclipse安装svn方法汇总
- shell中把一个文本文件列的内容合并成行
- php webservice实例
- anroid4.1和4.0的区别
- shell大文件读取并处理的问题
- Intel CPU ABC
- delphi的UTF8相关函数
- 修改Magento se105模版 Latest Product等模块的默认图片及外框大小
- 分享平时工作中那些给力的shell命令
- Camel summary
- 企业微博日常内容维护三原则
- init_MUTEX(struc semaphore) 在最新的kernel源码上以被移除。
- DP.PX,SP区别