用shell脚本合并多个文件内容
来源:互联网 发布:政务大数据市场分析 编辑:程序博客网 时间:2024/05/20 02:53
需求描述
现有多个具有相同命名格式及内容格式的文件,要求编写shell脚本将它们合并到一个文件中。
被合并文件的命名格式为:YYYYMMDDHHMISS.r,例如:20161018030205.r;文件中包含了若干行记录,每行记录包含26个字符,其中第一个字符为标识位,第7到12个字符为时间(格式:YYMMDD),例如:000000161019002925000003N0,该记录的第一个字符0为标识位,第7到12个字符161019表示时间,即16年的10月19日;合并之后的文件的命名格式为:YYYYMMDD.txt,例如:20161018.txt。
对于合并操作,具体要求为:
1)当天只合并前一天的文件,如今天(10月20日)只合并昨天(10月19日)的文件,文件时间通过文件命名即可看出。
2)标识位为0的记录会被写到合并之后的文件中,其他记录将被过滤掉。
3)时间(即第7到12个字符的值)为前一天的记录会被写到合并之后的文件中,其他记录将被过滤掉。
shell脚本
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
脚本说明
第一,在脚本的第3到5行,定义了三个变量,其中srcparh用于存放被合并的文件,exportpath用于存放合并之后的文件,linenum用于表示本次写到合并之后的文件中的记录的条数。
第二,return_fail用于在执行出现异常(如srcparh或exportpath所表示的路径不存在)时退出程序而不进行后续处理。
第三,check_config_dir函数用于检查srcparh或exportpath所表示的路径是否存在,如不存在,则不进行后续处理。
第四,merge_file函数是本脚本的核心,它的主要功能是找出srcparh下满足时间条件的文件,并按照需求要求将文件中的记录筛选出来,放到结果文件中。如果有满足条件的记录,那么脚本会显示写入到结果文件中的记录的条数。
第五,main函数是整个程序的入口(就像C语言中的main函数一样),它调用了check_config_dir和merge_file函数。
脚本执行结果
第一,当srcparh所表示的路径不存在时,执行结果如下:
- 1
- 2
- 3
- 4
第二,当exportpath所表示的路径不存在时,执行结果如下:
- 1
- 2
- 3
- 4
第三,当srcparh所表示的路径存在但不包含任何文件时,执行结果如下:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
第四,现有四个文件20161018030205.r、20161019030254.r、20161019182531.r、20161019213456.r,每个文件的内容如下:
20161018030205.r文件:
000000161019002925000003N0
000000161019002931000003N0
300000161018002931000003N0
000000161019002926000009Y0
000000161019003150000003N0
20161019030254.r文件:
000000161019004925000003N0
000000161019006931000003N0
100000161019006971000004N0
000000161019007926000009Y0
200000161019006871000004N0
000000161019008150000003N0
20161019182531.r文件:
000000161019001925000003N0
000000161019004931000003N0
000000161018007926000009Y0
000000161019007926000009Y0
000000161019009150000003N0
000000161017007926000009Y0
600000161019007426000009Y0
20161019213456.r文件:
000000161019002925000003N0
000000161019002931000003N0
000000161019002926000009Y0
800000161019002961000003N0
000000161019003150000003N0
将它们上传到srcparh目录下,运行脚本,结果如下:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
对照被合并的文件和结果文件,一共有4个文件,但只有3个文件(20161019030254.r、20161019182531.r、20161019213456.r)满足时间条件,这3个文件中满足过滤条件(标识位为0、时间为前一天)的记录条数为12条,和脚本执行结果一致。
大家也可对本脚本进行更多的测试。
总结
shell脚本在基于Linux的开发中有极为广泛的应用,因为它靠近底层,执行效率高、部署方便。本文中的脚本也可以作为定时任务部署到机器上,让它在每天的同一个时间里自动执行。
当然,要想编写出功能强大的shell脚本,其前提条件是大家必须要对shell脚本的语法非常的熟悉,这也可以看出基本功的重要性。
- 用shell脚本合并多个文件内容
- 用shell脚本合并多个文件内容
- shell脚本:修改包含特定内容的多个文件
- shell下合并多文件内容
- 合并多个excel文件内容
- shell脚本解压多个文件
- Python: 合并多个文件内容到一个文件中
- 合并两个文件的内容:shell/java
- shell脚本 文件合并 - 字符串处理
- 合并多个文本文件中的内容到一个文件中
- 合并多个txt文件内容终极方法
- 使用脚本合并多个Microsoft Visio绘图文件
- shell脚本,用awk实现替换文件里面的内容。
- shell对比文件内容脚本分享
- shell脚本中修改文件的内容
- 如何用shell一次读取多个文件内容
- 批量修改多个文件内容的脚本
- Linux Shell脚本 - 统计多个文件的总大小
- 低功耗蓝牙BLE之连接事件、连接参数和更新方法
- 游戏开发学习笔记(二)创建游戏角色场景的制作
- 博客项目Tale思维导图,让项目不再难懂
- 如何构建优秀的命令行用户界面的 Python 库
- 第十一节、css的进阶:自动处理css3属性前缀
- 用shell脚本合并多个文件内容
- 【Kafka源码】ReplicaManager启动过程
- 使用Socket进行一台服务器与多个Android客户端进行双向通信
- java程序员从笨鸟到菜鸟之(二十四)集合之迭代器
- 2017年Android百大框架排行榜
- 如何操作网站排名能稳中带升
- Dorado7自定义下拉框
- 《白话深度学习与Tensorflow》学习笔记(4)Deep Residual Networks
- 机器人爱因斯坦、索菲亚对话人类:“人类必须自我修复”