linux用命令删除重复行
来源:互联网 发布:英特尔人工智能大会 编辑:程序博客网 时间:2024/06/01 14:41
文本处理时,经常要删除重复行,下面是三种方法
第一,用sort+uniq,注意,单纯uniq是不行的。
sort -n test.txt | uniq
第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。
sort -n $file | awk '{if($0!=line)print; line=$0}'
第三,用sort+sed命令,同样需要sort命令先排序。
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'
Shell脚本
view plainprint?
# !/bin/sh
file='test.txt'
sort -n $file | uniq
sort -n $file | awk '{if($0!=line)print; line=$0}'
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'
测试文件:
yanggang@barry$ cat test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa
执行结果:
yanggang@barry$ ./diffRow.sh
aaa
aaaaa
bbb
bbbbb
ccccc
123
阅读全文
0 0
- linux用命令删除重复行
- Linux下用命令行彻底删除文件
- 用命令行删除Windows服务
- Linux 用命令行查看硬件信息
- Linux 用命令行查看硬件信息
- Linux 用命令行查看硬件信息
- linux下用命令行访问网页
- Linux 用命令行查看硬件信息
- Linux 用命令行查看硬件信息
- linux下用命令行解压缩文件
- Linux 用命令行打开doc pdf
- linux下用命令行下载jdk
- linux用命令行快速切换目录
- linux下用命令删除文本的一句话
- 巧用命令行
- linux的长用命令
- linux 常用用命令-top
- linux 常用用命令-grep
- python实现判断一个字符串是否是合法IP地址
- log4j:ERROR setFile(null, true) call failed.
- php 加 ajax
- 1019. General Palindromic Number (20)
- SQL 语句关联函数查询进销存多次入库剩余数量统计
- linux用命令删除重复行
- 如何获取文本域(textarea) 的输入值
- 自定义QGraphicsItem
- BZOJ1878 HH的项链
- Web浏览器中的JavaScript---客户端JavaScript
- 安卓自定义文字居中排列控件
- spring源码深度剖析(自我剖析)
- spark部署,环境搭建
- javaHashMap的hash算法扰动函数