Linux命令如何删除文件里面的重复行
来源:互联网 发布:excel多列数据找相同 编辑:程序博客网 时间:2024/05/20 09:09
文本处理时,经常要删除重复行,下面是三种方法
第一,用sort+uniq,注意,单纯uniq是不行的。
sort -n test.txt | uniq
第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。
sort -n $file | awk '{if($0!=line)print; line=$0}'
第三,用sort+sed命令,同样需要sort命令先排序。
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'
Shell脚本
# !/bin/sh
file='test.txt'
sort -n $file | uniq
sort -n $file | awk '{if($0!=line)print; line=$0}'
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'
阅读全文
0 0
- Linux命令如何删除文件里面的重复行
- Linux删除重复行的命令
- 删除文件重复行命令
- linux shell, 三行命令:查找并删除重复的文件
- 如何快速删除Linux文件中的重复数据行
- php 如何删除文件里面的bom
- Shell命令--如何删除重复行
- linux 删除文件夹和里面的文件
- @如何删除重复的行?@
- linux下如何恢复rm命令删除的文件
- linux下如何恢复rm命令删除的文件
- linux下如何恢复rm命令删除的文件
- linux下如何恢复rm命令删除的文件
- 如何将Linux rm命令删除的文件放入垃圾箱
- Linux中使用lsof命令如何恢复删除的文件?
- txt文件,如何删除重复行
- ext的grid里面如何删除行?
- 如何在Linux上找出并删除重复的文件:FSlint
- 【机器学习 Opencv】Opencv之Bag of Word模型(一)
- android studio adb打不开的解决方法
- C++ 引用和指针
- 浅谈BitmapFactory.Options
- 对Jsp中的window.parent window.top window.self详解
- Linux命令如何删除文件里面的重复行
- Android 线程池
- MySQL性能优化(二)
- Web安全通讯之JWT的Java实现
- MaterialDesign的Toolbar以及Drawerlayout
- EM算法理解
- Python 建立一个模型来识别验证码成功率
- springloaded热部署
- 如何使用JavaScript根据图片获取条形码