Linux文件合并去除重复内容
来源:互联网 发布:域名升级访问中sdashao 编辑:程序博客网 时间:2024/06/18 07:35
第一:两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
3. 删除交集,留下其他的行
1. cat file1 file2 | sort | uniq > file3
2. cat file1 file2 | sort | uniq -d > file3
3. cat file1 file2 | sort | uniq -u > file3
第二:两个文件合并
一个文件在上,一个文件在下
cat file1 file2 > file3
一个文件在左,一个文件在右
paste file1 file2 > file3
第三:一个文件去掉重复的行:
sort file |uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
sort file |uniq -u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!
具体细节可以查看,cat,sort,uniq等命令的详细介绍
0 0
- Linux文件合并去除重复内容
- js 合并 数组,并去除重复的内容
- linux文件合并,去重复
- linux文件合并,去重复
- linux文件合并,去重复
- Linux---Linux下文本文件合并和去除重复操作
- Linux下文本文件合并和去除重复操作
- ThinkPHP去除重复数据 合并重复字段
- 合并两个文件,并且排除掉重复的内容
- java:去除数组重复内容
- java List去除重复内容
- 去除文件重复行
- Linux 查询文件内容重复数 uniq
- Linux uniq --去除排序过的文件中的重复行
- 实验2单链表合并,去除重复部分
- java将两个集合合并,去除重复
- 将两张单链表合并并且去除重复元素
- 两个List合并一个List,去除重复.
- POJ:2585 Window Pains(简单拓扑排序+有难度打map表)
- linux学习第二篇:初识linux简单命令
- Lonlife-ACM 1010 Alarm
- SDUT数据结构实验之串三:KMP应用
- POJ 1724 ROADS
- Linux文件合并去除重复内容
- <hdoj2647>Reward
- Android-通过自定义ViewPager来高仿土巴兔选择装修风格效果(中间放大效果)
- 【mybatis深度历险系列】深入浅出mybatis中原始dao的开发和mapper代理开发
- 关于云服务器搭建的一些心得
- 一个HTTP请求的详细过程
- Log4j 配置
- centos7优化内核参数详解
- uva 127