linux文件去重

第一：两个文件的交集，并集

前提条件：两个文件不得有重复的行（即两个文件都要去重）

1. 取出两个文件的并集 cat file1 file2 | sort | uniq >file3

2. 取出两个文件的交集 cat file1 file2 | sort | uniq -d >file3

3. 删除交集 cat file1 file2 | sort |uniq -u <file3

第二：两个文件合并

1. 一个在上一个在下 cat file1 files2 >file3

2. 一个在左一个在右 paste file1 file2 >file3

3. cat file1 >> file2

第三：一个文件去掉重复行

1.  sort file | uniq 把重复的行合并为一行

2.  sort file | uniq -u 把重复的行删除，仅保留非重复的行