在一个大文件中取得需要的数据

在linux下有一个文件，其中数据是按行报错的，需要取出想要的数据：

第一步：

将其中需要导出的行先导出：

sudo grep '|' preg.log >> result.txt 

上面的意思是将所有包含竖线的行导出到result.txt文件。

第二步：

将result.txt中重复的行去重：

cat result.txt |sort -u > ./result1.txt 

然后想要的数据就在result1.txt中了。

end.

另外其实可以写一个shell脚本去执行，但是没有命令行这么简单。我这个文件大概只有几百K，用命令行还是比较快速的。