linux 命令 去掉重复行

打印指定列 域信息

more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}'

 

把文件中的重复行 写入 lance444

awk 'a[$0]++' lance.txt  >> lance444.txt

 

把 lance.txt 文件中的不重复行 写入 lance333

 awk '!a[$0]++' lance.txt  >> lance3333.txt

 

查询文件夹下所有包括指定字符串的文件内容 并把他们写入 lance.txt

grep -r "BatchUpdateException: Duplicate" ./* >>lance.txt

 

查询文件中包括某个字符的所有行

grep -r "BatchUpdateException: Duplicate" /root/tomcat/logs/catalina.out 

 

cat `ls ./*` >> lance.txt

 

wc -l filename 就是查看文件里有多少行

FS服务器被攻击 数据出现重复时：

1、归集数据  

cat `ls ./*` >> lance.txt

2、数据去重 

awk '!a[$0]++' lance.txt  >> data.txt

3、垃圾数据删除  删除包括有 以下关键字的记录行 删除指定条件的行

SUBSCRIBER_ABSENT

NO_ROUTE_DESTINATION

sed -i -e '/NO_ROUTE_DESTINATION/d' data.txt
sed -i -e '/SUBSCRIBER_ABSENT/d' data.txt

4、统计行数

wc -l data.txt

5、cp 到  

cp ~/data.txt    /usr/local/freeswitch/log/cdr-csv/Master.csv.2015-10-07-12-07-58 保持这个格式 会自动入账计费

 awk '!a[$0]++' lance.txt  >> lance3333.txt

sed -i -e '/NO_ROUTE_DESTINATION/d' data.txt