在shell中对多条记录去重

awk去重

 

1. 按照整行的数据进行去重

   echo "a,a,a

   a,b,c

   c,c,c

   b,b,b

   c,c,c" | awk '!(a[$0]++)'

   

 

1. 按照第2列的数据进行去重

   echo "a,a,a

   a,b,c

   c,c,c

   b,b,b

   c,c,c" | awk -F',' '!($2 in a){a[$2];print $0}'

   

 

sort + uniq

 

•  

  echo "a,a,a

  a,b,c

  c,c,c

  b,b,b

  c,c,c" | sort $1 | uniq