日常脚本二——重复数据删除

这个脚本是自己写的用作删除文件夹中重复文档的脚本；
参考了网络上的一个linux教程。
利用了相同文件的文件检验和相同的原理；
主要linux命令：
1、awk
2、tee
3、md5sum
4、comm
下面是脚本:

#!/bin/bash ls -lS |awk 'BEGIN{     getline;getline;     name1=$9;size=$5 } {     name2=$9;     if (size==$5)     {        command1="md5sum "name1;         command2="md5sum "name2;         command1 | getline s;csum1=$1;         command2 | getline s;csum2=$1;         if (csum1==csum2)         {             print name1;print name2;         }     };     size=$5;name1=name2; }'|sort -u > duplicat_files cat duplicat_files |xargs -I {} md5sum {}|sort|uniq -w |awk '{print$2}'|sort -u > duplicat_sample echo Removing.... comm duplicat_files duplicat_sample -2 -3|tee /dev/stderr | xargs rm