shell脚本---查找并删除重复的文件
来源:互联网 发布:宇宙中的生命 知乎 编辑:程序博客网 时间:2024/05/17 21:47
#! /bin/bash
ls -lS | awk 'BEGIN {
getline;getline;
name1=$8;size=$5 }
{ name2=$8;
if (size==$5)
{
md5sum name1 | getline; md51=$1;
md5sum name2 | getline; md52=$1;
if ( md51==md52 )
{print name1;print name2 }
};
name1=name2;size=$5;
}' | sort -u > file1
cat file1 | xargs -I {} md5sum {} | sort | uniq -w 32 | awk ' { print $2 }' | sort -u > file2
echo Removing ... ...
comm file1 file2 -2 -3 | tee /dev/stderr |xargs rm
ls -lS | awk 'BEGIN {
getline;getline;
name1=$8;size=$5 }
{ name2=$8;
if (size==$5)
{
md5sum name1 | getline; md51=$1;
md5sum name2 | getline; md52=$1;
if ( md51==md52 )
{print name1;print name2 }
};
name1=name2;size=$5;
}' | sort -u > file1
cat file1 | xargs -I {} md5sum {} | sort | uniq -w 32 | awk ' { print $2 }' | sort -u > file2
echo Removing ... ...
comm file1 file2 -2 -3 | tee /dev/stderr |xargs rm
echo Remove completed!
运行结果:
程序来源:Linux shell脚本攻略
- shell脚本---查找并删除重复的文件
- linux shell, 三行命令:查找并删除重复的文件
- shell脚本实现查找文件夹下重复的文件,并提供删除功能
- shell查找文件并删除
- linux文本排序、交集、差集,查找并删除重复文件脚本、comm命令
- 删除重复的脚本文件
- 利用Linux查找重复文件(shell脚本)
- 用Shell 脚本 实现 相同路径或文件夹下重复文件的查找
- shell 删除重复文件
- 电脑中重复文件怎么删除?教你查找并删除重复文件
- 查找并删除当前目录及其子目录下的所有重复文件
- 删除重复文件的脚本代码
- shell 脚本:svn 查找用户,并导出修改文件
- 查找并删除文件
- 查找文件并删除
- 更新发布脚本(查找所有大小为0的文件并删除后再发布)
- 删除内容相同的文件并保留一份副本的shell脚本
- shell脚本实现删除文件的源代码
- Java基础测试题
- Openstack能走多远——Openstack、VMware浅析
- poj2886Who Gets the Most Candies?(线段树,记活人的数量,题目类似约瑟夫环)
- 内存管理/守护进程
- 7.5 widget内的内容更新和点击事件
- shell脚本---查找并删除重复的文件
- Android操作系统源代码下载方法
- Matlab 几种卷积的实现与比较(conv与filter,conv2与filter2,imfilter)
- 偶然发现转义字符还可以这么用,大一的孩子拿去交作业吧!
- Java环境变量
- hdu2993 MAX Average Problem (斜率dp)
- c++11之condition_variable学习笔记
- asp.net数据库连接web.config配置
- 网络扫描技术揭秘读书笔记2--扫描器中公用编程示例(1)