Linux下使用rsync最快速删除海量文件的方法
来源:互联网 发布:java工程师的职业规划 编辑:程序博客网 时间:2024/05/22 02:11
转了篇文章
遇到了要在Linux下删除海量文件的情况,需要删除数十万个文件。这个是之前的程序写的日志,增长很快,而且没什么用。这个时候,我们常用的删除命令rm -fr * 就不好用了,因为要等待的时间太长。所以必须要采取一些非常手段。我们可以使用rsync来实现快速删除大量文件。
1、先安装rsync:yum install rsync
2、建立一个空的文件夹:mkdir /tmp/test
3、用rsync删除目标目录:rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/
这样我们要删除的log目录就会被清空了,删除的速度会非常快。rsync实际上用的是替换原理,处理数十万个文件也是秒删。选项说明:
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
–stats 给出某些文件的传输状态
------------------------------------
当SRC和DEST文件性质不一致时将会报错
当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件
当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录
最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事
最核心的内容是:rsync实际上用的就是替换原理
0 0
- Linux下使用rsync最快速删除海量文件的方法
- (总结)Linux下使用rsync最快速删除海量文件的方法
- Linux下使用rsync最快速删除海量文件的方法
- Rsync 最快速删除海量文件的方法
- Linux下使用rsync最快速删除大量文件的方法
- rsync快速删除海量文件
- linux下删除海量文件
- linux下使用rsync实现目录下大量文件的删除
- 快速删除海量文件
- Linux下快速迁移海量文件的操作记录
- linux下rsync的使用
- linux下rsync的使用
- linux下rsync的使用
- Linux/Unix下使用rsync同步文件(简单的例子)
- linux下删除大量文件目录 删除海量文件
- Linux 下使用 rsync 同步文件
- linux 下使用 rsync 进行文件 同步
- linux 下使用 rsync 进行文件 同步
- FLEX页面(mxml)获取当前时间
- mysql允许外部IP访问
- C++实现的双链表通用模板
- nyoj 542 map vector使用
- wireshark解析流媒体中的AMR/H263/H264包的方法
- Linux下使用rsync最快速删除海量文件的方法
- 爱的一种解释
- Matlab信号处理工具箱函数
- C#调用WebService实现天气预报
- nyoj 306 搜索+二分
- jax-ws使用实例
- boost递归遍历文件夹
- .Net/C# 与 J2EE/Java Web Service 互操作完整实例
- Hadoop MapReduce: to Sort or Not to Sort