为什么cp很多小文件非常慢——对cp和rm命令的一些思考
来源:互联网 发布:大叔与女孩的网络电影 编辑:程序博客网 时间:2024/05/16 07:04
linux中的文件复制命令——CP
linux中文件剪切的命令——MV
1.问题背景
今天在某个目的动作过程中想把一个文件夹下的文件复制到另外的一个文件夹下
cp -fr ./dir1/ /dir2/
发现终端一直在提示运行中,就是一直在复制,好一会儿都没有停。我要复制的文件都不是很大,全部加起来也就80M的样子,但是有很多零散的小文件,很多。
此时我已经按下enter很久了。。。。但是提示符一直闪啊闪。。。就是不停
2,问题探索
看看究竟发生了什么
cp -vfr ./linux-source-3.8.0/ /wa/
这家伙足足闪了八分钟。。。还好,最后停了。。。
尝试用rm把一个文件夹里面的文件移动到另外的文件夹
可以看到这里只有一个“动作”--->
而用cp命令的时候,每一个文件都有一个--->“动作”
我们可以大胆的推理,这里rm实质上只是交换了指针变量里储存的地址,而cp命令要把所有的文件地址变量都找到,然后读取内容,然后再另外的文件夹地址下开辟一块内存去储存文件内容。这就涉及到寻址。而寻址就是造成这种“出奇的慢”的原因。
3.对于cp和win里的ctrl+c相比很慢的解释----文件系统寻址方式造成的差异
求助了贴吧的“小_埃”,这是他的解释
“零散文件会导致硬盘频繁寻道,去看看硬盘的平均寻道时间参数吧,一次就若干毫秒,这段时间之内所有读写操作全要停下来等”
“另外,不同文件系统对于小文件的处理方式,也会对性能造成巨大的影响。
楼主说Win7比Linux复制同样的文件快,这不是不可能的,而且是很有可能的。
ext4是怎么实现的我不太清楚,我就说FAT32和NTFS两个文件系统的实现吧。
FAT32是不管文件的情况,一律把文件名等信息放在文件分配表里,然后把文件内容放在磁盘后面的扇区中。
而NTFS则会判断文件大小,如果文件足够小,则将文件名、文件内容一起放进MFT里,如果文件大小更大,不适合放进MFT里,则会把文件名等信息放在MFT里,并把文件内容放在磁盘后面的扇区中。
这两种文件系统在处理零散小文件时,性能差距非常巨大,前者需要磁盘频繁寻道,复制每一个小文件需要寻道4次以上,而后者复制若干个零散小文件,只需要寻道几次就够了。7200rpm的硬盘平均寻道时间都在6~9ms左右,因此性能差距立见分晓”
- 为什么cp很多小文件非常慢——对cp和rm命令的一些思考
- Linux下,ln、cp、mv、rm命令对文件链接数和索引节点号的影响
- 一天一linux命令(9) cp rm mv文件和目录的管理
- 文件的复制,移动和删除命令(cp,mv,rm)
- Linux命令— cp 复制、 mv 移动/重命名、 rm 删除
- 【Linux】文件和目录操作——cd、mkdir、rm、cp...
- linux文件管理相关命令mv mkdir cp rm
- 文件操作命令 cp、mv、rm 底层原理
- cp、rm、mv Linux下的文件拷贝、删除、剪切命令
- linux的cp,rm,mv
- Linux下的ping和cp命令使用小技巧
- 强悍的命令 —— cp
- cp和mv对文件和链接影响的区别
- Linux命令——使用cp命令复制文件时,报cp: omitting directory `XXX'
- Linux copy文件cp的复制、删除和移动命令
- 远程cp文件命令
- cp 复制文件命令
- liunx命令——cp
- XML Schema中targetNamespace概念
- How to create Oracle 11g R2 database manually in ASM?
- 25匹马,找出最快的3匹,但是只有5个赛道,每次比赛只能得到5匹马的速度排序,那么最少需要多少次比赛
- Tornado 与文件上传
- cocos2d-x 3.0 mac下第一步之helloworld
- 为什么cp很多小文件非常慢——对cp和rm命令的一些思考
- 编译器开发(一)
- 自动处理【库存物料交易MMT接口表】程序
- oracle中的数值函数整理
- vc++之oncreate
- Redis使用总结之与Memcached异同
- Python快速教程
- mysql数据库配置之线程参数设置
- Web自动化测试(1): Python+Behave+ Selenium Web Driver 在windows系统的安装