Linux系统之间拷贝文件的技巧总结
来源:互联网 发布:风险指数矩阵举例 编辑:程序博客网 时间:2024/04/25 19:50
日常工作中需要经常从远程或本地服务器拷贝/移动大量文件。遇到文件比较多比较散的时候速度较慢,所以在想有没有较快的方式。经过搜罗、整理、验证,大概有以下几种。
首先,无论本地还是远程,需要移动或拷贝的文件较多且都不太大时,用cp命令和mv命令效率较低,可以先使用tar工具对将要拷贝/移动的内容进行打包/压缩,之后再进行拷贝/移动,最后再解包/解压缩。
另外,也是很关键的一个技巧,即,不必在tar打包/压缩完毕之后再进行拷贝,解包/解压缩,可以通过管道一边打包/压缩另一边执行拷贝解包/解压缩。
比如,tar命令可以和nc命令结合可以快速在两台机器之间传输文件和目录:
B机器:
nc -l 5555 |tar -C /tmp/test/ -xf -
A机器:
tar cf - /tmp/test/ |nc B'IP 5555
上述步骤将A机器/tmp/test/下的内容拷贝到B机器对应的目录中,其中tar cf - /tmp/test/ |nc B'IP 5555 将内容边打包边通过管道和nc命令传输到由对应IP地址和5555端口传到B机器,nc -l 5555 |tar -C /tmp/test/ -xf - 监听本机的555端口,并将接收到的内容解包至指定的目录(-C参数指定目标目录)
此外,tar还可与scp、ssh命令结合:
在A机打包后,复制到B机器并解包
tar -cf - /tmp/test | ssh B'IP "cd /tmp; tar -xf -"
在A机打包,并将打包好的文件复制到B机
tar -cf - /tmp/test | ssh B'IP "cd /tmp; cat - > test.tar"
tar -cf - /tmp/test | scp - B'USER@B'IP:/tmp
将A机的打包文件,复制到B机并解包
zcat test.tar | ssh B'IP "cd /tmp; tar -xf -"
也可以直接在本地这么使用:
cd /tmp/test1
tar -cf - . | (cd /tmp/test2 ; tar -xvpf -)
但有人试验后得出结论本地直接用cp较快
另外一些小技巧:
拷贝时除了拷贝单个文件还会拷贝目录,有时需要连同文件/目录的属性一同拷贝。可以在cp命令中使用-R参数递归拷贝目录,使用-p参数拷贝文件保留属性(默认是:mode,ownership,timestamps也可以通过 --preserve[=ATTR_LIST]指定要特别保留的属性如:context, links,xattr, all),使用-d参数拷贝文件保留连接。或者简单的使用-a参数(相当于使用-dR --preserve=all)
如果想看到拷贝大量小文件的进度可以写一个简单的小脚本:
cd /tmp/test
for i in *
do
cp $i 目标目录
echo $i is ok....
首先,无论本地还是远程,需要移动或拷贝的文件较多且都不太大时,用cp命令和mv命令效率较低,可以先使用tar工具对将要拷贝/移动的内容进行打包/压缩,之后再进行拷贝/移动,最后再解包/解压缩。
另外,也是很关键的一个技巧,即,不必在tar打包/压缩完毕之后再进行拷贝,解包/解压缩,可以通过管道一边打包/压缩另一边执行拷贝解包/解压缩。
比如,tar命令可以和nc命令结合可以快速在两台机器之间传输文件和目录:
B机器:
nc -l 5555 |tar -C /tmp/test/ -xf -
A机器:
tar cf - /tmp/test/ |nc B'IP 5555
上述步骤将A机器/tmp/test/下的内容拷贝到B机器对应的目录中,其中tar cf - /tmp/test/ |nc B'IP 5555 将内容边打包边通过管道和nc命令传输到由对应IP地址和5555端口传到B机器,nc -l 5555 |tar -C /tmp/test/ -xf - 监听本机的555端口,并将接收到的内容解包至指定的目录(-C参数指定目标目录)
此外,tar还可与scp、ssh命令结合:
在A机打包后,复制到B机器并解包
tar -cf - /tmp/test | ssh B'IP "cd /tmp; tar -xf -"
在A机打包,并将打包好的文件复制到B机
tar -cf - /tmp/test | ssh B'IP "cd /tmp; cat - > test.tar"
tar -cf - /tmp/test | scp - B'USER@B'IP:/tmp
将A机的打包文件,复制到B机并解包
zcat test.tar | ssh B'IP "cd /tmp; tar -xf -"
也可以直接在本地这么使用:
cd /tmp/test1
tar -cf - . | (cd /tmp/test2 ; tar -xvpf -)
但有人试验后得出结论本地直接用cp较快
另外一些小技巧:
拷贝时除了拷贝单个文件还会拷贝目录,有时需要连同文件/目录的属性一同拷贝。可以在cp命令中使用-R参数递归拷贝目录,使用-p参数拷贝文件保留属性(默认是:mode,ownership,timestamps也可以通过 --preserve[=ATTR_LIST]指定要特别保留的属性如:context, links,xattr, all),使用-d参数拷贝文件保留连接。或者简单的使用-a参数(相当于使用-dR --preserve=all)
如果想看到拷贝大量小文件的进度可以写一个简单的小脚本:
cd /tmp/test
for i in *
do
cp $i 目标目录
echo $i is ok....
done
最后补充一条不是技巧的技巧:在使用一个工具完成一项任务之前,先思考当前用的工具是不是最适合的工具?有没有更好的工具或办法?如果工具确实很适用于当前任务,那么在使用该工具时有没有特殊的技巧可以提高工作效率?(通常,查看帮助文档可有意外收获)。
0 0
- Linux系统之间拷贝文件的技巧总结
- Linux系统下不同机器之间拷贝文件的方法
- Linux系统下不同机器之间拷贝文件的方法
- Linux系统下不同机器之间拷贝文件的方法
- 两个ubuntu系统之间的文件拷贝
- Windows和Linux以及不同Linux系统之间的文件互传(文件拷贝)
- 不同的Linux之间拷贝文件
- 不同系统之间拷贝文件
- 【转】Linux系统下不同机器之间拷贝文件的方法
- 文件之间的拷贝
- linux 服务器之间拷贝文件
- linux 服务器之间拷贝文件
- linux 服务器之间拷贝文件
- linux 服务器之间文件拷贝
- 两个ubuntu系统之间基于SSH服务的文件拷贝
- linux系统下进行两个硬盘之间的拷贝
- 不同的操作系统之间拷贝文件(windows、linux、mac)
- linux 环境下服务器之间的文件拷贝
- android最新的adt adt-bundle-mac-x86_64-20140702
- jQuery EasyUI自定义validatebox
- 安卓获取TextView中字符串占屏幕宽度的方法
- 《自己动手写CPU》开始预售了!!
- STM32F107的时钟设置由25M修改成8M
- Linux系统之间拷贝文件的技巧总结
- Linux u盘助手(四)
- Tsql split
- Jquery 入门
- 全自动软化水设备:工业锅炉软化水处理设备注意事项
- ExtJs4 笔记(13) Ext.menu.Menu 菜单、Ext.draw.Component 绘图、Ext.resizer.Resizer 大小变更
- 不重新编译apache安装mod_deflate模块
- http://write.blog.csdn.net/postedit
- C/C++ 中宏与预处理使用方法大全 (VC)