shell快速迁移海量文件
来源:互联网 发布:python win32service 编辑:程序博客网 时间:2024/04/29 10:46
同事的写的一个脚本,觉得非常好,实用性很强,精致短小,特记录与此,方便以后查用.
业务需求:需要把一个目录下的1000多万个文件迁移到远程机器
思路:用wget来把文件一个一个的迁移过去,因为文件数量比较大,如果一下在循环操作,会非常慢。所以分批操作,采用化整为零的方法,
具体的shell脚本如下:
#! /bin/sh
home=/usr/local/www/skate/image63delback
cd $home
if [ `pwd` == $home ];then
a="1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"
for b in $a
do
c=`expr $b + 100000`
for loop in `sed -n "$b,$c"p $1`
do
path=`echo $loop | awk -F "/" '{print $1"/"$2"/"$3"/"$4}'`
mkdir -p $path
/usr/bin/wget http://172.16.111.163/$loop -P $path
echo $loop >> $1.log
done
done
fi
- shell快速迁移海量文件
- shell快速迁移海量文件
- shell快速迁移海量文件
- Linux下快速迁移海量文件的操作记录
- 快速删除海量文件
- 淘宝海量数据快速迁移实践
- rsync快速删除海量文件
- 博客迁移:Shell脚本批量文件处理
- 【Shell】快速清理大量文件
- Rsync 最快速删除海量文件的方法
- SqlBulkCopy海量地快速
- 快速删除海量数据
- Shell 数据库迁移实现
- 海量数据:SQL Server 数据库迁移偏方
- c# 含进度条 海量数据迁移
- 数据快速迁移(1)
- 分区表数据快速迁移
- mongodb的快速迁移
- Magento认证工程师考试及注册流程
- spring 如何动态的获取bean
- syslog-ng搭建集中日志服务器
- Linux PPP 数据收发流程
- 第十三周实验报告(3)
- shell快速迁移海量文件
- cenos 安装openvas
- Linux 的多线程编程的高效开发经验
- 华人操作系统项目列表
- java HTTP与SOCKET的区别
- sql脚本使用
- android ListView显示网络图片
- 从文本文件中读取数据
- Python性能鸡汤---大东哥