shell快速迁移海量文件

来源：互联网发布：怎样进入淘宝直播间编辑：程序博客网时间：2024/05/16 00:56

shell快速迁移海量文件

标签： shell脚本path

2012-03-02 14:57 1242人阅读评论(0)收藏举报

本文章已收录于：

分类：

LINUX Management（49）

作者同类文章X

author：skate
time：2012/03/02

同事的写的一个脚本，觉得非常好，实用性很强，精致短小，特记录与此，方便以后查用.

业务需求：需要把一个目录下的1000多万个文件迁移到远程机器
思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法，

具体的shell脚本如下：

#! /bin/sh
home=/usr/local/www/skate/image63delback
cd $home
    if [ `pwd` == $home ];then
a="1 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000"
    for b in $a
       do
c=`expr $b + 100000`
    for loop in `sed -n "$b,$c"p $1`
       do
path=`echo $loop | awk -F "/" '{print $1"/"$2"/"$3"/"$4}'`
        mkdir -p $path
       /usr/bin/wget http://172.16.111.163/$loop -P $path
       echo $loop >> $1.log
    done
done
fi

-----end----

顶: 0

踩: 0

上一篇mysql表的优化
下一篇mysql模式：master/slave

我的同类文章

LINUX Management（49）

http://blog.csdn.net

•How to fix hung_task_timeout_secs and blocked for more than 120 seconds problem2015-03-13阅读3704
•linux手动释放cache2014-07-01阅读3396
•IO调度器2013-08-08阅读1494
•tcprstat工具安装与使用2013-01-11阅读6016
•Power Designer 12.5 下载及破解2012-05-18阅读1361
•linux交换分区回收2012-04-12阅读1793

•SaltStack Installation(一)2014-11-12阅读1073
•linux恢复意外删除的文件2013-10-12阅读21733
•mysql在线无性能影响删除7G大表2013-03-01阅读4463
•linux磁盘容量变为64Z2012-06-05阅读3969
•linux的inode暴增2012-04-26阅读3686