linux有名管道实现hive并发控制

参考：http://egon09.blog.51cto.com/9161406/1754317

hive迁移历史数据，按照小时分区，一天24分区。补一年数据。如果不控制并发，linux会卡死，提交到hadoop也会失败。这里控制为20个并发任务。

#!/bin/bash

sys_start_time=`date +%s`              #定义脚本运行的开始时间
[ -e /tmp/fd1 ] || mkfifo /tmp/fd1 #创建有名管道
exec 3<>/tmp/fd1                   #创建文件描述符，以可读（<）可写（>）的方式关联管道文件，这时候文件描述符3就有了有名管道文件的所有特性
rm -rf /tmp/fd1                    #关联后的文件描述符拥有管道文件的所有特性,所以这时候管道文件可以删除，我们留下文件描述符来用就可以了
for ((i=1;i<=20;i++))
do
        echo >&3                   #&3代表引用文件描述符3，这条命令代表往管道里面放入了一个"令牌"
done
start_date="2017-01-03"
stop_date="2017-01-04" 
arr=(00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23) 
while [[ $start_date < $stop_date ]]
do


for var in ${arr[@]};
do
read -u3                           #代表从管道中读取一个令牌
echo "$start_date"

{ # hive -hiveconf partitionDate=${start_date}_$var   -f xx.sql>>dlog00.log



sleep 10  #sleep 1用来模仿执行一条命令需要花费的时间（可以用真实命令来代替）
echo 'success'${start_date}_$var       
echo >&3                   #代表我这一次命令执行到最后，把令牌放回管道
}&
done
start_date=`date -d "+1 day $start_date" +%Y-%m-%d`
done
wait
 
sys_stop_time=`date +%s`  #定义脚本运行的结束时间
 
echo "TIME:`expr $sys_stop_time - $sys_start_time`"
exec 3<&-                       #关闭文件描述符的读
exec 3>&-                       #关闭文件描述符的写

r