shell脚本的并行处理方法——multi.sh介绍

最近工作接触到了一些Linux上面的文本处理，数据量还是蛮大的，不可避免的学期了shell，awk等脚本语言。

在文本处理的过程中发现：

1，文本的数量比较大

2，文本的内容相似，可以用同样的脚本处理

3，串行处理文本速度较慢

这自然会想到，如何才能并行多线程处理文本呢，就是因为这个需求，导致下面脚本程序的诞生。

multi.sh，主要工作就是多次调用同一脚本处理不同文本内容，互不干扰。

#!    /bin/bash# multi.sh# Shell script with MultiProcess## Created by xingming on 12-9-3.LC_ALL=zh_CN.UTF-8export LC_ALLfunction help(){    echo "Usage:"    echo " $0 proc job_file [slots]"    exit}if [ $# -lt 2 ]; then help; fiif [ ! -f $2 ]; then help; fifJobs=$2;nJobs=`cat ${fJobs} | wc -l | sed 's, ,,g'`nSlots=${3:-9}function jobsInit(){    clear    echo "$1"", ${nSlots} parser"    idx=1    while [ $idx -le ${nSlots} ]; do        tput cup $(($idx + 1)) 0        printf "\033[01;34mSlot %2d:\033[00m " $idx        idx=$((idx + 1))    done}function jobsDump(){    tput cup $(($1 + 1)) 0    printf "\033[01;34mSlot %2d:\033[00m `date +%H:%M:%S` " $1    if [ -f $$_dump_$1.dmp ]; then        tput el        echo "`head -n1 $$_dump_$1.dmp`"    elif [ v"$2" != "v" ]; then        tput el        echo "$2"    fi}function jobsInfo(){    tput cup 1 0    tput el    echo $*}jobsInit "Examining ${nJobs} jobs in directory '`pwd`' now"# Process jobscjob=0finish=0while [ ${finish} -eq 0 ]; do    jobsInfo "Processing ${cjob}/${nJobs} jobs..."    finish=1    idx=1    while [ ${idx} -le ${nSlots} ]; do        if [ -f $$_lock_${idx}.lck ]; then            finish=0            jobsDump ${idx}        else            rm -f "$$_lock_${idx}.lck" "$$_dump_${idx}.dmp" "$$_parm_${idx}.opt"            jobsDump ${idx} "Empty."            if [ ${cjob} -lt ${nJobs} ]; then                finish=0                touch "$$_lock_${idx}.lck";                head -n $((cjob + 1)) ${fJobs} | tail -n1 > "$$_parm_${idx}.opt"                # Call process                #  param 1: PID of multi.sh                #  param 2: slot number                #  param 3: lock file name                #  param 4: info file name                #  param 5: param file name                $1 $$ ${idx} "$$_lock_${idx}.lck" "$$_dump_${idx}.dmp" "$$_parm_${idx}.opt" &                # Dump process info                jobsDump ${idx} "Process job..."                cjob=$((cjob + 1))            fi        fi        idx=$((idx + 1))    done    sleep 1donetput cup $((nSlots + 2)) 0echo "All finished."rm -f $$_*# vim:ft=sh:ai:cindent:noet:sm:sw=4:ts=4

调用方式，bash /path..path/multi.sh /path...path/dowork.sh /path...path/filenames.txt 30

分解为      上面这一段是调用脚本的方法   上面这一段是调用脚本需要传递的参数

参数1：/path...path/dowork.sh 是多线程运行的脚本，他是用来处理大量重复文本的。

参数2：/path...path/filenames.txt 是上面的脚本需要处理的文本数据的全路径名称汇总的txt文件

参数3：30 为多线程并行的数量

其实multi.sh 的实现方式也很简单，他会针对每一个线程创建一个文件，之后将这个文件名称传递给调用的线程，之后会不断的去查看这个文件是否还存在，（因为线程脚本需要做的事情就是工作完了给multi.sh创建的文件删除），如果不存在了，说明上一个创建的线程已经工作完毕了，这个时候multi.sh需要在创建一个新的线程（如果还有工作需要完成的话）。

dowork.sh 这个脚本也很容易实现，其工作时，multi.sh会传递过来5个参数

# 该脚本被multi.sh调用执行，传递给脚本五个参数
# param 1: PID of multi.sh　　---> 基本上没有用过，不过特殊情况下会使用
# param 2: slot number　　　 ---> 基本上没有用过，不过特殊情况下会使用
# param 3: lock file name　　  ---> 作为锁的文件名称，脚本运行完毕需要将其删除
# param 4: info file name　　  ---> 输出文件，脚本有什么需要输出的信息，可将其重定向到这个文件，multi.sh会调用输出到终端显示
# param 5: param file name　 ---> 参数文件

#!    /bin/bash# dowork.sh# 调用方法和参数总结# 该脚本被multi.sh调用执行，传递给脚本五个参数# param 1: PID of multi.sh# param 2: slot number# param 3: lock file name# param 4: info file name# param 5: param file name# write by xingming on 2012年11月8日11:39:42# 取出参数文件的全路径信息logfilepath=`cat $5`                    # 日志文件名称的完全路径# 先对文件进行解压缩echo "这句话会被multi.sh输出到终端显示..." > $4# 在这里可以做该脚本需要完成的内容.........echo "脚本执行完毕..." > $4# 脚本运行完了，在这里将锁文件删除，multi.sh就可以知道该脚本执行完毕了rm -f $3# all work done!

如此简单的就将单线程的脚本转化为了多线程运行是不是很cool呢？

我最近在工作中，越来越发现multi.sh挺好用的，所以记在这里，大家学习！