Hadoop Streaming shell 脚本命令汇总

    Hadoop Streaming由于编程相对容易，开发效率比较快，在项目中比较采用这种方式进行JOB的开发，在提交JOB的时候，都会把相关的命令整合到一个shell 文件，这里作个汇总，虽然现在没有机会做Hadoop 相关的，记下来相信会有所帮助，无论是自己还是别人。

    在编写JOB相关的脚本中，都会涉及集群输入和输出地址的定义，一般都是按照年月日并且按照文件大小进行切割，如果输入的路径下都是需要的文件，这个时候只需要定义路径的变量即可，可以利用正则匹配的方式来定义变量，如果路径下的文件需要筛选和拼接，可能会稍微麻烦点，但是Hadoop Streaming的命令对拼接的文件个数有限制，比如在map输入的时候，可以利用","将文件进行拼接，但是这里文件个数有限制，太长的话提交的时候会报错，具体数值我记不清了，大概不到2000个文件，一般情况下，当文件个数较少的时候，利用这种方式还是比较快的。下面脚本是实现一个完整的JOB提交。

#!/bin/bash# Created by @author: xyl####################################################################### Hadoop Environment# STREAMING_JAR: hadoop streaming jar# HADOOPMAIN: hadoop main programSTREAMING_JAR=/opt/hadoop/contrib/streaming/hadoop-streaming-0.20.2-cdh3u.jarHADOOPMAIN=/opt/hadoop/bin/hadoopDATE=`date +%Y%m%d -d "-1day"`YEAR=${DATE:0:4}MONTH=${DATE:4:2}DAY=${DATE:6:2}####################################################################### Hadoop Streaming Job Confs# INPUTMAINPATH: Data Input Path, Usually A Sessionlog Directory# INPUT: Join The Files in INPUTMAINPATH INPUTMAINPATH=/user/flume/loginfo/$YEAR/$MONTH/$DAYINPUT=$( $HADOOPMAIN fs -ls $INPUTMAINPATH/*.lzo | grep -E ".*nginx\.[0-9]*\.lzo$" \ | awk 'BEGIN{s=""}{s=s","$8}END{print substr(s,2)}')####################################################################### OUTPUT: Data Output Path In Hadoop# JOBNAME: Displayed MapReduce's Jobname, Better Add Job Owner's NameOUTPUT=/user/loganalysis/xyl/${DATE}JOBNAME="${DATE}-Displaypv""(xyl)"####################################################################### Check Whether Output Directory Existsif $($HADOOPMAIN fs -test -d $OUTPUT)then echo "Output Directory" $OUTPUT "already exists." $HADOOPMAIN fs -rmr $OUTPUTelse echo "Output Directory will be created!"fi#$HADOOPMAIN fs -rmr $OUTPUT####################################################################### Main Hadoop Streaming Process$HADOOPMAIN jar ${STREAMING_JAR} \ -libjars /opt/loganalysis/libs/CustomOutputFormats.jar \ -Dmapred.job.name=$JOBNAME \ -Dmapred.reduce.tasks=1 \ -input ${INPUT} \ -output ${OUTPUT} \ -mapper mapper.py \ -reducer reducer.py \ -file /opt/xyl/hadoop/display/mapper.py \ -file /opt/xyl/hadoop/display/reducer.py \ -outputformat MultiFormats.MultiFilesOutput \ ;