Hadoop Streaming 常见错误（不断更新ing)

1、streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:320)at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533)at org.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:120)at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:429)at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:396)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:

解决方法：

1. hadoop jar hadoop-streaming*.jar  
2. -D stream.non.zero.exit.is.failure=false  

2、在执行streaming任务时，出现：Environment variable CLASSPATH not set!
解决方法：

在执行streaming时，加上选项：

1. -cmdenv CLASSPATH=$CLASSPATH   

3、在调用HDFS的C接口时，出现：Call to JNI_CreateJavaVM failed with error: -1

原因：貌似是因为在编译的时候加上了libjvm，然后动态链接库那也加了。解决方法，编译的时候去掉libjvmm的链接就可以了。

关于grep：
hadoop streaming -input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper "grep hello" -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false -jobconf mapred.reduce.tasks=1
说明：
-input  /user/hadoop/hadoopfile ： 待处理文件目录
-output /user/hadoop/result   ：处理结果存放目录
-mapper "grep hello" ：map程序
-jobconf mapre.job.name="grep-test" ：任务名
-jobconf stream.non.zero.exit.is.failure=false  ： map-reduce程序返回值不做判断；streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败。而grep在没有匹配结果时返回1。

-jobconf mapred.reduce.tasks=1 : reduce任务数。 此处也可配置为0，为0配置表示告诉Map/reduce框架不要创建reducer任务

关于awk：
hadoop jar $HADOOP_STREAMING_JAR \
-input /test/ylb/mock_data/cv-pt-demo.txt \
-output /test/ylb/mock_data/output/cv-pt-demo-10 \
-mapper "awk '\$1~/1/ {printf(\"%s\t%s\n\",\$1,\$2)}'" \
-reducer "awk 'BEGIN{pt[\"test_key\"]=0;} {key=\$2/10;pt[key]+=1;} END{ for(k in pt){printf(\"%d\t%d\n\",k,pt[k]);} }'"
-mapper " awk '  '  " , 这种写法的话， ' ' 里面的脚本中有三种字符（shell特殊字符）需要转义，分别是  " ' $ ，这种写法的好处是可以方便的引用外部shell变量
-mapper '  awk " "  '    这种写法则不需要转义

类似的其他命令中需要嵌套单引号双引号也是这样。

  在调试mapred程序时，经常会遇到以下错误代码：

java.io.IOException: Cannot run program "/data3/hadoop/mapred/mrlocal/taskTracker/test/jobcache/job_201203021500_101813/attempt_201203021500_101813_m_000000_0/work/./FptreeMap.py": java.io.IOException: error=2, No such file or directory 

    以上错误通常是由于脚本格式不正确导致（在windows上进行编码，linux上运行）

   运行linux命令：dos2unix ，将脚本编码转换为unix格式即可解决错误