07-天亮大数据系列教程之streaming运行流程与shell实现wordcount

目录
1、streaming运行流程
2、streaming任务提交与shell实现wordcount
3、常用参数支持
详情
1、streaming运行流程

• Java标准版运行流程
  

• streaming运行流程
  在worker处存在差异，通过stdin/stdout将PipeMapper和StreamingMapper打通
  
  2、streaming任务提交与shell实现wordcount

• 步骤实现

  • 数据准备
    
    • map编写
    • reduce编写
    • driver不再需要写了…….
    • yarn jar提交
    • 结果查看

  • 步骤详情

    • 数据准备

      • hdfs目录
        

    • shell map编写
      

    • shell reduce编写
      

    • shell运行

      • 本地测试
        

    • 集群执行模板

通用模板：yarn jar  streaming_jar_path.jar [genericOptions] [streamingOptions]细化模板 ：yarn jar streaming_jar_path.jar \                    -D configKey =configValue \          -input inputDirs \          -output outputDirs \          -mapper scriptMapper \          -reducer scriptReducer \          -file uploadFile

• 样例(shell实现wordcount案例)

yarn jar /usr/hdp/2.4.3.0-227/hadoop-mapreduce/hadoop-streaming.jar \-Dmapred.output.compress=false \-Dmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \-Dmapred.reduce.tasks=1 \-input /tmp/tianliangedu/input \-output /tmp/tianliangedu/output73 \-mapper "sh mapper_shell.sh" \-reducer "sh reducer_shell.sh" \-file mapper_shell.sh \-file reducer_shell.sh 

• 输出效果
  

3、常用参数支持

• 通用系统参数传递
  
  • 设置job名称 : -Dmapreduce.job.name=”jobName”
  • 是否压缩输出：-Dmapred.output.compress=true
  • 压缩格式设置：-Dmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec
  • 设置reduce数量：-Dmapred.reduce.tasks=1
  • 批量上传文件：-files，此为hadoop generic参数，要放到参数的最前边跟-D一样传输

yarn jar /usr/hdp/2.4.3.0-227/hadoop-mapreduce/hadoop-streaming.jar \-files mapper_shell.sh,reducer_shell.sh \-Dmapred.output.compress=false \-Dmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \-Dmapred.reduce.tasks=1 \-Dstream.map.output.field.separator=\001 \-input /tmp/tianliangedu/input \-output /tmp/tianliangedu/output76 \-mapper "sh mapper_shell.sh" \-reducer "sh reducer_shell.sh" \

• 设置map的输出分隔符：-Dstream.map.output.field.separator =\t
• 设置map输出的时候key的组成：-Dstream.num.map.output.key.fields = 4

• 设置自定义的比较器： -Dmapreduce.job.output.key.comparator.class = org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator

  • streamingy应用参数传递

    • 上传一个文件：-file ， 此为streaming参数
    • 设定mapper执行文件：-mapper
    • 设定reducer执行文件：-reducer
    • 设定输入文件目录：-input
    • 设定输出文件目录 : -output
    • 设定自定义分区器: -partitioner=org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner