Hadoop Streaming 实战: bash脚本
来源:互联网 发布:apache http server 编辑:程序博客网 时间:2024/05/22 15:06
streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序
1. 待检索的数据放入hdfs
$ hadoop fs -put localfile /user/hadoop/hadoopfile
2. 编写map、reduce脚本,记得给脚本加可执行权限。
mapper.sh
- #!/bin/sh
- wc –l
reducer.sh
- #!/bin/sh
- sum=0
- while read i
- do
- sum=$((sum+i))
- done
- echo $sum
3. 运行:
hadoop jar /home/hadoop/hadoop/contrib/streaming/hadoop-0.20.2-streaming.jar -input data/pg4300.txt -output out13 -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false -jobconf mapred.reduce.tasks=1
说明:
-input /user/hadoop/hadoopfile : 待处理文件目录
-output /user/hadoop/result :处理结果存放目录
-file :分发mapper.sh和reducer.sh到hdfs中
-jobconf mapred.reduce.tasks=1 : reduce任务数
3. 查看结果:
$ hadoop fs –cat /user/hadoop/result/part-00000
- Hadoop Streaming 实战: bash脚本
- Hadoop Streaming 实战: bash脚本
- Hadoop Streaming 实战: grep
- Hadoop Streaming 实战: grep
- Hadoop Streaming 实战: aggregate
- Hadoop Streaming 实战: aggregate
- Hadoop Streaming 实战: 传递环境变量
- Hadoop Streaming 实战: 传递环境变量
- Hadoop Streaming 实战: 二次排序
- Hadoop Streaming 实战: 传递环境变量
- hadoop streaming 脚本格式错误
- 用Bash Script编写Hadoop MapReduce Streaming
- Hadoop Streaming 实战: 文件分发与打包
- Hadoop Streaming 实战: 输出文件分割
- Hadoop Streaming 实战: 实用Partitioner类KeyFieldBasedPartitioner
- Hadoop Streaming 实战: 文件分发与打包
- Hadoop Streaming 实战: 输出文件分割
- Hadoop Streaming 实战: 多路输出
- 工作点滴(二)c语言中不常用的预编译(处理)命令
- Web环境配置(No.22)
- 四大经典WEB服务构架及服务器购置方案
- jQuery过滤选择器-基本过滤选择器
- MySQL++ gcc4.6.1 Ubuntu编译错误解决
- Hadoop Streaming 实战: bash脚本
- Android中shape的使用
- oracle 经典操作
- 旧版openssl在win7下部分函数存在效率问题
- 配置mysql对表名大小写不敏感
- hiberbate的一对一关联关系
- jbpm基本认识
- mediawiki修改上传文件格式和文件大小
- Android 读取按键及Touch Panel