用C++写Hadoop streaming实例1
来源:互联网 发布:淘宝售后管理在哪 编辑:程序博客网 时间:2024/06/09 20:47
Hadoop Streaming 是Hadoop 为方便非Java 用户编写MapReduce 程序而设计的工具包。它允许用户将任何可执行文件或者脚本作为Mapper/Reducer,这大大提高了程序员的开发效率。
1. Hadoop Streaming 编程实例
以WordCount 为例,可用C++ 分别实现Mapper 和Reducer,具体方法如下(这里仅是最简单的实现,并未全面考虑各种异常情况)。
Mapper 实现的具体代码如下:
int main() { //Mapper 将会被封装成一个独立进程,因而需要有main() 函数string key;
while(cin >> key) { // 从标准输入流中读取数据
// 输出中间结果,默认情况下TAB 为key/value 分隔符
cout << key << "\t" << "1" << endl;
}
return 0;
}
int main() { //Reducer 将会被封装成一个独立进程,因而需要有main() 函数
string cur_key, last_key, value;
cin >> cur_key >> value;
last_key = cur_key;
int n = 1;
while(cin >> cur_key) { // 读取Map Task 输出结果
cin >> value;
if(last_key != cur_key) { // 识别下一个key
cout << last_key << "\t" << n << endl;
last_key = cur_key;
n = 1;
} else { // 获取key 相同的所有value 数目
n++; //key 值相同的,累计value 值
}
}
return 0;
}
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming-1.0.0.jar \
-files wc_mapper,wc_reducer \
-input /test/intput \
-output /test/output \
-mapper wc_mapper \
-reducer wc_reducer
原文引自《Hadoop技术内幕-深入解析Mapreduce框架设计与实现原理》
- 用C++写Hadoop streaming实例1
- 用Hadoop Streaming来写wordcount
- Hadoop Streaming编程实例
- Hadoop Streaming编程实例
- Hadoop Streaming编程实例
- HADOOP STREAMING实例HIVE引用PYTHON
- Hadoop Streaming python c c++ perl 编程
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- hadoop streaming
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- Android保存和恢复activity状态数据
- node.js能做什麽?
- 7月23日iOS开源项目选编
- django 修改model field后台默认的显示方式
- codeIgniter加载第三方库
- 用C++写Hadoop streaming实例1
- php 日期处理
- window ssh
- Android UI 组件开源软件 共有47款
- git patch
- 无聊写写
- 解决plsql dev无法在win7-64bit中运行问题
- MFC时间获取
- HDFS FastCopy