借助hadoop streaming，使用C++编写MapReduce程序

hadoop streaming是一个hadoop的工具，可以使用户使用其他语言编写mapreduce程序，用户只需要提供Mapper和Reducer，就可以执行Map/Reduce作业

相关资料请看hadoop streaming官方文档

1、下面以实现WordCount为例，使用C++编写Mapper和Reducer

Mapper.cpp代码如下：

#include <iostream>#include <string>using namespace std;int main(){string key;const int value = 1;while (cin >> key){cout << key << " " << value << endl;}return 0;}

Reducer.cpp代码如下：

#include <iostream>#include <string>#include <map>using namespace std;int main(){string key;int value;map<string, int> result;map<string, int>::iterator it;while(cin >> key){cin >> value;it = result.find(key);if (it != result.end()){(it->second)++;}else{result[key] = value;}}for (it = result.begin(); it != result.end(); ++it){cout << it->first << " " << it->second << endl;}return 0;}

2、编译产生可执行文件Mapper和Reducer，命令如下：

#g++ Mapper.cpp -o Mapper#g++ Reducer.cpp -o Reducer

3、编辑一个脚本runJob.sh如下：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.1.2.jar \-mapper Mapper \-reducer Reducer \-input /test/input/a.txt \-output /test/output/test3 \-file Mapper \-file Reducer

-input是Job输入文件在hdfs中的位置

-output是Job产生结果存放在hdfs的目录

-file指定Mapper和Reducer的位置，如果不指定file，使用-mapper和-reducer可能会错

此外还可以指定使用-jobconf指定mapreduce job的一些参数，比如map个数和reduce个数，可以参考hadoop streaming官方文档

4、执行命令#sh runJob.sh可以看到MapReduce Job完成正常

可以看到结果与使用hadoop-example-1.1.2.jar wordcount效果是一样的