MapRecude2.0 c++编程步骤

来源:互联网 发布:ubuntu 16.04qq下载 编辑:程序博客网 时间:2024/06/10 07:58

准备环境:g++,jdk,hadoop集群搭建完毕

步骤:

1,用c++编写mapreduce程序(map和reduce函数)

2,用g++命令,编译mapreduce程序,生成二进制可执行文件

3,模拟mapreduce过程,单机测试mapreduce程序:i.e: cat test.txt | ./mapper | sort | ./reduce

4,在hadoop上调用${HADOOP_HOME}/share/hadoop/tools/lib/hadoop-streaming-x.x.x.jar 运行mapreduce程序

0 0
原创粉丝点击