hadoop:基于Streaming实现的编译
来源:互联网 发布:重庆市网络办事大厅 编辑:程序博客网 时间:2024/05/16 01:27
Hadoop入门教程:基于Streaming实现的编译,在Streaming接口实现的程序中,用户的Map和Reduce都是单独的可执行程序,在上节实现中是使用C++实现的,包括Map程序WordcountMap.cpp,Reduce程序WordcountReduce.cpp。由于写Streaming程序不依赖于Hadoop的类库,因此可以像一般的C++程序一样进行编译,例如这里使用make进行编译,Makef?ile内容如下:
CXX = g++
CXXFLAGS = -g -Wall -O2
sMap = WordcountMap.cpp
sReduce = WordcountReduce.cpp
tMap = $(basename $(sMap))
tReduce = $(basename $(sReduce))
.PHONY : all
all : $(tMap) $(tReduce)
WordcountMap : WordcountMap.o
$(CXX) $< -o $@
WordcountReduce : WordcountReduce.o
$(CXX) $< -o $@
%.o : %.cpp
$(CXX) -c $< -o $@ $(CXXFLAGS)
PHONY : clean
clean :
-rm -rf $(tMap) $(tReduce) *.o
编写完Makef?ile之后直接使用make就可以进行编译了,这和一般的C++程序的编译没有任何区别。来源:CUUG官网
0 0
- hadoop:基于Streaming实现的编译
- 非负矩阵分解算法基于hadoop streaming的实现
- python基于Hadoop Streaming实现简单的WordCount
- hadoop:基于Streaming实现作业提交
- hadoop:基于Java API实现的编译
- hadoop:Streaming接口实现
- Hadoop的Streaming学习
- Hadoop Streaming的使用
- c++&&python实现Hadoop Streaming的partitioner和模块化
- [译] 基于Hadoop的视频流服务(Using Hadoop for Video Streaming)
- 使用Tomcat实现基于iframe streaming的Comet聊天室
- Hadoop Streaming的一些基本知识
- hadoop中Streaming的使用
- hadoop的streaming学习小结
- Python+Hadoop Streaming实现MapReduce任务
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- 在Centos中 将apache httpd 服务加入系统服务
- 计算几何基本模板
- 【HDU】2199 - Can you solve this equation?(二分)
- POJ 1088 经典动态规划(记忆搜索)问题
- java正则表达式的分组
- hadoop:基于Streaming实现的编译
- LeetCode-难题集之House_Robber系列
- actionscript3.0 数组排序
- openstack service port(服务端口)
- 解析STM32的启动过程及STM32 启动文件选择
- 二叉树中和为某一值的路径
- Top K 算法详解
- JAVA 容器类
- jmeter压力测试