Windows下写Hadoop MapReduce程序

来源:互联网 发布:装小蜜 知乎 编辑:程序博客网 时间:2024/05/01 22:44

之前一直在Ubuntu下操作自己搭建的Hadoop伪分布集群,然后可以直接在Ubuntu环境下开发MR程序,这段时间有幸得到实验室集群的操作权限,但是要用SSH远程管理集群,在Ubuntu下不知道怎么用代理进行SSH代理链接,所以只能在windows环境下用xshell进行通信。

直接上过程吧:

1、在eclipse直接新建java工程,然后对项目名右键-->Build Path-->Config Build Path。看到如下界面


2、Add External Jar.把hadoop包解压缩,将lib文件架中的所有jar包都点选,还有hadoop-core-1.2.1.jar 也加入。


3、最后在Order and Export勾选所有jar,确定后就可以新建java文件了些代码了。


最后导出jar包再put到集群服务器就好了。


这样搞完,以后就不用在Ubuntu写MR程序然后拷到windows在用XFTP传到集群了。因为在搭建了Hadoop环境的Ubuntu下加入Hadoop插件后建MR工程实在太方便了,可惜折腾了很久都没弄明白怎样用SSH代理连接集群...哪位大大知道赐教一下呗。


0 0
原创粉丝点击