搭建Eclipse下运行Mapreduce代码的环境

来源:互联网 发布:济南鲁兴制衣淘宝网 编辑:程序博客网 时间:2024/06/05 06:52

1、下载hadoop1.2.1.tar.gz文件,直接解压到D盘即可;

2、编译对应版本的hadoop-eclipse插件(可以看下一片文章,如何编译hadoop-eclipse插件)。把编译好的jar拷贝到eclipse/plugins下,重启eclipse即可;

3、若插件安装成功的话,打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要配置Hadoop installation directory。配置完成后退出;


4、配置Map/Reduce Locations:

在Window-->Show View中打开Map/Reduce Locations,右键-->New Hadoop Location。弹出如下对话框:



需要配置Location name,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如果配置成功,可以在eclipse中看到远程hdfs中的文件,如下图:



5、新建项目:File-->New-->Other-->Map/Reduce Project。
随便可以取个工程名。把hadoop安装目录下的/src/example/org/apache/hadoop/example/WordCount.java复制到刚才新建的项目下面。


6、在远程linux上,上传文件到hdfs:

hadoop fs -put hello /


7、运行代码:
1.在新建的项目WordCount,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,选择项目和类,然后点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,用空格分开。



3.最后点击“Run”即可。运行结束后,可以在eclipse的视图中看到结果。

运行mapreduce程序的参数中,输出路径一定不能再hdfs中存在,否则报错!


补充:在windows eclipse上远程调试mapreduce程序,可能会报一个权限的错误,如何解决请看上一篇日志!


0 0
原创粉丝点击