搭建Eclipse下运行Mapreduce代码的环境
来源:互联网 发布:济南鲁兴制衣淘宝网 编辑:程序博客网 时间:2024/06/05 06:52
1、下载hadoop1.2.1.tar.gz文件,直接解压到D盘即可;
2、编译对应版本的hadoop-eclipse插件(可以看下一片文章,如何编译hadoop-eclipse插件)。把编译好的jar拷贝到eclipse/plugins下,重启eclipse即可;
3、若插件安装成功的话,打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要配置Hadoop installation directory。配置完成后退出;
4、配置Map/Reduce Locations:
在Window-->Show View中打开Map/Reduce Locations,右键-->New Hadoop Location。弹出如下对话框:
需要配置Location name,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如果配置成功,可以在eclipse中看到远程hdfs中的文件,如下图:
5、新建项目:File-->New-->Other-->Map/Reduce Project。
随便可以取个工程名。把hadoop安装目录下的/src/example/org/apache/hadoop/example/WordCount.java复制到刚才新建的项目下面。
6、在远程linux上,上传文件到hdfs:
hadoop fs -put hello /
7、运行代码:
1.在新建的项目WordCount,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,选择项目和类,然后点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,用空格分开。
3.最后点击“Run”即可。运行结束后,可以在eclipse的视图中看到结果。
注:运行mapreduce程序的参数中,输出路径一定不能再hdfs中存在,否则报错!
补充:在windows eclipse上远程调试mapreduce程序,可能会报一个权限的错误,如何解决请看上一篇日志!
- 搭建eclipse下运行mapreduce代码的环境
- 搭建Eclipse下运行Mapreduce代码的环境
- windows环境下eclipse运行mapreduce方法
- windows下Eclipse搭建MapReduce开发环境
- 基于 Eclipse 的 MapReduce 开发环境搭建
- eclipse 搭建 CDH 的 mapreduce环境
- 在eclipse上搭建mapreduce开发环境及运行wordcount
- Eclipse下搭建J2ME运行环境的初步认识
- windows下Eclipse的Hadoop运行调试环境搭建
- eclipse环境下,mapreduce发送到集群运行
- win7+eclipse+mapreduce环境搭建
- 搭建Eclipse运行hadoop案例的环境
- windows7下的eclipse运行Mapreduce程序的配置
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- Windows下使用eclipse插件运行自己的MapReduce程序
- Ubuntu系统下使用Eclipse搭建hadoop2.4运行环境
- Ubuntu系统下使用eclipse搭建Hadoop2.7.1运行环境
- eclipse下搭建JBPM6运行环境和测试
- G.729A--编码--Coder_ld8a
- 试除法整数分解 筛法整数分解 PollardRho大整数分解【模板】
- Nutch1.7Fetcher源代码分析
- 我的在线bug管理系统,柠檬bug(www.lemonpm.com)上线
- Nutch1.7ParseSegment源代码分析
- 搭建Eclipse下运行Mapreduce代码的环境
- 杭电 HDU ACM 1212 Big Number
- Eclipse RCP开发桌面程序
- Java Collection
- Android中Activity的切换
- Android service
- C++ COM编程之什么是组件
- 高精度除法
- new delete 是运算符,malloc,free是函数