Eclipse搭建hadoop开发环境
来源:互联网 发布:苹果5手机外壳淘宝 编辑:程序博客网 时间:2024/06/07 18:46
1、 软件环境
a) Eclipse
b) 运行中的hadoop集群
2、 eclipse上安装hadoop插件
a) 首先将eclipse Hadoop的插件放置到eclipse/plugins目录下,重启eclipse
b) 如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。
PS:这个路径是hadoop的路径,eclipse会从这里获取一定的jar包
如图:
c) 配置Map/Reduce Locations,打开Windows—Open Perspective—other—Map/ReduceLocations—OK
如图:
d) 点击新增hadoop
如图:
3、 新建WordCount项目
a) 上传两个文件到hadoop集群里面
b) 分别写Mapper、Reducer、Main,如图所示:
c) 运行WordCountMain.java,Run As-----Run Configurations,然后配置如图:
d) 结果如图:
4、 碰到的错误
a) Windows eclipse配置插件时候,碰到权限不够(org.apache.hadoop.security.AccessControlException),导致不能连接到hadoop,
解决方案:
1、 将windows的账户名和用户组都设置成hadoop启动的账号一样的名字
2、 如果是自己的测试机器,可以关闭dfs的权限检测,在conf/hdfs-site.xml 将dfs.permissions修改成false
b) Exception inthread "main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to0700
这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
解决方法是,修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可(有些粗暴,在Window下,可以不用检查)
5、 建议:
在Ubuntu下面运行eclipse
- eclipse搭建hadoop开发环境
- eclipse搭建hadoop开发环境
- Eclipse搭建hadoop开发环境
- hadoop+eclipse开发环境搭建
- hadoop eclipse 开发环境搭建
- eclipse搭建hadoop 0.20.2开发环境.
- win7+Cygwin+Eclipse搭建Hadoop开发环境
- windows下搭建hadoop开发环境(Eclipse)
- hadoop搭建与eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- hadoop搭建与eclipse开发环境设置
- windows下搭建hadoop+eclipse开发环境
- Hadoop开发环境搭建-Eclipse插件配置
- hadoop搭建与eclipse开发环境设置
- eclipse+maven搭建hadoop本地开发环境
- linux下eclipse开发hadoop-环境搭建
- win7+Cygwin+Eclipse搭建Hadoop开发环境
- ubuntu14.01.1 搭建eclipse Hadoop开发环境
- C语言练习——逆序的三位数
- Android中的android:layout_width和android:width
- BestCoder Round #20小结
- 新手玩阿里云ECS搭建tomcat7.0+JDK1.6服务器(J2EE小项目练习)
- Spring Framework源码(一):spring beans之BeanFactory
- Eclipse搭建hadoop开发环境
- 调试24L01经验总结
- 2015 v3版本正式发布ComponetOne
- ZOJ 3765 splay
- PHP 二维数组按某列进行排序
- Spiral Generator
- 第三方支付架构设计之—帐户体系
- css笔记之选择器
- C++多重继承相关问题