eclipse配置hadoop2.6.1开发环境并本地跑起来

来源：互联网发布：cf雷神官网数据编辑：程序博客网时间：2024/06/05 06:45

　先安装并启动hadoop，怎么弄见上文http://blog.csdn.net/ABCDEFG0929/article/details/78770246。这里说下怎么设置IDE来开发hadoop代码和调试。首先要确保你本地装了eclipse，再下个eclipse的hadoop插件就完事了。下面细说一下：
　1、下载eclipse插件（hadoop-eclipse-plugin-2.6.1.jar）并丢到eclipse的pulgin目录下，重启eclipse，Project Explorer出现DFS Locations，如果未正常出现，核对插件、eclipse、jdk版本，本人亲测，eclipse：eclipse-jee-kepler-R-win32-x86_64，jdk：jdk1.7.0_15；
　2、点击Window->点Preferences->点Hadoop Map/Reduce->填D:\hadoop-2.6.1并OK；

　3、点击Window->点Show View->点MapReduce Tools下的Map/Reduce Locations->点右边角一个带+号的小象图标”New hadoop location”->eclipse已填好默认参数，但以下几个参数需要修改以下，参见上文中的两个配置文件core-site.xml和hdfs-site.xml：
　
　General->Map/Reduce(V2) Master->Port改为9001

　General->DSF Master->Port改为9000

　Advanced paramters->dfs.datanode.data.dir改为ffile:/hadoop/data/dfs/datanode

　Advanced paramters->dfs.namenode.name.dir改为file:/hadoop/data/dfs/namenode
　
　4、点击Finish后在DFS Locations右键点击左边三角图标，出现hdsf文件夹，可以直接在这里操作hdsf，右键点击文件图标选”Create new Dictionery”即可新增，再次右键点击文件夹图标选Reflesh出现新增的结果；此时在localhost:50070->Utilities->Browse the file system也可以看到新增的结果；

　问题：
　如果DFS Locations未能连接成功，核对上一篇文章中的配置与eclipse hadoop location配置是否一致，也可能修改后没有执行 hadoop namenode -format。
　
　转载自：http://www.cnblogs.com/wuxun1997/p/6849878.html

阅读全文

0 0