eclipse和hadoop2.3.0相连

来源:互联网 发布:开源网络代理服务器 编辑:程序博客网 时间:2024/06/01 13:21

之前公司的集群使用的是hadoop 1x系列的,直接在window系统下装一个crywin就可以调试hadoop程序了。后面把集群升级到了2.3.0,eclipse连接hadoop一直报错,于是就重新配置eclipse和hadoop相连 。


1、下载一个版本高点的eclipse,版本太低了不能和hadoop2.3.0相连。我这里使用的是eclipse Luna 4.4版本的。这个版本里集成了hadoop-eclipse插件。

2、运行程序时会报null\bin\winutils.exe错误。在网上下一个hadoop-common-2.2.0-bin-master。它里面有一个winutils.exe文件。设置环境变量,HADOOP_HOME,指向hadoop-common-2.2.0-bin-master的home目录,并把%HADOOP_HOME%\bin添加到path中。注意:winutils.exe只能在64位系统下使用,所以你的系统必须是64位操作系统。如果是xp系统就不能使用这个工具。

3、配置好环境变量好再运行会出现: Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)

这是因为系统中缺少hadoop.dll文件所引起的。把hadoop-common-2.2.0-bin-master中的hadoop.dll文件拷贝到c:\window\system32目录下,重启电脑后问题解决。

现在就可以在eclipse中运行本地job任务了!

0 0