eclipse hadoop2.4.1插件开发

来源：互联网发布：vbs把参数传递给java 编辑：程序博客网时间：2024/04/30 16:13

一、首先得配置好开发环境

1.加入插件包如下所示

2.启动eclipse

window->preferences:如下图所示

点击map/reduce，配置好hadoop的目录

按照下图步骤1、2、3

在控制台点击右键创建new hadoop location

配置如上图所示：

1.你可以随意取个名字

2.填写hadoop主节点的位置

3.为默认，不用修改

4.为core-site.xml中的端口如下：

<property><name>fs.defaultFS</name><value>hdfs://msg-01:9000</value></property>

配置完上面的，回到eclipse主界面,如下图所示，则你已经成功了

红色部分则为，hadoop集群中hdfs上的文件

现在来创建一个简单实例测试一下

package com.mkdir.ywd;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class MkDir {public static void main(String[] args) throws IOException {// TODO Auto-generated method stubConfiguration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(configuration);fileSystem.mkdirs(new Path("/user/hadoop/20120722"));}}

引用的jar,在hadoop-2.4.1\share\hadoop下面

创建好java project 打包成jar ，上传到hadoop主节点上

如上所示，文件上传成功

执行jar

上图中，第一次执行有异常，看提示是编译的问题，我eclipse使用的是1.7 而hadoop集群采用的是1.6

解决方法：修改eclipsejdk为1.6,重新编译后再次上传，如图中下面所示，没有问题。。

执行hadoop fs -ls /user/hadoop则可以看到文件夹创建成功

1 0