使用eclipse编写Hadoop应用程序

在此，用eclipse编写了一个简单的程序。

1）在eclipse下创建一个java工程DFSOperator，并创建相应的类。在创建类的时候不要自己创建包，用系统默认的包。之前一直不能运行成功好像就是创建了自己的包，错误提示找不到Class。后来重新创建类在默认的包中，运行成功。

2）配置编译参数

配置“Build Path”，选中“DFSOperator”，单击右键，点击下图所示菜单“Build Path -> ConfigureBuild Path”，进入“Java Build Path”配置界面。选择“Libraries”标签页，点击右侧的“Add External JAR”按钮，将安装好的“hadoop-0.20.2-core.jar”添加进来。

3）编辑源代码

4）编译生成jar包

右键“DFSOperator”项目，选择“Build Project”，编译项目工程，编译“DFSOperator.java”后，生成下图所示的DFSOperator.class 文件：

右键项目，选择“Export”，导出“JAR file”，也就是jar包。然后将导出的jar 文件上传到Hadoop Master 节点。不知道该如何上传到Hadoop Master，于是跳过了这里直接把jar文件拷贝到bin目录下，执行5）里面的操作，且测试成功。但是仍然不知道这里是什么意思。

5）运行

导出的jar文件放到hadoop的bin文件下，进入Hadoop 的bin 目录，用以下命令进行测试运行：

(1)ls：查看当前目录，检查dfs_operator.jar是否存在；

(2)./hadoop fs -ls /：查看Hadoop根目录下是否存在dfs_operator.txt文件；

(3)./hadoop jar ./dfs_operator.jar DFSOperator：运行dfs_operator.jar，以生成dfs_operator.txt 文件；

(4)./hadoop fs -ls /：再查看Hadoop根目录下是否存在dfs_operator.txt文件；

(5)./hadoop fs -cat /dfs_operator.txt：检查dfs_operator.txt文件的内容。

该程序完成的功能简单，但从中可以学到如何在Windows下利用eclipse进行Hadoop编程。