Eclipse下伪分布式运行hadoop例子wordcount

其他版本测试均无效：

本人使用一下配置，成功运行!

eclipse版本：eclipse-jee-europa-winter-linux-gtk.tar

Hadoop版本：hadoop-0.20.2

Linux版本：ubuntu 8

 

一、安装JDK-6，SSH(略，google一把就是了)

二、安装以及配置hadoop-0.20.2（略，google一把就是了）

三、Eclipse加载插件

插件在hadoop安装目录下的contrib/elicipse-plugin下

无需任何修改将其放置到elcipse安装目录下得plugins,然后启动elcipse即可。

四、运行wordcount（哇靠！？）例子

1、打开mapreduce perspective

2、配置mapreduce的location（注意要与conf下的配置文件一致）

3、用terminal format一下namenode

4、用terminal start-all.sh

5、既可以见到dfs location,一步步打开就可以查看整个hdfs的相关目录的

6、在hdfs的用户目录下新建一个目录（保证不会被权限这类东东影响）

7、上传测试文件上去这个目录

8、新建一个mapreduce project

9、import wordcount这个类（在src/example/……下,懒省略一万字，呵呵，不过一层层打开就可以看到的）

10、右击这个类，然后在run dialog里面设置配置选项

有以下两个注意点：

a、安装本人以上的配置（hdfs:/localhost:9000）的话，argument的path参数根目录就是从这个目录算起，亦即是dfs location查看到的部分

b、一定要填写jvm的参数

-Xmx500m

因为根据本人暂时的理解，不知道对否，请高人指点。

因为，jobtracker需要根据这个值来为新的job开启新的vm的，而且默认大小不够，要500m+

11、最后启动即可（右击类，然后选择“run on hadoop”）

 

结语：

本人觉得elcipse 插件对于提高开发效率没有什么帮助的

到头来，还是需要通过terminal以及页面来查看相关信息！！！