eclipse_win7_hadoop1.2.1开发环境搭建1

转自：http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

时间比较紧，而且，这篇日志不管怎么写，都不能比转载的这篇好，所以，这次抄了：

1、Hadoop开发环境简介

1.1 Hadoop集群简介

　　Java版本：jdk-6u31-linux-i586.bin

　　Linux系统：CentOS6.0

　　Hadoop版本：hadoop-1.2.1.tar.gz

1.2 Windows开发简介

　　Java版本：jdk-6u38-ea-bin-b04-windows-amd64-31_oct_2012.exe

　　Win系统：Windows 7 旗舰版

　　Eclipse软件：eclipse-jee-indigo-SR1-win32.zip| eclipse-jee-helios-SR2-win32.zip

      下载地址：http://mirror.bit.edu.cn/eclipse/technology/epp/downloads/release/indigo/SR2/eclipse-jee-indigo-SR2-win32-x86_64.zip 

　　Hadoop软件：hadoop-1.2.1.tar.gz

　　Hadoop Eclipse 插件：hadoop-eclipse-plugin-1.2.1.jar

　　下载地址：http://files.cnblogs.com/alex-blog/hadoop-eclipse-plugin-1.2.1.zip

　　备注：下面是网上收集的收集的"hadoop-eclipse-plugin-1.0.0.jar"，除"版本2.0"是根据"V1.0"按照"常见问题FAQ_1"改的之外，剩余的"V3.0"、"V4.0"和"V5.0"和"V2.0"一样是别人已经弄好的，而且我已经都测试过，没有任何问题，可以放心使用。我们这里选择第"V5.0"使用。记得在使用时重新命名为"hadoop-eclipse-plugin-1.0.0.jar"。

 

2、Hadoop Eclipse简介和使用

2.1 Eclipse插件介绍

　　Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Hadoop程序都有很大难度。正因为如此，Hadoop的开发者开发出了Hadoop Eclipse插件，它在Hadoop的开发环境中嵌入了Eclipse，从而实现了开发环境的图形化，降低了编程难度。在安装插件，配置Hadoop的相关信息之后，如果用户创建Hadoop程序，插件会自动导入Hadoop编程接口的JAR文件，这样用户就可以在Eclipse的图形化界面中编写、调试、运行Hadoop程序（包括单机程序和分布式程序），也可以在其中查看自己程序的实时状态、错误信息和运行结果，还可以查看、管理HDFS以及文件。总地来说，Hadoop Eclipse插件安装简单，使用方便，功能强大，尤其是在Hadoop编程方面，是Hadoop入门和Hadoop编程必不可少的工具。

2.2 Hadoop工作目录简介

　　为了以后方便开发，我们按照下面把开发中用到的软件安装在此目录中，JDK安装除外，我这里把JDK安装在C盘的默认安装路径下，下面是我的工作目录：

 

    系统磁盘（E：）

        |---HadoopWorkPlat

            |--- eclipse

            |--- hadoop-1.0.0

            |--- workplace

            |---……

 

　　按照上面目录把Eclipse和Hadoop解压到"E:\HadoopWorkPlat"下面，并创建"workplace"作为Eclipse的工作空间。

 

 

 

 

　　备注：大家可以按照自己的情况，不一定按照我的结构来设计。

2.3 修改系统管理员名字

　　经过两天多次探索，为了使Eclipse能正常对Hadoop集群的HDFS上的文件能进行修改和删除，所以修改你工作时所用的Win7系统管理员名字，默认一般为"Administrator"，把它修改为"hadoop"，此用户名与Hadoop集群普通用户一致，大家应该记得我们Hadoop集群中所有的机器都有一个普通用户——hadoop，而且Hadoop运行也是用这个用户进行的。为了不至于为权限苦恼，我们可以修改Win7上系统管理员的姓名，这样就避免出现该用户在Hadoop集群上没有权限等都疼问题，会导致在Eclipse中对Hadoop集群的HDFS创建和删除文件受影响。

　　你可以做一下实验，查看Master.Hadoop机器上"/usr/hadoop/logs"下面的日志。发现权限不够，不能进行"Write"操作，网上有几种解决方案，但是对Hadoop1.0不起作用，详情见"常见问题FAQ_2"。下面我们进行修改管理员名字。

　　首先"右击"桌面上图标"我的电脑"，选择"管理"，弹出界面如下：

 

 

 

　　接着选择"本地用户和组"，展开"用户"，找到系统管理员"Administrator"，修改其为"hadoop"，操作结果如下图：

 

 

 

　　最后，把电脑进行"注销"或者"重启电脑"，这样才能使管理员才能用这个名字。

2.4 Eclipse插件开发配置

　　第一步：把我们的"hadoop-eclipse-plugin-1.0.0.jar"放到Eclipse的目录的"plugins"中，然后重新Eclipse即可生效。

 

    系统磁盘（E：）

        |---HadoopWorkPlat

            |--- eclipse

                |--- plugins

                    |--- hadoop-eclipse-plugin-1.0.0.jar

 

　　上面是我的"hadoop-eclipse-plugin"插件放置的地方。重启Eclipse如下

 

 

　　细心的你从上图中左侧"Project Explorer"下面发现"DFS Locations"，说明Eclipse已经识别刚才放入的Hadoop Eclipse插件了。

 

　　第二步：选择"Window"菜单下的"Preference"，然后弹出一个窗体，在窗体的左侧，有一列选项，里面会多出"Hadoop Map/Reduce"选项，点击此选项，选择Hadoop的安装目录（如我的Hadoop目录：E:\HadoopWorkPlat\hadoop-1.0.0）。结果如下图：

 

 

 

　　第三步：切换"Map/Reduce"工作目录，有两种方法：

　　1）选择"Window"菜单下选择"Open Perspective"，弹出一个窗体，从中选择"Map/Reduce"选项即可进行切换。

 

 

 

　　2）在Eclipse软件的右上角，点击图标""中的""，点击"Other"选项，也可以弹出上图，从中选择"Map/Reduce"，然后点击"OK"即可确定。

　　切换到"Map/Reduce"工作目录下的界面如下图所示。

 

 

　　第四步：建立与Hadoop集群的连接，在Eclipse软件下面的"Map/Reduce Locations"进行右击，弹出一个选项，选择"New Hadoop Location"，然后弹出一个窗体。

 

 

 

　　注意上图中的红色标注的地方，是需要我们关注的地方。

• Location Name：可以任意其，标识一个"Map/Reduce Location"
• Map/Reduce Master
  Host：192.168.1.2（Master.Hadoop的IP地址）
  Port：9001

• DFS Master 
  Use M/R Master host：前面的勾上。（因为我们的NameNode和JobTracker都在一个机器上。）
  Port：9000

• User name：hadoop（默认为Win系统管理员名字，因为我们之前改了所以这里就变成了hadoop。）

 

 

　　备注：这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。不清楚的可以参考"Hadoop集群_第5期_Hadoop安装配置_V1.0"进行查看。

 　　接着点击"Advanced parameters"从中找见"hadoop.tmp.dir"，修改成为我们Hadoop集群中设置的地址，我们的Hadoop集群是"/usr/hadoop/tmp"，这个参数在"core-site.xml"进行了配置。

 

 

　　点击"finish"之后，会发现Eclipse软件下面的"Map/Reduce Locations"出现一条信息，就是我们刚才建立的"Map/Reduce Location"。

 

    

　　第五步：查看HDFS文件系统，并尝试建立文件夹和上传文件。点击Eclipse软件左侧的"DFS Locations"下面的"Win7ToHadoop"，就会展示出HDFS上的文件结构。

 

    

　　右击"Win7ToHadoopàuseràhadoop"可以尝试建立一个"文件夹--xiapi"，然后右击刷新就能查看我们刚才建立的文件夹。

 

 

　　创建完之后，并刷新，显示结果如下：

 

 

　　用SecureCRT远程登录"Master.Hadoop"服务器，用下面命令查看是否已经建立一个"xiapi"的文件夹。

 

hadoop fs -ls

 

    

　　到此为止，我们的Hadoop Eclipse开发环境已经配置完毕，不尽兴的同学可以上传点本地文件到HDFS分布式文件上，可以互相对比意见文件是否已经上传成功。