win7+eclipse+hadoop2.5.2环境安装搭建

上篇http://note.youdao.com/noteshare?id=a85f33d7d2b8a8b2634769b68906ac67已完成hadoop2.5.2在centos6.5下完全分布式的安装

一、jdk环境配置

jdk8安装后好后配置相关JAVA_HOME环境变量,并将bin目录配置到path

二、下载hadoop-2.5.2.tar.gz，在E盘中新建E:\hadoop文件夹，解压hadoop-2.5.2.tar.gz到E:\hadoop\hadoop-2.5.2

下载地址http://pan.baidu.com/s/1jIyRg6y

三、下载hadoop-2.5.2-src.tar.gz，解压hadoop-2.5.2-src.tar.gz到E:\hadoop\hadoop-2.5.2-src

下载地址http://pan.baidu.com/s/1dEU9iF3

四、修改本地hosts文件，加入如下内容：

192.168.1.107 master

五、eclipse环境配置

eclipse-java-luna-SR2-win32-x86_64.zip解压到E:\eclipse-java-luna-SR2-win32-x86_64\eclipse

eclipse下载地址：http://pan.baidu.com/s/1eS3cXt4

1.下载hadoop-eclipse-plugin-2.5.2.jar，将hadoop-eclipse-plugin-2.5.2.jar拷贝至eclipse的plugins目录下，然后重启eclipse

（hadoop-eclipse-plugin-2.5.2.jar下载地址http://pan.baidu.com/s/1mi0iWGw）

2.打开菜单Window--Preference--Hadoop Map/Reduce进行配置，如下图所示：

3.显示Hadoop连接配置窗口：Window--Show View--Other-MapReduce Tools,如下图所示：

4.配置连接Hadoop，如下图所示：

查看是否连接成功，能看到如下信息，则表示连接成功：

六、hadoop集群环境添加测试文件

(如果已有则无需配置)

a.dfs上创建input目录

hadoop@master:hadoop fs -mkdir -p /input

b.把hadoop根目录下的README.txt拷贝到dfs新建的input里

hadoop@master:cd /home/hadoop/hadoop2

hadoop@master:hadoop fs -copyFromLocal README.txt /input

(注意：千万别创建output文件夹不然运行wordcout例子时会报错，因为hadoop会自动创建output文件夹，本人就是手痒多创建了/output目录导致eclipse下运行wordcout报错)

七、在eclipse下运行wordcout例子

下载hadoop-common-2.2.0-bin后解压到E:\hadoop\hadoop-common-2.2.0-bin-master目录下。（下载地址：http://pan.baidu.com/s/1qXKJt4w）

1.新建项目 File--New--Other--Map/Reduce Project 命名为MR1,

然后创建类org.apache.hadoop.examples.WordCount，从hadoop-2.5.2-src中拷贝覆盖

（F:\hadoop\hadoop-2.5.2-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java）

本把代码稍作修改如下

部分代码如下

2、执行代码发现了错误，input path does not exist

出现此错误的原因是因为忘记在dfs上创建/input目录，或者创建后被删除了

解决办法：重新在dfs上创建input目录

hadoop@master:hadoop fs -mkdir -p /input

hadoop@master:hadoop fs -copyFromLocal README.txt /input

hadoop@master:hadoop dfs -cat /input/README.txt

3、继续执行发现错误output already exists

出现此错误原因是因为自己手痒在dfs上创建了/out目录

解决办法：删除dfs上的/out目录即可

hadoop fs -rm -r /output

运行

hadoop dfs -ls /

查看dfs目录

4、rg.apache.hadoop.util.Shell - Failed to locate the winutils binary in the hadoop binary path

就去一看，没有winutils.exe这个东西。去http://pan.baidu.com/s/1kUMVwDx下载一个，放到hadoop目录下的bin目录下。

5、hadoop报错:Exception in thread "main"Java.lang.UnsatisfiedLinkError: org.apache.Hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

解决办法：把hadoop-common-2.2.0-bin-master/bin目录下的hadoop.dll复制到hadoop目录下的bin目录下

6、运行成功查看结果

查看output下文件

运行 hadoop dfs -ls /output

运行 hadoop fs -cat /output/part-r-00000