window环境搭建hadoop单点集群

参考文档:

https://wiki.apache.org/hadoop/Hadoop2OnWindows

http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

http://m.blog.csdn.net/S0009527/article/details/74938308

1.安装需知:

a.jdk必须是安装在没有中文没有空格的目录下

b.hadoop-2.6.0.tar.gz是64位的(官网默认是32位)

c.下载hadoop的windows工具包hadooponwindows

下载地址:https://github.com/sardetushar/hadooponwindows

2.jdk环境变量和hadoop的环境变量的配置

jdk需加载bin

hadoop需加载bin和sbin目录

3.修改hadoop配置文件(事先创建好目录)(注意windows路径写法)

a.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/C:/hadooptmpdata/tmp</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/C:/hadooptmpdata/name</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

b.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存；

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

c.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录；

<configuration>

<!-- 这个参数设置为1，因为是单机版hadoop -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/C:/hadooptmpdata/data</value>

</property>

</configuration>

d.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

e.编辑“D:\dev\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存；

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk

4.用hadooponwindows的bin中文件去覆盖替换掉hadoop的bin中文件(很重要)

5.启动访问

C:\Users\Administrator>hadoop namenode -format //数据目录切换需格式化

C:\Users\Administrator>start-all.cmd //启动

a.如果启动成功会弹出下面四个窗口(执行jps在win10上没有信息弹出，win7上可以)

b.浏览器访问:

http://localhost:9000
http://localhost:50070
c.java代码连接执行命令