在 win7 64 上伪分布式部署 Hadoop 2.7.3

在 win7 64 上伪分布式部署 Hadoop 2.7.3

主要参考链接： https://wiki.apache.org/hadoop/Hadoop2OnWindows 跳转到 Install 部分。。

已经在本机部署完了，但是我感到有点不妙。因为最后我看到如下的话：

5. Conclusion

5.1. Caveats

The following features are yet to be implemented for Windows.

• Hadoop Security
• Short-circuit reads

就是说目前的 Hadoop 2.7.3 版本，在 windows上还没有实现2个功能，其中一个是 Hadoop Security, 所以，我觉得在 Windows上部署Hadoop，在目前的版本上，还不大实用。因为安全没有 Linux 平台有保障啊。。。

---------------------------------------

首先呢，你要有 hadoop bin文件，要么自己编译出来，要么下载。接前一篇文章呢，是自己编译了一个，那么就去hadoop 的 src 目录下的 hadoop-dist\target\

下找到一个 .tar.gz 然后把它解压到一个层次比较少的无空格目录上，准备部署，文章中介绍的是部署在 C:\deploy ,我看我C盘剩余空间不如 d 盘，于是部署在 D盘。然后按照后面的 步骤一步步来，就成功部署并简单测试了下 hdfs 例子和 yarn 中的 map reduce 的 wordcount 例子。过程中，建议可以在运行前，创建新的独立的 Hadoop 用户，我第一次测试时，并没有，我用的本机当前的管理员账户。然后跑过了。

    还有就是，可以看到，开始是 运行了 start-dfs.cmd 启动了 hdfs系统，起来了 namenode datanode 2个命令行窗口。然后 

又使用 start-yarn.cmd 启动了 yarn 系统，以运行后面的 map-reduce 例子程序。测试结果呢，会在hdfs 文件系统的那个 /out 目录里面，可以 -get 出来，我看过，结果大概是表明了你要测试的 text文件中，所有的单词及其出现次数。每个单词的统计占了一行。

    文档结束，并没有讲怎么结束你的测试。可以找到并运行相应的 stop-all.cmd 或 stop-yarn.cmd stop-dfs.cmd.

具体的部署过程命令请去参考原网站的，这里就不贴了，免得太长。。。

    我遇到的问题呢，就是在编译的时候，JAVA_HOME路径中含有空格也通过了编译，而在部署过程中会报错，于是我重装了 jdk到一个没有空格的新路径，并修改了这个环境变量配置。

    本机只是测试了下单机伪分布式部署，要集群部署进行测试呢，请参照相应的 ClusterSetup 的文档。由于我没有这个环境，就不在这里做验证了。

    状态查看

    在浏览器中可以输入 http://NameNode:50070/ 看到集群的基本信息。单机伪分布式部署，可以输入 http://localhost:50070/ 确实可以看到状态。

    如果有正在执行中的任务  http://NameNode:50030/ 可以看到当前集群上的任务状态。比如 http://localhost:50030/ ，我没有看到本机已运行结束的例子的任务情况。