如何在Windows中运行MapReduce程序

来源：互联网发布：mysql 自定义变量编辑：程序博客网时间：2024/04/27 15:12

原文地址

解压Hadoop，然后把Hadoop的根目录配置到HADOOP_HOME环境变量里面

然后把HADOOP_HOME/lib和HADOOP_HOME/bin配置到path里面。

要在Windows运行MapReduce，你首先需要编译Windows版的Hadoop的应用程序。然后把官网下载的Hadoop目录下面的bin目录替换成Windows下编译的Hadoop的bin目录。

关于这一点，我已经上传了自己编译好的hadoop-2.7.3的bin目录，可以从 http://download.csdn.net/detail/mrbcy/9758112下载。

我的环境是Win10 64位。如果跟我的不一样可以参考我的另一篇博客http://blog.csdn.net/mrbcy/article/details/55806809 自已编译即可。

原则上需要把hadoop-2.7.3/share/hadoop/下的common、hdfs、mapreduce、yarn下的jar包的基础包和它们的lib下的jar包都包含进来。

现在可以在Windows运行MapReduce程序了。这里用http://blog.csdn.net/mrbcy/article/details/61455917中的计算PI来做例子。

输入数据是：

99999999999999999999999999

在运行设置里面配置运行参数，主要是任务的输入目录和输出目录，如下图所示：

然后点击运行，会看到控制台的输出，如下图所示：

最后看一下输出：

99999   3.1408314083140834999999  3.14161114161114169999999 3.141260714126071699999999    3.1414984314149845

0 0