如何在Windows中运行MapReduce程序
来源:互联网 发布:同城约爱用什么软件 编辑:程序博客网 时间:2024/04/27 16:16
Windows上配置环境变量
解压Hadoop,然后把Hadoop的根目录配置到HADOOP_HOME环境变量里面
然后把HADOOP_HOME/lib和HADOOP_HOME/bin配置到path里面。
替换bin目录
要在Windows运行MapReduce,你首先需要编译Windows版的Hadoop的应用程序。然后把官网下载的Hadoop目录下面的bin目录替换成Windows下编译的Hadoop的bin目录。
关于这一点,我已经上传了自己编译好的hadoop-2.7.3的bin目录,可以从 http://download.csdn.net/detail/mrbcy/9758112下载。
我的环境是Win10 64位。如果跟我的不一样可以参考我的另一篇博客http://blog.csdn.net/mrbcy/article/details/55806809 自已编译即可。
在应用程序中包含正确的Jar包
原则上需要把hadoop-2.7.3/share/hadoop/下的common、hdfs、mapreduce、yarn下的jar包的基础包和它们的lib下的jar包都包含进来。
运行
现在可以在Windows运行MapReduce程序了。这里用http://blog.csdn.net/mrbcy/article/details/61455917中的计算PI来做例子。
输入数据是:
99999999999999999999999999
在运行设置里面配置运行参数,主要是任务的输入目录和输出目录,如下图所示:
然后点击运行,会看到控制台的输出,如下图所示:
最后看一下输出:
99999 3.1408314083140834999999 3.14161114161114169999999 3.141260714126071699999999 3.1414984314149845
1 0
- 如何在Windows中运行MapReduce程序
- 如何在Windows中运行MapReduce程序
- 如何在Amazon Elastic MapReduce(EMR)上运行MapReduce程序
- 在Eclipse中直接运行Mapreduce程序
- 如何在Windows系统中设置Python程序定时运行
- Linux:如何在Linux中运行Windows程序
- 如何在Windows中后台运行命令行程序
- 如何在Windows系统中设置Python程序定时运行
- 如何在Windows系统中设置Python程序定时运行
- 在eclipse将mapreduce程序运行在hadoop集群中
- 如何在本地Windows环境中用Eclipse中调试MapReduce程序
- 如何分布式运行mapreduce程序
- 在Eclipse中运行第一个MapReduce程序
- 在Eclipse中运行第一个MapReduce程序
- 在Eclipse中运行第一个MapReduce程序
- 在Eclipse中运行第一个MapReduce程序
- 创建MapReduce程序,并在hadoop集群中运行
- 在eclipse中运行mapreduce程序全过程,问题详解
- Python中的函数装饰器
- 基础知识补充
- 数据库中主键与索引的区别
- Intellij idea的maven依赖图
- Java多线程基础之进程与线程
- 如何在Windows中运行MapReduce程序
- NYOJ-218 Dinner(字符串判断)
- HashMap源码分析
- 作业GFOJ107(zw_dalao)
- 关于阿里云服务器刚购买却启动不了的问题
- Android6.0的奇葩改动
- [2017-03-16]javascript严格模式
- ffmpeg解码后存YUV数据
- AM335X DDR3 512M调试过程