MapReduce运行模式-本地模式配置
来源:互联网 发布:淘宝虚拟现实vr购物 编辑:程序博客网 时间:2024/06/05 04:47
集群模式得把MapReduce程序导出为jar文件,在集群中执行该文件 bin/hadoop wc.jar com.test.wc.WCRunner /input /output3
如果程序有错就得重新打包,重新上传到集群再运行。在本地上跑就会方便许多。但是需要配置一下环境。步骤如下:
1、把winutils.exe文件放到%HADOOP_HOME%的bin目录中
也就是本地Hadoop解压文件中的bin目录下。
2、设置HADOOP_HOME环境变量,需要根据此环境变量获取上面的文件
3、把hadoop.dll文件放到c:/windows/System32目录下
4、hadoop-2.6.0\share\hadoop\common\sources目录下hadoop-common-2.6.0-sources.jar文件中找到org\apache\hadoop\io\nativeio下NativeIO.java文件,复制到对应的Eclipse的project中, NativeIO.java文件还要在原来的包名下修改此文件的557行,替换为return true。
5、用管理员身份启动eclipse。
阅读全文
1 0
- MapReduce运行模式-本地模式配置
- MapReduce本地模式
- MapReduce在本地集群模式下运行debug
- Hadoop环境搭建之一安装jdk,hadoop基本配置及运行MapReduce案例在本地模式下
- Hadoop环境搭建之二配置启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
- mapreduce程序本地模式调试
- 单机伪分布式模式 运行MapReduce程序 配置问题
- hadoop本地模式配置
- hadoop初识之三:搭建hadoop环境(配置HDFS,Yarn及mapreduce 运行在yarn)上及三种运行模式(本地模式,伪分布式和分布式介)
- Storm 本地模式运行WordCountTopology
- spark设置本地运行模式
- 第一个MapReduce案例集群模式&本地模式
- 第一个MapReduce案例集群模式&本地模式
- 第一个MapReduce案例集群模式&本地模式
- hadoop mapreduce的本地模式及yarn模式
- mr(mapreduce)几种提交运行模式
- Hadoop之Mapreduce------>3种运行模式
- MapReduce job运行的几种模式
- 区块链解读2
- 2257: [Jsoi2009]瓶子和燃料
- 1754:字符串数组排序问题(4.1算法之排序和算法性能)
- Shiro授权详细解析
- Android打造流畅九宫格抽奖
- MapReduce运行模式-本地模式配置
- 将大数据写入数据库
- Shiro几大拦截器
- 关于闭包
- bzoj 1552: [Cerc2007]robotic sort && bzoj 3506: [Cqoi2014]排序机械臂(splay区间翻转)
- html5手机网站需要加的那些meta标签,手机网站自适应
- java基础——多维数组
- 正则表达式
- 【maven】web项目不需要web.xml,maven打包报错