MapReduce的两种执行环境:本地测试环境,服务器环境
来源:互联网 发布:域名注册ip查询 编辑:程序博客网 时间:2024/06/07 07:26
本地测试环境(windows):
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录,注意winutils.exe的版本要与hadoop版本对应,否则可能会报错。
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MapReduce调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node7:8020");//指定namenode的主机名和端口号,因为文件是放在hdfs上的需要从hdfs上读取。
1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MapReduce程序打包jar包,直接放到本地
b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
c、增加一个属性:
config.set("mapred.jar", "D:\\wc.jar");//第一个参数:jar包名加后缀,第二个参数jar存放的位置。
d、本地执行main方法,servlet调用MapReduce。
2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、直接new Configuration对象,不用再配置其它信息。会自动从服务器上加载。
b、把mapreduce程序打包成jar包,传送到服务器上
c、通过: hadoop jar jar路径 类的全限定名
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录,注意winutils.exe的版本要与hadoop版本对应,否则可能会报错。
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MapReduce调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node7:8020");//指定namenode的主机名和端口号,因为文件是放在hdfs上的需要从hdfs上读取。
config.set("yarn.resourcemanager.hostname", "node7");//resourcemanager的主机名。
5、可以进行Debug调试。
1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MapReduce程序打包jar包,直接放到本地
b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
c、增加一个属性:
config.set("mapred.jar", "D:\\wc.jar");//第一个参数:jar包名加后缀,第二个参数jar存放的位置。
d、本地执行main方法,servlet调用MapReduce。
2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、直接new Configuration对象,不用再配置其它信息。会自动从服务器上加载。
b、把mapreduce程序打包成jar包,传送到服务器上
c、通过: hadoop jar jar路径 类的全限定名
阅读全文
0 0
- MapReduce的两种执行环境:本地测试环境,服务器环境
- MapReduce两种执行环境介绍:本地测试环境,服务器环境
- MapReduce两种执行环境的搭建和测试
- MapReduce程序执行的环境
- Nginx服务器安装本地HTTPS测试环境
- 本地搭建测试环境
- 如何搭建本地的Web测试环境
- 微信开发的本地测试环境
- 本地测试服务器环境部署 && iis 信息服务管理
- 搭建本地Java服务器环境
- kafka本地测试环境搭建
- 本地搭建ipV6测试环境
- SAP本地测试环境搭建
- 大数据 (十一)Hadoop-MR执行环境之---总述+本地测试环境讲解
- 搭建测试源的服务器环境
- 服务器和执行环境信息
- 测试执行前环境检查
- JavaScript的执行环境
- centos7中输入ifconfig出现ens33,没有eth0
- Hbuilder在Iphone上真机运行
- pat1016
- 注解:@interface 自定义注解的语法
- BZOJ 1468: Tree 点分治题解
- MapReduce的两种执行环境:本地测试环境,服务器环境
- Linux下实现免密码登录(超详细)
- C++知识点之深/浅拷贝
- 排序算法:快速排序
- Deeplearning 学习资料推介
- String:557. Reverse Words in a String III
- 07.node+express+mongodb 简单整合
- ios移动端点击事件延迟300ms
- shell脚本初认识