Hadoop2.5.2学习02--MR执行环境的类型

来源：互联网发布：国际城市三字代码数据编辑：程序博客网时间：2024/05/16 08:43

System.setProperty(“HADOOP_USER_NAME”, “chb”);

1、MR执行环境有两种：本地测试环境，服务器环境

本地测试环境(windows)：

在windows的hadoop目录bin目录有一个winutils.exe1、在windows下配置hadoop的环境变量2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib4、MR调用的代码需要改变：    a、src不能有服务器的hadoop配置文件    b、在调用是使用：        Configuration config = new  Configuration();        config.set("fs.defaultFS", "hdfs://TEST:9000");        config.set("yarn.resourcemanager.hostname", "TEST");

服务器环境：

首先需要在src下放置服务器上的hadoop配置文件

1、在本地直接调用，执行过程在服务器上（真正企业运行环境）

a、把MR程序打包（jar），直接放到本地
b、修改hadoop的源码，注意：确保项目的lib需要真实安装的jdk的lib
c、增加一个属性：
config.set(“mapred.jar”, “C:\Users\Administrator\Desktop\wc.jar”);
d、本地执行main方法，servlet调用MR。

2、直接在服务器上，使用命令的方式调用，执行过程也在服务器上

a、把MR程序打包（jar），传送到服务器上
b、通过： hadoop jar jar路径类的全限定名

看参考上篇文章 Hadoop2.5.2学习01–mapreduce统计单词数

a,1 b,1
a,3 c,3
a,2 d,2

a,3 c,3
a,2 d,2
a,1 b,1

0 0