hadoop 基础xml配置

学习中用到的配置进行总结和更新

1. core-site.xml

例子

<configuration>        <property>            <name>fs.defaultFS</name>            <value>hdfs://master:9000</value>        </property>        <property>            <name>hadoop.tmp.dir</name>            <value>/home/xhc/hadoopdata</value>        </property></configuration>

说明：

fs.defaultFS ：文件系统的URI地址，使用hdfs://地址:端口号

hadoop.tmp.dir ：临时文件的根目录

2. hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>

说明：

dfs.replication ：DataNode的block数量

3. mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

说明：

mapreduce.framework.name : 指定运行mapreduce的环境

4. yarn-site.xml

<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>        <!-- ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。 -->    <property>        <name>yarn.resourcemanager.address</name>        <value>master:18040</value>    </property>        <!-- ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。 -->    <property>        <name>yarn.resourcemanager.scheduler.address</name>        <value>master:18030</value>    </property>        <!-- ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等。 -->    <property>        <name>yarn.resourcemanager.resource-tracker.address</name>        <value>master:18025</value>    </property>        <!-- ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等。 -->    <property>        <name>yarn.resourcemanager.admin.address</name>        <value>master:18141</value>    </property>        <!-- ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息。 -->    <property>        <name>yarn.resourcemanager.webapp.address</name>        <value>master:18088</value>    </property></configuration>

说明：

yarn.nodemanager.aux-services ：NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序

yarn.resourcemanager.address ：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等

yarn.resourcemanager.scheduler.address ：ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。

yarn.resourcemanager.resource-tracker.address ： ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等

yarn.resourcemanager.admin.address ： ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等

yarn.resourcemanager.webapp.address ： ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息