Hadoop学习笔记（十二）---hadoop配置文件详解

来源：互联网发布：淘宝上怎么买到苍蝇粉编辑：程序博客网时间：2024/04/27 04:08

关于conf/core-site.xml, conf/hdfs-site.xml,conf/mapred-site.xml的配置作如下说明：

conf/core-site.xml配置如下：

fs.default.name : NameNode的ip地址及其端口 hadoop.tmp.dir : 指定临时文件的目录

conf/hdfs-site.xml配置如下:

dfs.replication : 备份数据的数量，默认是3，也就是会有三份数据dfs.name.dir : NameNode存储名字空间及汇报日志的位置dfs.data.dir : DataNode存储数据块的位置

conf/mapred-site.xml配置如下：

mapreduce.job.tracker : jobtracker的ip地址及端口mapreduce.jobtracker.system.dir : MapReduce在HDFS上存储文件的位置，例如/hadoop/mapred/systemmapreduce.cluster.local.dir : MapReduce的缓存数据存储在文件系统中的位置mapred.tasktracker.{map|reduce}.tasks.maxium : 每台TaskTracker所运行的map或者reduce的task的最大数量dfs.hosts/dfs.hosts.exclude : 允许或者禁止的DataNode列表mapreduce.jobtracker.hosts.filename/mapreduce.jobtracker.hosts.exclude.filename :允许或者禁止的TaskTrackers列表mapreduce.cluster.job-authorization-enabled : 布尔类型，表示job存取控制列表是否支持对job的观察和修改

conf/Hadoop-env.sh 配置如下：

export JAVA_HOME=/usr/local/jdk  指定java路径

conf.masters配置如下：

hadoop1 secondNameNode所运行的位置

conf/slaves配置如下：

hadoop1hadoop2  datanode和tasktracker的位置

0 0