Hadoop基础之---配置

话说Hadoop的配置文件是相当多的，这里列出一些注意的，常用的。

为什么要这么多配置，，配置就是为了方便配置，废话。因为很多时候代码里面写了很多Magic Number或者固定的路径或者固定的策略，而不同的环境，不同的需求可能会与默认的不同，所以需要修改，就放到配置文件里面，这样就可以随心所欲的设置了，而不用重新修改代码编译。

1.hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}
配置JAVA_HOME,(既然在环境变量中已经配置了，还要修改这个吗？？？)

#export JSVC_HOME=${JSVC_HOME}
配置使用安全认证的Jsvc Home,默认不需要

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}
指定Hadoop的配置目录


下面不少是设置运行参数的，一般默认即可，少数需要修改的时候要仔细看清作用，为简单起见，删除了很多说明注释部分
# The maximum amount of heap to use, in MB. Default is 1000.
#export HADOOP_HEAPSIZE=
#export HADOOP_NAMENODE_INIT_HEAPSIZE=""
# Extra Java runtime options.  Empty by default.
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS $HADOOP_DATANODE_OPTS"


export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_SECONDARYNAMENODE_OPTS"


export HADOOP_NFS3_OPTS="$HADOOP_NFS3_OPTS"
export HADOOP_PORTMAP_OPTS="-Xmx512m $HADOOP_PORTMAP_OPTS"


# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"
#HADOOP_JAVA_PLATFORM_OPTS="-XX:-UsePerfData $HADOOP_JAVA_PLATFORM_OPTS"

export HADOOP_SECURE_DN_USER=${HADOOP_SECURE_DN_USER}


# Where log files are stored.  $HADOOP_HOME/logs by default.
#export HADOOP_LOG_DIR=${HADOOP_LOG_DIR}/$USER

# Where log files are stored in the secure data environment.
export HADOOP_SECURE_DN_LOG_DIR=${HADOOP_LOG_DIR}/${HADOOP_HDFS_USER}


# export HADOOP_MOVER_OPTS=""


###
# Advanced Users Only!
###

export HADOOP_PID_DIR=${HADOOP_PID_DIR}
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}


# A string representing this instance of hadoop. $USER by default.
export HADOOP_IDENT_STRING=$USER

2. core_site.xml

Hadoop按照下面的文件顺序寻找配置，除非显示关闭默认的配置

1. core-default.xml: Read-only defaults for hadoop.
2.core-site.xml: Site-specific configuration for a given hadoop installation.

不可修改的配置项 <final>true</final>

扩展配置，例如： <value>/user/${user}</value>   ${user}是其他的配置项，或者使用 System.getProperties()获得其值

3.hdfs_site.xml

HDFS

4 .mapred_site.xml

MapReduce

5.yarn-site.xml

Yarn

6.其他

其他配置