Hadoop配置说明

Hadoop有两类配置文件，默认的default-site.xml和可以修改的site.xml，除此之外，还可以通过env.sh设置参数，同时env.sh也用于配置一些环境变量。

一、 通过env.sh配置参数和环境变量

至少要设置JAVA_HOME，也可以通过下表中的参数分别对各个进程进行配置，整体变量意思是这个变量设置之后对左侧的几个进程均有效果。

进程 变量 整体变量 Namenode HADOOP_NAMENODE_OPTS HADOOP_OPTS Secondary namenode HADOOP_SECONDARYNAMENODE_OPTS HADOOP_OPTS Datanode HADOOP_DATANODE_OPTS HADOOP_OPTS Journalnode HADOOP_JOURNALNODE_OPTS HADOOP_OPTS Recource manager YARN_RESOURCEMANAGER_OPTS YARN_OPTS Node manager YARN_NODEMANAGER_OPTS YARN_OPTS WebAppProxy YARN_PROXYSERVER_OPTS YARN_OPTS Map Reduce Job History Server HADOOP_JOB_HISTORYSERVER_OPTS

比如在hadoop-env.sh中，有如下配置：

从上图可以看出，其实这些参数的设置，是对java在启动时指定参数，即java -Dkey1=value1 -Dkey2=value2 someClass, 这一类参数可以在程序中通过System.getProperty(“key1”)获取。也可以通过它们设定使用何种垃圾回收机制，比如：

  export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC"。

其实，启动进程时，这些参数都会被包含在HADOOP_OPTS或者YARN_OPTS中的，证明如下：

而在指定具体启动什么进程时，会将这种进程的OPT加到HADOOP_OPTS后面，使得不同角色进程拥有自己特有的参数。比如在启动namenode时，会将HADOOP_NAMENODE_OPTS追加至HADOOP_OPTS中，证明如下：

通过env.sh还可以设置其他有用参数，如下：

参数 值 HADOOP_PID_DIR Hadoop的pid文件存储目录 HADOOP_LOG_DIR Hadoop日志文件目录 HADOOP_HEAPSIZE Hadoop最大能使用的堆(单位MB)，默认1000MB YARN_HEAPSIZE YARN最大能使用的堆(单位MB)，默认1000MB

当然也可以分别对进程指定堆内存大小：

进程 变量 整体变量 ResourceManager YARN_RESOURCEMANAGER_HEAPSIZ YARN_HEAPSIZE NodeManager YARN_NODEMANAGER_HEAPSIZE YARN_HEAPSIZE WebAppProxy YARN_PROXYSERVER_HEAPSIZE YARN_HEAPSIZE Map Reduce Job History Server HADOOP_JOB_HISTORYSERVER_HEAPSIZE

其实堆内存的设定指定的是在java启动时指定-Xmx, 即java -Xmx1000M最大堆大小。这些堆参数的设定，会被加到JAVA_HEAP_MAX环境变量下:

二、 通过site.xml配置参数

可以通过Core-site.xml,hdfs-site.xml,mapred-site.xml,Yarn-site.xml配置文件进行各个组件的配置，具体配置项请查阅官方文档，意义还是比较明确的，这里暂且不表。