Yarn目录文件介绍

转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt

1、sbin目录下的

1、distribute-exclude.sh

这个脚本用来将exclude文件分发到各个Namenode上。

2、hadoop-setup-conf.sh

1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。

2、针对特定的配置文件增加配置项

3、配置其他多个配置项

3、httpfs.sh

1、配置tomcat启动参数

2、配置httpfs-config.sh

3、启动tomcat，提供httpfs服务

4、hadoop-setup-hdfs.sh

1、在hdfs空间内添加用户，并为用户构建默认的用户目录

5、 hadoop-setup-applications.sh

1、与hadoop-setup-hdfs.sh大致相同，也是用来在hdfs空间中创建目录的，但是是在app目录下创建。

6、refresh-namenodes.sh

1、利用dfsadmin对所有的namenodes进行refresh

7、hdfs-config.sh

1、调用libexec/hadoop-config.sh来完成相关的任务

2、libexec目录下的

1、hadoop-config.sh

1、设置各种Hadoop启动参数

2、设置java-home，classpath等

3、设置各种Hadoop路径

2、httpfs-config.sh

1、export所有的tomcat环境运行时需要的参数

3、hdfs-config.sh

1、针对hdfs的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行

4、mapred-config.sh

1、针对mapped的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行

5、yarn-config.sh

1、针对yarn的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行

3、bin目录下的

1、hadoop

1、真正运行java程序的，以前的版本就靠这个来真正call到java程序，但是现在依靠的hdfs和mapred来各自完成自己的

2、现在的版本主要完成fs的操作以及log操作，RunJar，以及获取log，version等基本任务

2、hdfs

1、将dfs的工作在这个脚本内完成

2、由外层的start/stop-dfs发起调用来完成各个daemon的启动

3、自身发起调用完成dfsadmin，以及ha管理等

3、mapred

1、完成mapreduce的各个功能操作

4、rcc

1、作为Hadoop record compiler来完成相关操作

5、yarn

1、完成yarn的各项功能操作

相关文档可参：

https://issues.apache.org/jira/browse/Hadoop-6255

1、现在的结构比以前的要稍微复杂一些了，如下：

ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1$ ls -d */

bin/ cloudera/ etc/ examples/ include/ lib/ libexec/ sbin/ share/ src/

2、外层的启动脚本，都在sbin目录下：

ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1/sbin$ ls

distribute-exclude.sh hadoop-setup-conf.sh httpfs.sh start-balancer.sh stop-balancer.sh update-hdfs-env.sh

hadoop-create-user.sh hadoop-setup-hdfs.sh mr-jobhistory-daemon.sh start-dfs.sh stop-dfs.sh yarn-daemon.sh

hadoop-daemon.sh hadoop-setup-single-node.sh refresh-namenodes.sh start-secure-dns.sh stop-secure-dns.sh yarn-daemons.sh

hadoop-daemons.sh hadoop-validate-setup.sh slaves.sh start-yarn.sh stop-yarn.sh

hadoop-setup-applications.sh hdfs-config.sh start-all.sh stop-all.sh update-hadoop-env.sh

3、内层的被调用脚本，都在bin目录下：

ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1/bin$ ls

container-executor hadoop hdfs mapred rcc yarn

4、Native的so文件都在lib目录下：

ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1/lib$ ls ./ -R

./:

native

./native:

libhadoop.a libhadooppipes.a libhadoop.so.1 libhadooputils.a libhdfs.la libhdfs.so.0

libhadoop.la libhadoop.so libhadoop.so.1.0.0 libhdfs.a libhdfs.so libhdfs.so.0.0.0

5、配置程序文件都放置在libexec

ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1/libexec$ ls

hadoop-config.sh hdfs-config.sh httpfs-config.sh mapred-config.sh yarn-config.sh

6、配置文件都在etc目录，对应以前的conf目录

ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1/etc$ ls ./ -R

./:

hadoop

./hadoop:

core-site.xml hadoop-metrics.properties httpfs-log4j.properties log4j.properties ssl-server.xml.example

hadoop-env.sh hdfs-site.xml httpfs-signature.secret slaves yarn-env.sh

hadoop-metrics2.properties httpfs-env.sh httpfs-site.xml ssl-client.xml.example yarn-site.xml

7、所有的jar包都在share/hadoop目录下面

/home/ziang/dev/hadoop-2.0.0-cdh4.0.1/share/hadoop