hadoop架构分析之启动脚本分析(yarn部分)

来源:互联网 发布:linux init 1 编辑:程序博客网 时间:2024/06/06 19:03

一.start-yarn.cmd
(1)set HADOOP_BIN_PATH=%~dp0 设置HADOOP_HOME=当前目录

(2)set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1% 去掉最后一个’\’符号

(3)set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec 设置本地执行目录文件

(4)call %HADOOP_LIBEXEC_DIR%\yarn-config.cmd %* 调用yarn-config.cmd(此处有后续)

(5)start "Apache Hadoop Distribution" yarn resourcemanager

(6)start "Apache Hadoop Distribution" yarn nodemanager
启动一个单独的窗口运行一个新程序。 “Apache Hadoop Distribution”窗口的标题。hadoop是一个可执行文件(此处有后续)

二.yarn-config.cmd
(1)set HADOOP_BIN_PATH=%~dp0 设置HADOOP_HOME=当前目录

(2)set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1% 去掉最后一个’\’符号

(3)set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec 设置本地执行目录文件

(4)call %HADOOP_LIBEXEC_DIR%\hadoop-config.cmd %* 调用hadoop-config.cmd

(5)set YARN_CONF_DIR=%HADOOP_YARN_HOME%\conf

(6)set YARN_SLAVES=%YARN_CONF_DIR%\%2 将第二个参数作为文件夹名称

三.yarn.cmd
(1)set HADOOP_BIN_PATH=%~dp0 设置HADOOP_HOME=当前目录

(2)set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1% 去掉最后一个’\’符号

(3)set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec 设置本地执行目录文件

(4) call %YARN_CONF_DIR%\yarn-env.cmd 调用yarn-env.cmd

(5)set yarn-command=%1 提取第一个参数

(6)call :make_command_arguments %* 调用命令参数标签

(7)set JAVA_HEAP_MAX=-Xmx%YARN_HEAPSIZE%m 设置java堆大小

(8)set CLASSPATH=%HADOOP_CONF_DIR%;%YARN_CONF_DIR%;%CLASSPATH% 设置类路径

(9)

set yarncommands=resourcemanager nodemanager proxyserver rmadmin version jar application applicationattempt cluster container node queue logs daemonlog historyserver timelineserver classpath 
 设置yarncommands命令集合

(10)call :%yarn-command% 调用yarn命令

(11)set YARN_OPTS=%YARN_OPTS% -Djava.library.path=%JAVA_LIBRARY_PATH% 设置yarn选项

(12)set java_arguments=%JAVA_HEAP_MAX% %YARN_OPTS% -classpath %CLASSPATH% %CLASS% %yarn-command-arguments% 设置java参数

(13)call %JAVA% %java_arguments% 调用java程序

四.yarn-env.cmd
(1)set HADOOP_YARN_USER=%yarn% %yarn%表示yarn的环境变量

(2)set YARN_CONF_DIR=%HADOOP_YARN_HOME%\conf 设置yarn配置目录

(3) set JAVA_HEAP_MAX=-Xmx%YARN_HEAPSIZE%m 设置java堆大小

(4)set YARN_LOG_DIR=%HADOOP_YARN_HOME%\logs 设置日志目录

(5)set YARN_LOGFILE=yarn.log 设置日志文件

(6)set YARN_LOG_DIR=%HADOOP_YARN_HOME%\logs 设置日志目录

(7)set YARN_ROOT_LOGGER=%HADOOP_LOGLEVEL%,console 设置yarn根目录的日志目录

(8)set YARN_OPTS=%YARN_OPTS% -Dhadoop.log.dir=%YARN_LOG_DIR% 设置yarn选项

原创粉丝点击