程序博客网 > mac虚拟机win7激活

Hadoop的shell脚本分析

来源：互联网 发布：mac虚拟机win7激活 编辑：程序博客网 时间：2024/05/18 00:49

前记： 
这些天一直学习Hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。

分析原因： 
很多Hadoop的初学者对hadoop的脚本不是很清楚，不知道为什么可以在命令行中启动hadoop,也不知道为什么有时在命令行中运行hadoop命令时会出现java的错误。等等这些问题，究其原因我认为是大家对shell脚本不太了解。我曾学过一些shell编程的知识，可是对hadoop的shell程序细节还不是全部了解，我想从宏观上分析一下hadoop脚本的运行流程。

脚本分析： 
start-all.sh：

  1. # Start all Hadoop daemons.  Run this on master node.   
  2.   
  3. bin=`dirname "$0"`   
  4. bin=`cd "$bin"; pwd`   
  5.   
  6. . "$bin"/Hadoop-config.sh   
  7.   
  8. # start dfs daemons   
  9. "$bin"/start-dfs.sh --config $Hadoop_CONF_DIR   
  10.   
  11. # start mapred daemons   
  12. "$bin"/start-mapred.sh --config $Hadoop_CONF_DIR  

分析： 
正如注释的一样，这个脚本是在master上运行的，即我们运行namenode和jobtracker的主机。它首先启动了Hadoop-config.sh脚本，查看hadoop-config.sh，我们可以知道它的作用是对一些变量进行赋值，这些变量有HADOOP_HOME（hadoop的安装目录），HADOOP_CONF_DIR（hadoop的配置文件目录），HADOOP_SLAVES（--hosts指定的文件的地址），为了让大家更好地理解，下面贴出hadoop-config.sh的部分代码

  1. #check to see it is specified whether to use the slaves or the   
  2. # masters file   
  3. if [ $# -gt 1 ]   
  • then   
  •     if [ "--hosts" = "$1" ]   
  •     then   
  •         shift   
  •         slavesfile=$1  
  •         shift   
  •         export Hadoop_SLAVES="${HADOOP_CONF_DIR}/$slavesfile"  
  •     fi  

    前面的注释意思是：判断是使用slaves文件，还是master文件，这里为什么要判断呢？那我们带着疑问接着分析下去吧。然后start-all.sh根据Hadoop/conf目录下的配置信息启动了start-dfs.sh和start-mapred.sh两个脚本，下面我们去看看这两个脚本又做了些什么吧。

    start-dfs.sh:

    1. # Start Hadoop dfs daemons.   
    2. # Optinally upgrade or rollback dfs state.   
    3. # Run this on master node.   
  •   
  • usage="Usage: start-dfs.sh [-upgrade|-rollback]"  
  •   
  • bin=`dirname "$0"`   
  • bin=`cd "$bin"; pwd`   
  •   
  • . "$bin"/Hadoop-config.sh   
  •   
  • # get arguments   
  • if [ $# -ge 1 ]; then   
  •     nameStartOpt=$1  
  •     shift   
  •     case $nameStartOpt in   
  •       (-upgrade)   
  •         ;;   
  •       (-rollback)    
  •         dataStartOpt=$nameStartOpt   
  •         ;;   
  •       (*)   
  •           echo $usage   
  •           exit 1  
  •         ;;   
  •     esac   
  • fi   
  •   
  • # start dfs daemons   
  • # start namenode after datanodes, to minimize time namenode is up w/o data   
  • # note: datanodes will log connection errors until namenode starts   
  • "$bin"/Hadoop-daemon.sh --config $HADOOP_CONF_DIR start namenode $nameStartOpt   
  • "$bin"/Hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt   
  • "$bin"/Hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters start secondarynamenode  

    分析： 
    根据前面的注释信息，我们发现这个脚本用于启动集群的DFS，我们知道DFS由namenode,datanode,secondarynamenode组成，所以在脚本的最后它又启动了3个进程，分别根据配置文件启动了namenode,datanode,secondarynamenode。其实这个时候你应该已经知道start-mapred.sh干了什么事了。     

    start-mapred.sh：

    1. # Start Hadoop map reduce daemons.  Run this on master node.   
    2.   
    3. bin=`dirname "$0"`   
    4. bin=`cd "$bin"; pwd`   
    5.   
    6. . "$bin"/Hadoop-config.sh   
    7.   
    8. # start mapred daemons   
    9. # start jobtracker first to minimize connection errors at startup   
    10. "$bin"/Hadoop-daemon.sh --config $HADOOP_CONF_DIR start jobtracker   
    11. "$bin"/Hadoop-daemons.sh --config $HADOOP_CONF_DIR start tasktracker  

    分析： 
    正如你所想，它的作用用于启动mapreduce，所以它的最后同样根据配置文件启动了jobtracker和tasktracker，呵呵，现在发现其实脚本干的事没有想象的那么难了吧。如果你对shell代码看得仔细一点，你会发现Hadoop-daemon.sh脚本用于启动namenode和jobtracker,而hadoop-daemons.sh脚本用于启动datanode,secondarynamenode和tasktracker。也就是说hadoop-daemon.sh用于启动master上的进程，而hadoop-daemons.sh用于启动slaves和secondarynamenode主机上的进程（这里考虑的是slaves,secondarynamenode和master配置在了不同主机上的情况）。如果我们分析一下它们俩的代码，你会发现其实它们是有联系的。     

    Hadoop-daemons.sh:

    1. # Run a Hadoop command on all slave hosts.   
    2.   
    3. usage="Usage: Hadoop-daemons.sh [--config confdir] [--hosts hostlistfile] [start|stop] command args..."  
  •   
  • # if no args specified, show usage   
  • if [ $# -le 1 ]; then   
  •   echo $usage   
  •   exit 1  
  • fi   
  •   
  • bin=`dirname "$0"`   
  • bin=`cd "$bin"; pwd`   
  •   
  • . $bin/Hadoop-config.sh   
  •   
  • exec "$bin/slaves.sh" --config $Hadoop_CONF_DIR cd "$HADOOP_HOME" ; "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"  

    分析： 
    看到程序倒数第二行开头的那个exec关键字了吗？它执行了slaves.sh和Hadoop-daemon.sh两个脚本，并且把hadoop-daemons.sh命令的参数也传入了hadoop-daemon.sh。呵呵，现在你知道这两个脚本的关系了吧，其实hadoop-daemons.sh中调用了hadoop-daemon.sh，但在调用之前它先执行了slaves.sh脚本，现在你想看看slaves.sh干了啥吗？呵呵，我们也来分析一下吧。     

    slaves.sh:

    1. if [ "$HOSTLIST" = "" ]; then   
    2.   if [ "$Hadoop_SLAVES" = "" ]; then   
    3.     export HOSTLIST="${Hadoop_CONF_DIR}/slaves"  
    4.   else  
    5.     export HOSTLIST="${Hadoop_SLAVES}"  
    6.   fi   
    7. fi   
    8.   
    9. for slave in `cat "$HOSTLIST"|sed  "s/#.*$//;/^$/d"`; do  
    10.  ssh $Hadoop_SSH_OPTS $slave $"${@// /\ }"    
    11.    2>&1 | sed "s/^/$slave: /" &   
    12.  if [ "$Hadoop_SLAVE_SLEEP" != "" ]; then   
    13.    sleep $Hadoop_SLAVE_SLEEP   
    14.  fi   
    15. done  

    分析： 
    由于篇幅问题，以上只贴出了slaves.sh的关键代码，对于启动slaves来说，代码中的HOSTLIST变量是slaves配置文件的地址。再往后看，你会看到非常醒目的一个关键字：ssh,其实这个时候你应该明白了，slave.sh脚本的作用就是通过ssh远程登录到每个在slaves中配置的主机上。所以Hadoop-daemons.sh的功能就是先远程登录slaves，在slaves上运行hadoop-daemon.sh脚本。如果你思考的再多一点，那又是怎么启动secondarynamenode的呢？难道也是先远程登录到slaves中配置的主机上吗？答案一定是否定的。而是先远程登录到master中配置的主机上，然后再启动hadoop-daemon.sh脚本，如果你仔细一点，可以看到start-dfs.sh脚本的最后一行命令是启动secondarynamenode,命令传入了“--hosts master”这就指定了按照master中配置的主机来启动secondarynamenode。Hadoop-config.sh负责对“--hosts master”进行解析。

    下面你是不是对Hadoop-daemon.sh脚本又产生了兴趣了呢？那我们一起来分析吧。 

    Hadoop-daemon.sh:

    1. usage="Usage: Hadoop-daemon.sh [--config <conf-dir>] [--hosts hostlistfile] (start|stop) <hadoop-command> <args...>"  
    2.   
    3.   
    4. case $startStop in   
    5.   
    6.   (start)   
    7.   
    8.     mkdir -p "$Hadoop_PID_DIR"  
    9.   
    10.     if [ -f $pid ]; then   
    11.       if kill -0 `cat $pid` > /dev/null 2>&1; then   
    12.         echo $command running as process `cat $pid`.  Stop it first.   
    13.         exit 1  
    14.       fi   
    15.     fi   
    16.   
    17.     if [ "$Hadoop_MASTER" != "" ]; then   
    18.       echo rsync from $Hadoop_MASTER   
    19.       rsync -a -e ssh --delete --exclude=.svn --exclude='logs/*' --exclude='contrib/hod/logs/*' $Hadoop_MASTER/ "$HADOOP_HOME"  
    20.     fi   
    21.   
    22.     Hadoop_rotate_log $log   
    23.     echo starting $command, logging to $log   
    24.     cd "$Hadoop_HOME"  
    25.     nohup nice -n $Hadoop_NICENESS "$HADOOP_HOME"/bin/hadoop --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1 < /dev/null &   
    26.     echo $! > $pid   
    27.     sleep 1; head "$log"  
    28.     ;;   
    29.              
    30.   (stop)   
    31.   
    32.     if [ -f $pid ]; then   
    33.       if kill -0 `cat $pid` > /dev/null 2>&1; then   
    34.         echo stopping $command   
    35.         kill `cat $pid`   
    36.       else  
    37.         echo no $command to stop   
    38.       fi   
    39.     else  
    40.       echo no $command to stop   
    41.     fi   
    42.     ;;   
    43.   
    44.   (*)   
    45.     echo $usage   
    46.     exit 1  
    47.     ;;   
    48.   
    49. esac  

    分析： 
    以上是Hadoop-daemon.sh的关键代码，用于判断执行该脚本时是启动（start）一个进程，还是停止(stop)一个进程。执行该脚本的方式可以查看代码上方的usage变量值(注：[]括起来的表示可有可无，|表示或者，<>括起来表示参数)。这里的<command>参数可以是start或者stop。<command>后面的参数你知道可以是哪些吗？呵呵，其实可以是namenode,jobtracker,secondarynamenode,datanode,tasktracker,如果你在master上自己用hadoop-daemon.sh启动datanode和tasktracker就会有问题，因为hadoop-daemon.sh没有远程登录到slaves主机上哦。执行的结果会在master上启动一个datanode或tasktracker进程，而不是按照slaves配置文件在每个slave上启动datanode和tasktracker哦。

    分析了以上这些脚本之后，我想还有一些脚本，比如说：start-balancer.sh,start-jobhistoryserver.sh就不需要分析了吧。不过看了这些脚本之后，我们发现脚本都是一个执行另一个脚本，到最后都是执行了Hadoop-daemon.sh。以启动（start）为例，那hadoop-daemon.sh脚本又是怎么来启动那么多的进程的呢？我们又要回到hadoop-daemon.sh的代码了，之前我们看到hadoop-daemon.sh的一段关键代码是用于判断“启动”还是“停止”进程的，在shell中停止一个进程很方便，用kill命令就可以了，但是该脚本是怎么启动进程的呢？我们继续分析脚本中(start)后面的代码，如果你仔细一点，可以发现其实有这样一段代码：
    1. "$Hadoop_HOME"/bin/hadoop --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1 < /dev/null &  

    分析： 
    现在你明白我想要说明什么问题了吗，呵呵，其实Hadoop-daemon.sh启动进程也是执行了其它的脚本，它就是hadoop/bin/hadoop。其实说到这里hadoop脚本的秘密就快浮出水面了。你还记得博客开头我们提出的问题吗？为什么有时在命令行执行hadoop命令时会出现java的错误信息呢，秘密就在这个hadoop/bin/hadoop脚本里。下面我们来看一下hadoop的核心脚本吧     

    Hadoop:

    1. 片段一：   
    2. cygwin=false  
    3. case "`uname`" in   
    4. CYGWIN*) cygwin=true;;   
    5. esac   
    6.   
    7. 片段二：   
    8. # for developers, add Hadoop classes to CLASSPATH   
    9. if [ -d "$Hadoop_HOME/build/classes" ]; then   
    10.   CLASSPATH=${CLASSPATH}:$Hadoop_HOME/build/classes   
    11. fi   
    12. if [ -d "$Hadoop_HOME/build/webapps" ]; then   
    13.   CLASSPATH=${CLASSPATH}:$Hadoop_HOME/build   
    14. fi   
    15. if [ -d "$Hadoop_HOME/build/test/classes" ]; then   
    16.   CLASSPATH=${CLASSPATH}:$Hadoop_HOME/build/test/classes   
    17. fi   
    18. if [ -d "$Hadoop_HOME/build/tools" ]; then   
    19.   CLASSPATH=${CLASSPATH}:$Hadoop_HOME/build/tools   
    20. fi   
    21.   
    22.   
    23. 片段三：   
    24.   
    25. elif [ "$COMMAND" = "namenode" ] ; then   
    26.   CLASS='org.apache.Hadoop.hdfs.server.namenode.NameNode'  
    27.   Hadoop_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"  
    28. elif [ "$COMMAND" = "secondarynamenode" ] ; then   
    29.   CLASS='org.apache.Hadoop.hdfs.server.namenode.SecondaryNameNode'  
    30.   Hadoop_OPTS="$HADOOP_OPTS $HADOOP_SECONDARYNAMENODE_OPTS"  
    31. elif [ "$COMMAND" = "datanode" ] ; then   
    32.   CLASS='org.apache.Hadoop.hdfs.server.datanode.DataNode'  
    33.   
    34. 片段四：   
    35.  exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $Hadoop_OPTS -classpath "$CLASSPATH" $CLASS "$@"  

    分析： 
    由于篇幅原因，我只贴出了Hadoop脚本具有代表价值的四段代码。下面我们一个个来分析吧

    片段一：
    我们知道在window操作系统上可以通过安装cygwin软件来模拟linux系统环境，这段代码就是用于判断我们的Hadoop命令是运行在linux环境上，还是模拟的linux环境上，因为两种情况下文件的路径不相同，hadoop脚本为了区分这两种情况，做出了判断。

    片段二：
    这些操作是将一些目录的路径自动地加到环境变量（CLASSPATH）中。

    片段三：
    其实这个片段才是精华，它根据COMMAND的值给CLASS指定一个对应的java类，

    片段四：
    呵呵，根据CLASS的值，脚本执行了该java类哦，如果你看了Hadoop的源码，你会发现，这些类里都有main方法。


    小结： 
    分析到这里，Hadoop的shell脚本就全部分析完毕了。如果有不同想法的，希望可以一起交流。

    • mac虚拟机win7激活 mac虚拟机win7激活
    原创粉丝点击
    热门IT博客
    js点击按钮执行动画js点击按钮执行动画
    人工智能电影主演人工智能电影主演
    rf手游网络错误
    数据库编程培训中心
    大金的淘宝店
    雅黑php探针使用教程
    c语言基本语法归纳
    视频录像软件下载
    淘宝上次认证信息地址
    mr弱覆盖优化
    java函数式编程 pdf
    阿里推荐算法负责人
    动漫素描教程软件
    ubuntu 没有my.cnf
    计算机与人工智能
    java执行js脚本
    泰国耽美网络剧30部
    股指期货分析软件
    淘宝怎么看流量
    淘宝首页轮播图尺寸
    热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 遥控导电胶 导电胶h20e 亚克力导电胶 导电胶点胶加工 三惠导电胶 碳导电胶 联全导电胶 导电胶开关 键盘导电胶 三键导电胶 非导电胶 导电胶垫 导电胶使用 导电胶电阻 热固化导电胶 常温固化导电胶 导电胶棒 硅导电胶 spi银导电胶 金导电胶 紫外光固化导电胶 导电胶回收 电镀导电胶 导电脂 导电银 导电粉末 导电粘合剂 导电泡沫 导电碳油墨 金属导电率 导电溶液 导电金浆 油是否导电 导电物质 银导电吗 盐水导电吗 纸导电吗 铝会导电吗 钢导电吗 导电银铜粉 冰导电吗

    程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里