Nutch启动shell脚本分析

Nutch笔记

1.学习nutch的启动shell脚本分析

$NUTCH_HOME/runtiom/deploy/bin/nutch

这是nutch在hadoop上运行时的启动脚本，有一个nutch.job 文件，就是把这个文件放在hadoop上运行的

如上图所示为nutch1.4的内容，所以在改变nutch 的配置文件后需要Ant重新编译，把.job文件替换。

下面开始看脚本源代码

# resolve links - $0 may be a softlink

THIS="$0"

while [ -h "$THIS" ]; do  #文件存在并是一个符号链接

  ls=`ls -ld "$THIS"`         

  link=`expr "$ls" : '.*-> \(.*\)$'`   #匹配一个链接文件

  if expr "$link" : '.*/.*' > /dev/null; then  #隐藏文件

    THIS="$link"

  else

    THIS=`dirname "$THIS"`/"$link"

  fi

done

看注释可以知道这是防止$0是软连接。

expr ：求表达式变量 ，上面是正则匹配，匹配所有链接文件->

dirname ：获得路径 如果是dirname /home/zal  为/home 

                                                            /home/zal/test.sh 为/home/zal

if [ $# = 0 ]; then  #很明显判断参数个数 

。。。。。。。。

# get arguments

COMMAND=$1  #运行哪个命令 nutch Crawl

shift

# some directories

THIS_DIR=`dirname "$THIS"`     #获得脚本的目录

NUTCH_HOME=`cd "$THIS_DIR/.." ; pwd`   #返回上一层目录 pwd 将nutch.job的目录找到

# some Java parameters

if [ "$NUTCH_JAVA_HOME" != "" ]; then     #设置的环境变量

  #echo "run java in $NUTCH_JAVA_HOME"

  JAVA_HOME=$NUTCH_JAVA_HOME

fi

  

if [ "$JAVA_HOME" = "" ]; then

  echo "Error: JAVA_HOME is not set."   #所以运行nutch必须要设置这两个环境变量之一

  exit 1

fi

local=true  #默认是在本地运行 看下面参数运用

# NUTCH_JOB 

if [ -f ${NUTCH_HOME}/nutch-*.job ]; then  #判断job存在与否，存在就是在hadoop上运行，最后执行的时候

                                                                             用hadoop的命令

    local=false

  for f in $NUTCH_HOME/nutch-*.job; do   #获得文件名

    NUTCH_JOB=$f;

  done

fi

# cygwin path translation

if $cygwin; then                                 #这个应该是在window环境下用的吧 

  NUTCH_JOB=`cygpath -p -w "$NUTCH_JOB"`

fi

JAVA=$JAVA_HOME/bin/java            #这个要注意设置JAVA_HOME

JAVA_HEAP_MAX=-Xmx1000m         #虚拟机所占内存吧

# check envvars which might override default args

if [ "$NUTCH_HEAPSIZE" != "" ]; then

  #echo "run with heapsize $NUTCH_HEAPSIZE"

  JAVA_HEAP_MAX="-Xmx""$NUTCH_HEAPSIZE""m"

  #echo $JAVA_HEAP_MAX

fi

# CLASSPATH initially contains $NUTCH_CONF_DIR, or defaults to $NUTCH_HOME/conf

CLASSPATH=${NUTCH_CONF_DIR:=$NUTCH_HOME/conf}

CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar

# so that filenames w/ spaces are handled correctly in loops below

IFS=                               #IFS的全名为Internal Field Separator，用来在变量扩展后进行单词分割，其默认值是                                       

                                      #<spaces><tab><newline>

                                        #防止修改过IFS，真全面

# add libs to CLASSPATH    #在本地运行时，要把nutch用到的jar加到classpath中

if $local; then

  for f in $NUTCH_HOME/lib/*.jar; do   

   CLASSPATH=${CLASSPATH}:$f;

  done

  # local runtime

  # add plugins to classpath   #把各种插件加入classpath

  if [ -d "$NUTCH_HOME/plugins" ]; then

     CLASSPATH=${NUTCH_HOME}:${CLASSPATH}

  fi

fi

# restore ordinary behaviour

unset IFS                                                #恢复

# default log directory & file

if [ "$NUTCH_LOG_DIR" = "" ]; then

  NUTCH_LOG_DIR="$NUTCH_HOME/logs"

fi

if [ "$NUTCH_LOGFILE" = "" ]; then

  NUTCH_LOGFILE='hadoop.log'

fi

#Fix log path under cygwin

if $cygwin; then

  NUTCH_LOG_DIR=`cygpath -p -w "$NUTCH_LOG_DIR"`

fi

NUTCH_OPTS="$NUTCH_OPTS -Dhadoop.log.dir=$NUTCH_LOG_DIR"

NUTCH_OPTS="$NUTCH_OPTS -Dhadoop.log.file=$NUTCH_LOGFILE"

# figure out which class to run   #下面就是制定要执行的类 其实用case是不是好点呢

if [ "$COMMAND" = "crawl" ] ; then

  CLASS=org.apache.nutch.crawl.Crawl

。。。。。。。。。。。。。

# distributed mode   #很显然 在hadoop上运行

EXEC_CALL="hadoop jar $NUTCH_JOB"

if $local; then  #这边可以看到直接运行java命令执行类，classpath必须要指定正确，可以在

                        #local/lib下找到所有包，如果你修改了nutch源码，必须重新编译，替换下面的nutch.jar

 EXEC_CALL="$JAVA $JAVA_HEAP_MAX $NUTCH_OPTS -classpath $CLASSPATH"

else

 # check that hadoop can be found on the path    #这边hadoop_home一定要指定啊

 if [ $(which hadoop | wc -l ) -eq 0 ]; then   #以后写脚本记得判断环境变量有没有设置

    echo "Can't find Hadoop executable. Add HADOOP_HOME/bin to the path or run in local mode."

    exit -1;

 fi

fi

# run it

exec $EXEC_CALL $CLASS "$@"    #exec shell中运行命令