spark定制之一：shell启动

来源：互联网发布：上海趣骋网络编辑：程序博客网时间：2024/05/15 03:46

通过定制可以让spark接口更友好。

shell启动脚本：

#!/bin/bashSPARK_HOME=${SPARK_HOME:-/sysdir/spark-1.0.0}StartFile="${SPARK_HOME}/bin/start.scala"StartStr="-i:${StartFile}"ExitFile="${SPARK_HOME}/bin/exit.scala"ExitStr=""NoExit=0declare -a argsi=0while [[ $# -gt 0 ]]do    case "$1" in        -start:*)            parafile=$1            StartStr="-i:${parafile#*:}"            ;;        -nostart)            StartStr=""            ;;        -i:*)            eval args[${i}]=$1            i=$((${i}+1))            if [[ NoExit -eq 0 ]]; then                ExitStr="-i:${ExitFile}"            fi            ;;        -noexit)            NoExit=1            ExitStr=""            ;;        *)            eval args[${i}]=$1            i=$((${i}+1))            ;;    esac    shiftdone${SPARK_HOME}/bin/spark-shell "${StartStr}" "${args[@]}" "${ExitStr}"

exit.scala很简单，只有一行代码：

sys.exit()

0 0