自动化监控spark进程并重启

来源：互联网发布：xampp 更换php版本编辑：程序博客网时间：2024/06/03 14:07

自动化监控spark进程并重启，实际生产中可能会出现服务进程挂掉的异常，自动监控与重启是非常重要。

1、监控主节点的shell脚本

#!/bin/bash#master=`ps -ef | grep Master | grep spark | awk '{print $2}'`echo $masterif [ "$master" =  "" ]; then        echo "Spark Master is restart!"        /opt/modules/spark/sbin/stop-master.sh        /opt/modules/spark/sbin/start-master.shelse        echo "Spark Master is alive!"fi

2、监控从节点的shell脚本

#!/bin/bash#slave=`ps -ef | grep Worker | grep spark | grep 7077 | awk '{print $2}'`echo $slaveif [ "$slave" =  "" ]; then        echo "Spark Worker is restart!"        /opt/modules/spark/sbin/stop-slave.sh        /opt/modules/spark/sbin/start-slave.sh spark://10.130.2.20:7077else        echo "Spark Worker is alive!"fi

3、加入crontab的定时

*/1 * * * * /opt/bin/monitorSparkSlave.sh

每分钟监控一次，如果服务进程不存在，则重启该服务。

注意重启slave节点时，需要指定master的ip

1 0