Spark 启动脚本——sbin/start-slaves.sh
来源:互联网 发布:中华书局 知乎 编辑:程序博客网 时间:2024/06/06 09:09
1. 运行sbin/spark-config.sh,设置SPARK_HOME和SPARK_CONF_DIR
2. 如果conf/spark-env.sh,则运行该脚本,设置可选环境变量
3. 检测环境变量SPARK_MASTER_PORT/SPARK_MASTER_IP,为master的端口/ip,默认为7077/{hostname}
以上三项基本同start-master.sh相同
4. 检测SPARK_WORKER_INSTANCES
1) 如果为空,则执行脚本sbin/slaves.sh并传入命令
sbin/slaves.sh的作用是使用ssh免登录进入slaves执行命令
传入的命令是sbin/start-slave.sh 1 spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT
2) 如果不为空,即启动多实例 。检测SPARK_WORKER_WEBUI_PORT,不存在则默认8081
循环$SPARK_WORKER_INSTANCES遍,执行sbin/slaves.sh脚本并传入命令
传入的命令是sbin/start-slave.sh $(( $i + 1 )) spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT --webui-port $(( $SPARK_WORKER_WEBUI_PORT + $i ))
即传入的第一个参数是实例序号(1开始),webui-port设置为8081递增
http://www.cnblogs.com/hujunfei/p/3622189.html
0 0
- Spark 启动脚本——sbin/start-slaves.sh
- Spark 启动脚本——sbin/slaves.sh
- Spark:通过start-slaves.sh脚本启动worker报错:Permission denied
- Spark运行脚本解析 - start-all.sh
- Spark使用start-slave.sh启动Worker
- hadoop启动脚本分析:start-all.sh
- linux下的hadoop配置 sbin/start-all.sh datanode守护进程启动失败----解决方案
- Spark Standalone如何通过start-all.sh启动集群
- hadoop 启动脚本start-all.sh执行序列
- Web项目启动脚本start.sh和环境脚本env.sh示例
- Spark 启动脚本——启动总结
- 关于 Hadoop 执行 sbin/start-all.sh 输入密码问题
- spark学习-29-源代码解析从start-all.sh脚本开始
- spark-shell.sh脚本分析
- Hadoop之——执行start-all.sh时namenode没有启动
- Tomcat启动脚本catalina.sh
- Tomcat启动脚本catalina.sh
- Tomcat启动脚本catalina.sh
- jvm最终配置
- Spark 启动脚本——启动总结
- Spark 启动脚本——sbin/slaves.sh
- mysql 主从搭建
- java 集合框架
- Spark 启动脚本——sbin/start-slaves.sh
- 获取info
- UVa 10054 - The Necklace
- C#实验2.4
- Spark集群搭建——SSH免密码验证登陆
- JPA & Hibernate 注解
- Spark中的编程模型
- 垃圾车定律
- Spark源码分析之Worker