Spark单节点多应用启动失败
来源:互联网 发布:为知笔记 手写 编辑:程序博客网 时间:2024/04/29 08:30
单节点多应用:指在单个节点上,运行了多个应用程序(driver)—— 包含client或cluster模式。
1. 问题:在同一个节点启动多个应用 时,报java.net.BindException:地址已在使用,报错信息如下:
2. 原因:driver会启动一个jetty server,此时会绑定一个driver上的默认端口(4040),如果driver所在节点已经启动了一个应用的话,则该端口绑定会失败。
3. 解决方法:查看代码 – SparkUI.scala
def getUIPort(conf: SparkConf): Int = { conf.getInt("spark.ui.port", SparkUI.DEFAULT_PORT)}
根据修改对应配置即可,修改方法:通过在提交时,添加:–conf “spark.ui.port”=4041 即可。通过指定配置文件等方式也可以修改。
如果port的值为0,系统就会随机选取一个端口号
—— 参考:java.net. ServerSocket :ServerSocket对象的绑定端口为0,getLocalPort方法返回一个随机的端口(这类端口被称为匿名端口)。
0 0
- Spark单节点多应用启动失败
- spark standalone模式单节点启动多个executor
- spark安装,单节点spark,spark standalone
- zookeeper节点启动失败
- Spark提交应用失败
- 单节点rac无法启动
- 单节点RAC无法启动
- MPI单节点启动问题
- Mac配置单节点Spark环境
- Spark单节点安装-VirtualBox-Ubuntu-14.04
- Spark实战:单节点本地模式搭建Spark运行环境
- Weblogic节点启动失败及其原因
- Hadoop 启动节点Datanode失败解决
- hadoop节点nodemanager启动失败原因小结~
- Zookeeper 集群 单一节点 启动失败
- Hadoop 启动节点Datanode失败解决
- hadoop节点nodemanager启动失败原因
- hadoop 单节点模式 无法启动datanode
- poj2288 类哈密顿路
- Node.js笔记(二)连接mysql数据库
- Spark提交应用失败
- Spark应用运行时报错
- js里单引号和双引号的区别
- Spark单节点多应用启动失败
- 编译Spark应用代码报对象已定义错误
- 文章标题
- 二叉树的和
- LeetCode: Repeated DNA Sequences
- 在菜单中Fragment中嵌套viewpager
- 笔记66--消息推送之个推
- Cocos2d-x 3.x学习笔记:猩先生带你打飞机(四)游戏场景:背景与我机的创建、敌机的创建、物理世界构建
- poj 1220 NUMBER BASE CONVERSION 高精度进制转换