Spark UI无法查看到slave节点
来源:互联网 发布:移动数据开着不能上网 编辑:程序博客网 时间:2024/06/02 05:24
背景信息:
Spark两个节点,主机名分别为master和slave,$SPARK_HOMR/conf/slaves配置了两条记录:两行分别为master和slave。
先使用./sbin/start-master.sh命令启动master节点,然后使用./sbin/start-slaves.sh命令启动slaves。
错误描述:
在Spark UI查看slave节点信息,发现只能看到在master节点上启动的slave,但是看不到slave节点启动的slave。
查看slave的启动日志信息,如下所示:
17/07/18 01:34:08 WARN Worker: Failed to connect to master master:7077org.apache.spark.SparkException: Exception thrown in awaitResult: at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205) at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:75)
解决方法:
在启动master的时候,通过-h参数指定master IP,此时在Spark UI显示的URL也为spark://IP:7077,然后再启动worker即可。
启动master:/sbin/start-master.sh -h master_ip启动worker/sbin/start-slave.sh spark://master_ip:7077
上述方法参考了:http://blog.csdn.net/ybdesire/article/details/70666544,感谢这位博主的分享,侵删。
阅读全文
0 0
- Spark UI无法查看到slave节点
- 查看Spark-Master节点与Slaves节点的网络交互
- Hadoop集群配置ssh时,slave无法连接到master
- mysql添加slave节点
- cdh spark history无法查看历史数据
- jenkins下配置windows slave节点和mac slave节点
- Jenkins Windows slave节点部署
- Mist钱包 无法连接节点,查看日志获取更多信息
- node2上无法查看到ASM磁盘分区
- jconsole,jps无法查看到java进程
- 关于Xcode无法查看到内存情况.
- mongo slave 无法show dbs
- 不停机xtrabackup创建slave节点
- Jenkins创建slave节点----Linux平台
- Jenkins创建slave节点----Windows平台
- Jenkins自动打包 配置mac slave节点
- Jenkins自动打包 配置mac slave节点
- Jenkins创建slave节点----Linux平台
- NPAPI学习记录
- POJ 3468(线段树模板 Lazy)
- Linux添加头文件路径
- 关于python 的re.sub用法
- mobilenet压缩
- Spark UI无法查看到slave节点
- 小程序的一些问题
- Linux系统(centOS)修改时区
- 第一个js +html程序
- php ajax
- 第六场选拔赛 Greatest Naruto Army DP+递归
- 1.11Android 学习+进度之十一-多人聊天缓存
- python——VS2017开发python与python3.6更新特性
- struts配置