Spark Web UI 的应用说明
来源:互联网 发布:淘宝搜索模型 编辑:程序博客网 时间:2024/06/05 09:19
每个 SparkContext 运行时,都会运行一个 Web UI ,默认 4040 端口。
解读:每个 Spark Application 都会开启一个自己的 Web UI,默认端口号为4040。 访问地址: http://:4040 。如果同一 node 上运行了多个 Spark Application 则这些应用的端口将会往上累加,eg : 4040,4041,4042 。
Spark Application 的只在 application 运行期间有效,application 运行完成,则通过 application Web UI ,是查看不到信息的。持久化 Application Web UI 相关信息,需要开启 Spark 的日志持久化功能。设置 spark.eventLog.enabled 为 true。
解读:默认情况下,如果 Spark Application 执行完毕后,我们就不能通过 Web UI 查看到 Spark Application 执行的相关信息,这无疑于对排查问题和程序 调优都没有好处,所以 Spark Events 日志功能需要开启。
Spark 日志服务,可以用于查看各种集群模式的 Spark Application 日志。
解读:不止要开启 Spark Events 日志功能,还需要启动 Spark 的日志服务。启动后,通过 URL 可以访问日志服务 Web UI。
阅读全文
0 0
- Spark Web UI 的应用说明
- Web 应用的 UI
- spark 和 hadoop的web UI
- spark UI 显示已完成应用的历史信息
- spark的UI界面
- web 应用的 的web.xml 配置说明
- Spark on YARN配置日志Web UI
- 做web应用会用到的UI控件
- Spark应用的优化
- 修改spark或者hadoop master web ui端口
- spark master web ui 端口8080被占用解决办法
- 使用SAPUI5来创建Web应用UI
- Hibernate的应用说明
- EnterCriticalSection的应用说明
- Web前端框架 界面UI框架调查说明
- 基于Zookeeper的Spark HA配置说明
- spark ml和mllib库的说明
- Web应用界面设计规范(Design Specification for Web UI)
- ZooKeeper 集群搭建 Error contacting service. It is probably not running.
- dpkg:警告:无法找到软件包 XXXX 问题解决
- 2017年8月份最后一篇文章
- python列表与元组
- PHP Laraval系列之文件结构、Artisan、路由、控制器
- Spark Web UI 的应用说明
- django快速实现登录
- ARM-Linux驱动--ADC驱动(中断方式)
- 基础复习05
- PriorityBlockingQueue
- iOS 原生UIActivityViewController(分享功能)
- Broadcast Receiver 广播机制
- LRU原理与实现
- tq2440 pwm 驱动