查看spark历史日志
来源:互联网 发布:ugnx是什么软件 编辑:程序博客网 时间:2024/06/09 20:48
如果作业正在运行,日志可以从以下来看:
192.168.1.101:4040
这个是spark的log上有的
如果作业已完成,日志可以这样设置:
spark-defaults.conf 增加如下内容
spark.eventLog.enabled true
spark.eventLog.dir file:///tmp/spark-events
spark.eventLog.compress true
启动$SPARK_HOME/sbin/start-history-server.sh
默认情况下这将在 http:// <服务器url >:18080创建一个web界面。
我的是http://192.168.1.101:18080
一些外部工具可以用来帮助提升Spark Job的性能:
· 整个集群范围的监视工具,如 Ganglia ,可以提供集群的总体利用率和资源瓶颈。
· 操作系统分析工具如 dstat , iostat , iotop等可以提供单个节点细粒度的分析。
· JVM 实用工具如jstack 可以提供栈跟踪信息, jmap 可以生成堆dump, jstat报告分时统计以及jconsole等对于JVM内部结构分析都是非常有用的.
0 0
- 查看spark历史日志
- (8)Spark 2.0.0 查看job 历史日志
- spark 开启历史日志监控
- spark-04-spark 日志查看
- 查看历史 -Git日志
- linux下查看历史日志
- 如何查看Spark的历史运行情况
- spark 查看 job history 日志
- Spark应用程序运行日志查看
- Spark 查看 job history 日志
- SQL查询日志 查看数据库历史查询记录的方法
- SQL查询日志 查看数据库历史查询记录的方法
- 【SQL查询日志】查看数据库历史查询记录
- 如何查看Spark集群运行结束的日志
- cdh5-spark-submit程序日志查看最后指定行数
- Spark 日志
- 读书日志(宗教历史)
- storm跑历史日志
- 用户画像的技术选型与架构实现
- 283. Move Zeroes *
- AutoCompleteTextView自动补全
- # A31S android 系统修改声音播放策略,HDMI发声
- 【51单片机学习过程记录】 1学习实践前要准备的
- 查看spark历史日志
- 基金入门二
- HTTP 1.1与HTTP 1.0的比较
- nginx安装
- 剑指offer(11-20)
- 把一个字符串的大写字母放到字符串的后面--腾讯2017暑期实习生编程题
- java nio理解(2)
- 关于adt中的sdk的环境配置
- 【半年总结】我的2016----把自己当做太阳~~