spark 开启历史日志监控
来源：互联网 发布：云计算acf认证 编辑：程序博客网 时间：2024/05/29 18:41
vi spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://webcluster/directory
spark.eventLog.compress true
vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=hdfs://webcluster/directory"
spark.eventLog.enabled true
spark.eventLog.dir hdfs://webcluster/directory
spark.eventLog.compress true
vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=hdfs://webcluster/directory"
启动 start-history-server.sh
./spark-sql执行相关sql:
针对thrift server必须重启后生效.
阅读全文
0 0
- spark 开启历史日志监控
- 查看spark历史日志
- SSH临时开启端口的日志监控
- （8）Spark 2.0.0 查看job 历史日志
- 监控SharePoint效率之(三) –开启跟踪日志
- Tomcat7 开启CGI，并配置awstats日志监控
- Spark学习笔记（29）Spark Streaming日志和Web监控台
- 日志监控
- 监控日志
- Spark 日志
- 读书日志(宗教历史)
- storm跑历史日志
- 开启Hadoop/Yarn的日志监控功能,解决web端查看日志时的Java.lang.Exception:Unknown container问题
- 开启nginx状态监控
- nginx开启监控模块
- 开启nginx状态监控
- 开启nginx状态监控
- 开启nginx状态监控
- 史上最全29个自我管理工具！
- 笑看昨天，珍爱今天，期待明天
- IDE/ JavaEE webstorm将项目部署到Tomcat目录
- 什么是Java解析
- catogarper slam 1
- spark 开启历史日志监控
- eclipse添加动态链接库ws2_32
- 操作符
- 从木工机械厂到德国名片，从小镇到遍布176个国家，这家公司靠什么百年不衰！
- 黄仁勋北京激情演讲2小时：搞定国内10大科技巨头 发布最强AI引擎！【附百张完整PPT】
- 独家对话小米王川：AI音箱23秒卖光背后的八个决定！
- 三星明年发布折叠屏手机 滴滴2亿美元投资人人车
- BAT等48家公司入驻雄安 阿里将在杭州建无人加油站
- 车东西 | 一文看懂“双积分”政策 车企套上史上最强环保紧箍咒！
