配置Spark history server
来源:互联网 发布:深圳 人工智能 编辑:程序博客网 时间:2024/05/17 02:24
问题描述:启动sbin/start-history-server.sh,jps下无historyserver进程,查看日志,显示如下错误。
原因分析:
1)查看$SPARK_HOME/conf,发现未配置spark-default.conf;
2)将spark.fs.history.logDirectory配置到conf/spark-defaults.conf目录里,发现并不起作用
解决方法:
1)配置$SPARK-HOME/conf/spark-defaults.conf
[hadoop@Master conf]$ cpspark-defaults.conf.template spark-defaults.conf
[hadoop@Master conf]$ vispark-defaults.conf
添加以下相关参数。
spark.eventLog.enabled true
spark.eventLog.dir hdfs://Master:9000/user/hadoop/sparkhistorylogs
spark.history.ui.port 18080
spark.history.fs.logDirectory hdfs://Master:9000/user/hadoop/sparkhistorylogs
2)在hdfs创建spark logs存储目录。
[hadoop@Master conf]$ hdfs dfs –mkdir/user/hadoop/sparkhistorylogs
3)启动spark historyserver 需要指定logs所在的hdfs路径。
[hadoop@Master spark-1.6.0-bin-hadoop2.6]$sbin/start-history-server.sh
4)查看结果
查看History server webUI
执行一个spark job
查看Master
查看History Server
- 配置Spark history server
- spark history server 配置
- Spark History Server配置
- 配置&使用Spark History Server
- Spark History Server配置使用
- Spark History Server配置使用
- Spark history Server 配置过程
- Spark History Server配置使用
- Spark-History Server配置使用
- Spark History Server配置使用(zhuan)
- Spark History Server配置及其启动
- spark history server学习
- Spark 配置History
- spark history-server的使用
- Spark History Server 没有生效
- Spark学习-SparkSQL--02-Spark history Server
- YARN, MR History Server和Spark History Server
- 大数据IMF传奇行动 Spark history-server 配置 !运维人员的强大工具
- 虚拟机桥接设置
- 关于opencv3.1编译的时候找不到python的lib的解决方法
- iOS项目模仿之喜马拉雅(二)—— TabBar实现
- SessionID的本质
- windows下安装mysql-5.7.11-winx64.zip后无法启动服务
- 配置Spark history server
- Swift - 按钮(UIButton)的用法
- iOS中改变选中视图的颜色等,将上次选中的视图变为默认
- JS正则表达式常用验证
- CentOS系统时间与网络同步
- ListView滑动删除 ,仿腾讯QQ
- MSSQL 查看表结构
- OkHttp的深入研究:Jesse Wilson(三)
- 第4章 Android IDA pro使用