(8)Spark 2.0.0 查看job 历史日志
来源:互联网 发布:淘宝模特有什么要求 编辑:程序博客网 时间:2024/06/06 09:04
- 引言
- 启动Spark历史日志
- 1 安装Spark
- 2 修改配置文件spark-defaultsconf
- 3 修改配置文件spark-envsh
- 4 创建日志目录
- 5 启动spark历史日志web端
- 6 浏览器查看是否启动成功
1.引言
在使用Spark
的时候,有时候我们会关注job
的历史日志,但是在Spark
中默认情况下,历史日志是关闭的,在本篇博客中主要介绍一下如何启动spark
的历史日志。
博主的环境为:
- 操作系统为
Centos6.7
Hadoop
版本为2.6.1
Hadoop
安装目录为:/usr/local/hadoop
HDFS
的地址为:hdfs://localhost:9000
Spark
的版本为:2.0.0
,且Spark是伪分布安装。
2. 启动Spark历史日志
2.1 安装Spark
如何安装Spark
的伪分布,请参考博文:Spark 2.0.0 伪分布安装
2.2 修改配置文件spark-defaults.conf
//将模板文件修改为配置文件cp spark-defaults.conf.template spark-defaults.conf//修改的配置信息spark.eventLog.enabled true //设置hdfs的目录,需要和自己hadoop的目录匹配spark.eventLog.dir hdfs://localhost:9000/var/log/spark spark.eventLog.compress true
2.3 修改配置文件spark-env.sh
//配置文件最后加入export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/localhost:9000/var/log/spark"
2.4 创建日志目录
Spark不会自动创建日志文件夹,因此需要我们自己创建
//首先进入hadoop的bin目录cd /usr/local/hadoop/bin//创建文件夹命令./hadoop fs -mkdir /var./hadoop fs -mkdir /var/log./hadoop fs -mkdir /var/log/spark
2.5 启动spark历史日志web端
//进入spark的bin目录cd /usr/local/spark/sbin//如果spark集群正在启动,首先停止集群./stop-all.sh//重新启动集群./start-all.sh//启动job历史端口./start-history-server.sh
2.6 浏览器查看是否启动成功
- 浏览器输入:http://localhost:18080查看(在linux机器上查看)
阅读全文
1 0
- (8)Spark 2.0.0 查看job 历史日志
- 查看spark历史日志
- spark 查看 job history 日志
- Spark 查看 job history 日志
- spark 开启历史日志监控
- spark-04-spark 日志查看
- 查看历史 -Git日志
- linux下查看历史日志
- 如何查看Spark的历史运行情况
- Spark应用程序运行日志查看
- Spark Streaming 2.0 runDummySpark Job
- 如何使用yarn界面查看spark job运行的情况
- SQL查询日志 查看数据库历史查询记录的方法
- SQL查询日志 查看数据库历史查询记录的方法
- 【SQL查询日志】查看数据库历史查询记录
- 数据库定时清理日志表(job)
- Spark Job 调优
- spark job提交过程
- Andorid Studio NDK开发-编译OpenSSL类库
- 每天一个linux命令(9):touch 命令
- java时间相关
- 欢迎使用CSDN-markdown编辑器
- c#中 int和String互相转换
- (8)Spark 2.0.0 查看job 历史日志
- Android 类库
- Cramfs、JFFS2、YAFFS2的全面对比
- bug等小问题
- ubuntu 16.04:Couldn't import dot_parser, loading of dot files will not be possible.
- centos7下配置apache伪静态页
- 从Daemons到finalize timed out after 10 seconds
- Maven报错class not found
- JavaSE练习