spark调整日志显示级别
来源:互联网 发布:linux mysql导出 编辑:程序博客网 时间:2024/04/19 04:28
摘要
在学习使用Spark的过程中,总是想对内部运行过程作深入的了解,其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息,那么如何进行合理设置呢,不复杂但也绝不是将一个INFO换为TRACE那么简单。
主要问题
调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties,默认级别是INFO,如果曾经将其改为DEBUG的朋友可能会有这样的经历,有用的信息还没看完,就被大量的心跳检测日志给淹没了。
解决办法
只将需要的日志级别调整为TRACE,而将心跳检测类的设置为INFO级别以上,避免干扰。
log4j.properties示范
Set everything to be logged to the console log4j.rootCategory=INFO, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose log4j.logger.org.eclipse.jetty=WARN log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO log4j.logger.org.apache.spark.sql.SQLContext=TRACE log4j.logger.org.apache.spark.sql.catalyst.analysis.Analyzer=TRACE log4j.logger.org.apache.spark=TRACE log4j.logger.org.apache.spark.storage.BlockManagerMasterActor=WARN log4j.logger.org.apache.spark.HeartbeatReceiver=WARN log4j.logger.org.apache.spark.scheduler.local.LocalActor=WARN
0 0
- spark调整日志显示级别
- Hadoop动态调整日志级别
- Hadoop动态调整日志级别
- Spark应用日志级别设置
- commons-logging如何调整日志输出级别
- 完美解决Spark应用日志级别设置
- spark<log4j配置控制台日志级别输出>
- Spark基础随笔:Spark应用程序中设置日志输出级别
- Hadoop2 调整日志级别为DEBUG便于调试
- log4cxx配置文件(log4cxx.properties文件)详解 --调整日志输出级别
- 本地运行spark设置日志级别的2种方式
- JAVA代码如何设置SPARK的日志打印级别
- jmeter修改默认日志级别,默认显示日志面板
- 日志级别
- 日志级别
- 日志级别
- 日志级别
- 日志级别
- PHP-易语言 Escape加密源码 [未完成]
- JavaScript中的数组
- IPC和RPC的区别和联系
- mongoDB 禁用大内存页面 transparent_hugepage=never
- Mysql 大量数据快速导入导出
- spark调整日志显示级别
- YSLOW法则中,为什么yahoo推荐用GET代替POST?
- (15 C++ Homework) Alipay System 1 user
- 《TCP/IP详解 卷1:协议》 读书笔记 第18章 TCP连接的建立与终止
- JMeter语言选择和响应中文乱码问题
- Python 封装读取CSV配置文件
- String, StringBuffer, StringBuilder 三者之间的区别是什么?
- 简单解析 Android N 新特性
- 全景视频拼接(三)--并查集法及源码分析