Spark的日志配置
来源:互联网 发布:天球仪软件 编辑:程序博客网 时间:2024/06/08 00:54
转:http://blog.csdn.net/stark_summer/article/details/46929481
在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群上看日志是很麻烦的,但有特别想看下print的信息,方便调试或者别的目的
在Spark的conf目录下,把log4j.properties.template修改为log4j.properties,原来的内容如下:
#Set everything to be logged to the consolelog4j.rootCategory=INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n#Settings to quiet third party logs that are too verboselog4j.logger.org.spark-project.jetty=WARNlog4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERRORlog4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFOlog4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
把log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console即可抑制Spark把INFO级别的日志打到控制台上。如果要显示全面的信息,则把INFO改为DEBUG。
如果希望一方面把代码中的println打印到控制台,另一方面又保留spark 本身输出的日志,可以将它输出到日志文件中
log4j.rootCategory=INFO, console,FILElog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n# Settings to quiet third party logs that are too verboselog4j.logger.org.eclipse.jetty=WARNlog4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERRORlog4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFOlog4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFOlog4j.appender.FILE=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.FILE.Threshold=DEBUGlog4j.appender.FILE.file=/home/hadoop/spark.loglog4j.appender.FILE.DatePattern='.'yyyy-MM-ddlog4j.appender.FILE.layout=org.apache.log4j.PatternLayoutlog4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n# sparklog4j.logger.org.apache.spark=INFO
上面的操作,spark的日志一方面打印到控制台,一方面写入到/home/hadoop/spark.log中了,这是日志的继承特性,后面再来改进,目前把log4j.rootCategory=INFO, console,FILE改为log4j.rootCategory=INFO, FILE即可
0 0
- Spark的日志配置
- Spark的日志配置
- Spark的日志配置
- Spark的日志配置
- Spark 日志配置
- 修改spark日志配置
- Spark配置log4j日志输出
- Spark on YARN配置日志Web UI
- spark<log4j配置控制台日志级别输出>
- 从Spark Streaming 收集应用程序日志到Flume agent的配置方法
- spark 的相关配置
- spark的安装配置
- Spark 日志
- Spark应用程序运行的日志存在哪里
- jboss日志的配置
- Apache 日志的配置
- WCF 的日志配置
- JBOSS7的日志配置
- 重启nginx载入配置
- Unity脚本的生命周期
- redis浅谈教你使用redis(一)
- 面试中如何剔除“鱼目混珠”程序员?
- 查找透明图片
- Spark的日志配置
- PullToRrefresh自定义下拉刷新动画
- Oracle中用一个表的数据更新另一个表的数据
- wordpress统一添加archives路径
- Windows Diskpart命令详解
- BZOJ2214 [Poi2011]Shift
- 设计模式学习之路-代理模式
- Spring Boot下基于JPA抓取SQL运行时的参数值
- CAD数据集导出DWG,风格对照表的使用