spark的logDebug模式设置

来源:互联网 发布:js object 第一个元素 编辑:程序博客网 时间:2024/05/17 22:48

spark采用的是log4j输出运行日志,为了获取spark运行中的日志信息,可以在$SPARK_HOME的conf目录下,


比如输出spark.storage package的debug运行日志,设置如下:


# Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n


# Ignore messages below warning level from Jetty, because it's a bit verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.spark.storage=debug