Spark的日志配置
来源:互联网 发布:网络电视 百度云 编辑:程序博客网 时间:2024/06/02 05:18
在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群上看日志是很麻烦的,但有特别想看下print的信息,方便调试或者别的目的
在Spark的conf目录下,把log4j.properties.template修改为log4j.properties,原来的内容如下:
#Set everything to be logged to the consolelog4j.rootCategory=INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n#Settings to quiet third party logs that are too verboselog4j.logger.org.spark-project.jetty=WARNlog4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERRORlog4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFOlog4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
把log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console即可抑制Spark把INFO级别的日志打到控制台上。如果要显示全面的信息,则把INFO改为DEBUG。
如果希望一方面把代码中的println打印到控制台,另一方面又保留spark 本身输出的日志,可以将它输出到日志文件中
log4j.rootCategory=INFO, console,FILElog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n# Settings to quiet third party logs that are too verboselog4j.logger.org.eclipse.jetty=WARNlog4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERRORlog4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFOlog4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFOlog4j.appender.FILE=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.FILE.Threshold=DEBUGlog4j.appender.FILE.file=/home/hadoop/spark.loglog4j.appender.FILE.DatePattern='.'yyyy-MM-ddlog4j.appender.FILE.layout=org.apache.log4j.PatternLayoutlog4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n# sparklog4j.logger.org.apache.spark=INFO
上面的操作,spark的日志一方面打印到控制台,一方面写入到/home/hadoop/spark.log中了,这是日志的继承特性,后面再来改进,目前把log4j.rootCategory=INFO, console,FILE改为log4j.rootCategory=INFO, FILE即可
0 0
- Spark的日志配置
- Spark的日志配置
- Spark的日志配置
- Spark的日志配置
- Spark 日志配置
- 修改spark日志配置
- Spark配置log4j日志输出
- Spark on YARN配置日志Web UI
- spark<log4j配置控制台日志级别输出>
- 从Spark Streaming 收集应用程序日志到Flume agent的配置方法
- spark 的相关配置
- spark的安装配置
- Spark 日志
- Spark应用程序运行的日志存在哪里
- jboss日志的配置
- Apache 日志的配置
- WCF 的日志配置
- JBOSS7的日志配置
- 勒让德定理
- 用户与用户组基本概念
- 自定义时间选择控件(仿ios滚动效果)
- 使用jQuery发送POST,Ajax请求返回JSON格式数据
- Swift代码规范
- Spark的日志配置
- CCF——命令行选项
- POJ 1141 - Brackets Sequence
- java protected访问权限
- 配置phpMyAdmin管理MySQL/MariaDB
- 【Leetcode】51. N-Queens(回溯)
- 153. Find Minimum in Rotated Sorted Array
- 模板方法设计模式
- ubuntu 16.04 完全卸载和重装mysql 5.7