解决spark-shell输出日志信息过多
来源:互联网 发布:阿里云域名解析记录值 编辑:程序博客网 时间:2024/04/27 19:34
当我们执行spark-shell的时候,会出现如下界面,如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息,而不显示所有的信息1。
解决方案
进入到spark目录/conf文件夹下,此时有一个log4j.properties.template文件,我们执行如下命令将其拷贝一份为log4j.properties,并对log4j.properties文件进行修改。
cp log4j.properties.template log4j.propertiesvim log4j.properties
如上图所示,将log4j.rootCategory=INFO, console中的INFO改为WARN,保存退出即可。
效果如下所示:
同样,该方法也适用于pyspark。
- Spark快速大数据分析,卡劳(Karau,H.) ↩
0 0
- 解决spark-shell输出日志信息过多
- 解决spark-shell输出日志信息过多
- 解决gnome-shell下龙井内核wineqq提示信息残留过多的问题
- shell统计日志信息
- 输出信息到日志
- Android:输出日志信息
- ldap输出日志信息
- logger4j输出日志信息
- Spark 用户日志输出解析
- spark 应用输出debug日志
- Spark配置log4j日志输出
- 编译spark输出的信息
- Spark 控制输出信息等级
- 为程序输出日志信息
- java异常信息日志输出
- Logcat查看/输出日志信息
- Logcat查看/输出日志信息
- Qt 调试信息,输出日志
- Giraph中有关Aggretor的处理过程
- android实现自定义控件及如何在其他项目中使用
- C++ 判断一个数是否在横向有序,纵向有序二维数组中
- glassfish&&tomcat
- eventBus 和greenDao
- 解决spark-shell输出日志信息过多
- JNI调用java接口函数
- Hibernate(三)
- Oracle之NVL函数
- FZU 2095 水面高度
- mysql5.5不能同时设置两个字段为CURRENT_TIMESTAMP
- DRP总结—在实践中理解代理模式
- HTML中 js执行环境切换
- JQuery attr() 和prop()方法 设置属性