spark 日志分析
来源:互联网 发布:红色警戒扫矿软件 编辑:程序博客网 时间:2024/05/21 10:06
spark 运行日志分析
1.问题:一直在运行的spark 运行时,发现数据应该690多万,而只有610多万,控制台日志正常。异常出现异常时,在控制台中日志正常。怎样查找这个错误异常日志
2.处理:由于数据量比较大计算一次需要30多分钟,因此在运行采用二分进行原因分析,最后确定是9.17日的数据,然后在开发环境进行,发现 java.lang.ArrayIndexOutOfBoundsException: 6 最后跟踪是订单号为空导致插入mysql 数据时解析日常。调整后系统正常。这个问题最好在运行环境能够分析。但是不知道日志在哪里?分析了一天也没有找到日志,后台突发奇想,查找Except 异常关键字。spark-1.3.1-bin-hadoop2.6/work 目录下,find . | xargs grep -ri "Exception" 确定日志位置,./app-20150930194859-0035/2/stderr:java.lang.ArrayIndexOutOfBoundsException: 6 ,这样以后出现类似异常就可以采用类似方式查找分析原因。
0 0
- spark 日志分析
- Spark日志分析案例
- srs 日志分析---spark
- Spark 分析Apache日志
- Spark做日志分析
- spark streaming应用场景(一) 日志分析
- Spark学习四:网站日志分析案例
- Spark-再次分析Apache访问日志
- spark之DataFrame分析日志文件
- Spark streaming+kafka+logstash日志分析
- Spark日志分析项目Demo(3)--Spark入口和DataFrame
- 基于spark之上的即席分析-日志分析场景
- 基于spark之上的即席分析-日志分析场景
- Spark学习1_【Spark六十一】Spark Streaming组合Flume、Kafka进行日志分析
- Spark 日志
- Spark分析SRS日志,以及Zookeeper和Kafka备忘录
- Spark-项目中分析日志的核心代码
- spark SQL 读取mysql中的数据日志分析
- DirectX11 平行光
- HDU 2899 Strange fuction(二分)
- JSP之Cookie的实现
- 条款13:关于文中多次提及的auto_ptr和shared_ptr
- Java设置环境变量
- spark 日志分析
- LeetCode 065 Valid Number
- 自适应网页开发
- iOS的实时搜索:UISearchBar与UISearchController
- 面向对象的四个基本特征
- 做一个互联网+时代的新农民
- 代理设计模式
- 机房收费系统文档(一)可行性研究报告
- tar命令使用方法