项目报错查询记录
来源:互联网 发布:手机汽车美容软件 编辑:程序博客网 时间:2024/06/05 18:14
saiku数据查询结果错误,是hive中源数据的3倍。
问题定位:
saiku执行的mdx有问题
SELECT NON EMPTY {[Measures].[Downloads]} ON COLUMNS,
NON EMPTY FILTER(CrossJoin(CrossJoin([appname.default].[appname].Members, CrossJoin([developer.default].[developer].Members,[version.default].[version].Members)),[packagename.default].[packagename].Members),[packagename.default].[packagename].CURRENTMEMBER IS [packagename.default].[packagename].[com.tencent.mm]) ON ROWS
FROM [aso] WHERE ([os.default].[os].[1],[dimStoreName.default].[storeName].[all],[dimdate.default].[day].[2014-02-24])
执行结果有问题,是hive数据的3倍。
所以去modroin_mdx.log和modroin_sql.log找到对应的执行语句,
命令tail -n 200 filename 找到对应的执行语句
(在查询的过程中,执行太多,所以删掉两个文件,重启saiku,可是已经执行过的语句,会被saiku缓存起来。找不到了,后来在hive里面重新找不同的包名,执行新的语句,才找到)
用执行的sql语句执行,看到用sum函数,原因是group by完成了一个分组
select
`dimdate`.`year` as `c0`,
`dimdate`.`month` as `c1`,
`dimdate`.`datevalue` as `c2`,
`dimappstatic`.`packagename` as `c3`,
sum(`factrank`.`primarytaxonomyrank_week`) as `m0`
from `dimdate` as `dimdate`, `factrank` as `factrank`, `dimappstatic` as `dimappstatic`
where
`factrank`.`dt` = `dimdate`.`datevalue`
and `dimdate`.`year` = '2014' and `dimdate`.`month` in ('1', '2')
and `dimdate`.`datevalue` in ('2014-01-06', '2014-01-13', '2014-01-20', '2014-01-27', '2014-02-04', '2014-02-10', '2014-02-17', '2014-02-24')
and `factrank`.`pk_hash` = `dimappstatic`.`pk_hash`
and `dimappstatic`.`packagename` = 'com.tencent.mm'
group by `dimdate`.`year`, `dimdate`.`month`, `dimdate`.`datevalue`, `dimappstatic`.`packagename`
删掉group by语句的一行和sum函数,只保留一行,看到查询结果为重复的3列数据。这说明关联的某个表中,有3列重复数据。
sql查询infiniDB的结果为重复3列,说明:某个被重复入了数据三次,最后定为在appstatic表
原因分析:mysql用kettle导入,insert/update可以去掉重复列。而infiniDB中,使用的是load命令,用shell执行,不会验证重复性。所以执行了3次。出现问题。
- 项目报错查询记录
- JAVA项目长遇见的报错或问题记录
- Androidstudio导入GitHub项目报错问题记录
- 报错记录
- 编译器报错记录
- Android 报错记录
- 报错记录
- Sqoop报错记录
- Android报错记录
- 报错记录
- 报错记录
- 报错记录
- selenium报错记录
- python 报错记录
- eclipse报错记录
- ArcEngine 报错记录
- 【报错记录】virtualbox
- Xcode项目报错系列记录整理——000001导入svn项目出错
- VisualGDB调试NDK代码无法查看局部变量
- 删除目录下的svn信息
- 一个防止溢出的求平均方法
- 大端与小端存储模式详解
- 激励一下自己,应该学习哪些东西
- 项目报错查询记录
- ios提交市场报错误ERROR ITMS-9000: "this bundle is invalid. armv7s are required to include armv7 architectur
- 苹果公司宣布6月2日举行全球开发者大会
- java socket编程(一)
- 使用静态工厂方法的好处和坏处
- MySql 存储过程实例(附完整注释)
- MysqlCluster集群搭建(windows或linux系统环境下)
- 采集音频和摄像头视频并实时H264编码及AAC编码
- 基于glibc的程序在android上的移植