统计系统中如何避免口径遗漏纰漏
来源:互联网 发布:支付宝撞库软件 编辑:程序博客网 时间:2024/04/29 03:31
Hi all:
目前财务系统和大数据都提供数据统计服务. 偶有一些数据统计错误的问题,往往都是口径丢失或者不一致.
主要原因如下:
1. (沟通问题)前台业务新增业务类型没有通知统计方.
2. (代码变更问题)通知了,统计方没有及时修改或者忘记修改对应统计代码或sql.
之前强调沟通和协作,但是纰漏总是难免,而且一旦遗漏,影响较大,怎么通过技术手段去发现这些问题?
为了解决这个问题,我这边思考了一个通用的解决方案,线下和财务,数据仓库同学沟通后整理如下:
1. 统计方每种统计业务新增”统计口径规则”表:
举例:
业务
汇总聚合类型(统计方关心)
业务类型id(
)
司机收入
奖励
积分奖励
司机收入
奖励
任务奖励
司机收入
奖励
红利
司机收入
订单分润
代保养单分润
司机收入
订单分润
普通单分润
NOTE :业务,聚合类型,业务类型 三者unique 限制
2. 原有统计sql ( 类型写死 ) :
统计数据时 select sum(amount) as 司机奖励收入 from 帐户流水 where type in ( 代保养单分润,普通单分润)
变更后的统计sql ( 类型动态化 ) :
统计数据时 select sum(amount) as 司机奖励收入 from 帐户流水 where type in ( select 流水子类型 from字典表 where 主类型 =奖励 ) 解决 [问题2]
3. 定时任务:
对每个统计口径表都要定时检查: 获取帐户流水里面的类型,看看是否在字典表里. 如果不在,说明前台业务新增了类型. 解决 [问题1]
这个可以依赖正在开发的数据一致性检测系统.
- 统计系统中如何避免口径遗漏纰漏
- 如何避免遗漏bug
- 如何避免遗漏bug
- 如何避免遗漏bug
- 如何避免遗漏bug
- 财政收入统计口径详解
- 财政收入的各种统计口径
- VB之旅-学生信息管理系统纰漏总结
- Android中如何避免ANR
- 如何避免多线程中死锁?
- 如何防止工作步骤遗漏
- 程序员面试宝典中“疑似”纰漏与不详细处
- 如何避免在DSP系统中出现噪声和EMI问题
- Android之如何避免系统回收
- Android之如何避免系统回收
- Android之如何避免系统回收
- Android之如何避免系统回收
- 如何利用消息系统避免分布式事务
- NYoj283对称排序
- Tomcat定时任务
- 关键字static/const的作用
- Unity3d之设计模式(二)工厂模式
- english_出境
- 统计系统中如何避免口径遗漏纰漏
- 【JAVA - SSM】之MyBatis逆向工程的使用
- Linux上redis集群部署
- Linux下创建与解压zip, tar, tar.gz和tar.bz2文件及该文件压缩对比
- Intellij IDEA调试功能使用总结
- mysql 创建外键时 提示 [Err] 1022 - Can't write; duplicate key in table '***'
- Eclipse如何导入现有工程
- U_boot 的 bootcmd 和bootargs参数详解
- Ubuntu config git