脏数据监控与治理
来源:互联网 发布:网络流行语用文言文 编辑:程序博客网 时间:2024/05/22 19:25
请教一个【脏数据监控与治理】问题,看看大伙平时都如何实践?
1、相关背景:
(1)某次局部故障,确认系统没做变更,后来发现是一年多前代码没有【充分防御】,当出现脏数据后会在一定范围内引起异常并冲击 MySQL,当时通过 DAL 临时拦截异常 SQL暂时解决;
(2)某次局部抖动,下游系统发现上游系统会有一定概率传不匹配值过来,后来发现是上游系统产生了部分脏数据所致,当时通过 hotfix 暂时解决。
2、可选方案:
(1)充分防御大法:就是在各种可能产生脏数据的地方提前设卡堵截,例如:产品约束、设计约束(我们目前没有要求 MySQL 表间强制约束)、开发检测、各种临时 DML检测、etc.,缺点是:防得住一万,防不住万一,在业务交付节奏快、压力大场景下,最有洁癖的工程师也可能守不住【充分防御大法】;如果类似上面 #1 场景,bug 会潜伏相当长一段时间才可能被命中,回滚也解决不了;
(2)强制约束大法:这个就不解释了,优缺点都比较明显;
(3)定时监控大法:这个属于事后动作,赌概率,如果脏数据产生瞬间导致系统秒挂,hotfix也来不及。
阅读全文
0 0
- 脏数据监控与治理
- 数据治理的理论实践与发展趋势
- IT 治理与数据治理-大华南季度公开课培训成功举行
- 数据治理流程
- 关于“数据治理”这件事
- 主数据治理框架
- 运营商数据治理实践
- 浅谈数据治理
- 大数据治理
- 浅谈数据治理
- 主数据治理最佳实践
- 运营商数据治理实践-郭岳
- 大数据治理关键技术解析
- 软通动力政企合作共话“大数据与城市治理”
- C++ Primer 学习笔记_57_类与数据抽象 -治理指针成员
- 服务治理与Dubbo架构
- 大数据系列二(2)---时代的印记(大数据时代,大数据与社会治理)
- 3.1 流量监控与数据分析
- mongo导入导出
- MOOC清华《程序设计基础》第6章:橱窗插花问题(枚举法)
- 教你用CAD编辑器修改文字字体
- LOCAL_PRIVILEGED_MODULE 详解(3)
- 常用的iOS第三方资源
- 脏数据监控与治理
- WebService工作原理
- java解析json(Map)
- 调用Dll库中的方法(不是Unity自带的Dll库)
- HDU-1231,最大区间连续和总结-分治法-dp
- Android 实现截图和分享
- 【Unity】UI界面的热更新技术 FairyGUI的使用流程
- 弹性ScrollView 上下拉超出后,手指离开后弹回的“阻尼”效果
- 极验(Geetest) Laravel 5 集成开发包,让验证更安全