数据质量总动员：Finding DQ 数据质量总动员

你有没有过那种强烈的感觉，就是你不想去寻找数据质量问题，数据质量问题却会自己找上门来?

还记得早些年迪士尼出品的《Finding Nemo》（《海底总动员》）吗? 今天我们要写的是《Finding Data Quality》（数据质量总动员）。因此今天这篇博文，不仅仅要向《Finding Nemo》致敬，也要向那些在数据质量海洋中为企业信息活动不断努力的“角色”致敬——他们是：商务智能，主数据管理，数据分析，数据清洗，数据集成，数据迁移，数据治理。

希望你能喜欢本文，不过我更希望你能记住：“Data are friends, not food.”

数据竖井

这是数据竖井的咒语——不过这也是对成功的企业数据管理的诅咒。很多企业都固执地依赖着他们的垂直数据仓储，这种模式中，每个业务单元都是自己那部分数据的管理者，所以，只关心属于自己的事实业务和数据。

组织获得井喷式业务扩张的同时，往往因其业务的成功而变成受害者。值得注意的是，这种损害在组织因业务扩张而大力延伸信息框架的时候尤为明显。

组织早期的系统不是特别多，数据也比较好管理。此时，日常业务决策需要数据质量的管理以及关键信息的快速发布，在技术能够满足业务需求（尤其是业务和需求都比较小）的时候，一切看起来都很得心应手。不过，随着组织扩张，逐渐出现了效益与效率间和短期战术与长期战略间的博弈。此时由于看到了数据仓储的作用，却没有意识到信息共享的威力，组织大都让各个业务单元在企业范围内自主协作——我们知道，没有这种称作协作的关系，企业数据管理根本就是无稽之谈。

数据剖析

虽不至于迷雾重重，不过要想让数据有用武之地，并提高其质量，一定要理解数据的含义——要做到这些，除了数据剖析，别无选择。

数据剖析能够检验你对数据质量的各种主观臆想与猜测是否是真的。数据剖析工具能够帮你自动完成一些虽繁琐但却是分析数据所必须的工作。

记住，数据分析并不会自动完成你想要的数据质量，你要把你的分析转变成有特定含义的报告和问题，这样才能促进有效的沟通，并建立切实的业务语境。

我始终坚信，数据剖析的目标不是找到答案，而是找到正确的问题。

要找到正确的问题，那就去找数据最亲密的朋友——数据管理员、分析员和相关专家。和他们的交流，能够得到很多关于数据作用数据标准和业务相关衡量标准的关键信息，这对数据质量的衡量与提高都很重要。一定谨记，优秀的数据剖析，需要高度交互和环环相扣的流程。

缺陷避免

谁如果说问题能够在发生前一个不落的都被排除掉，这是骗人。不过积极的缺陷预防还是值得推广的做法，因为在数据源头加上越多控制，企业数据的总体质量就会越好。

虽说缺陷预防和业务优化与技术流程的提升有很大关系，不过在确定了数据缺陷的根本原因之后，我觉得你会采用一些数据质量行为的原则。

换句话说，只有理解了潜伏在数据缺陷背后的复杂人类动力学，才能发展一套有效的战术和战略，这些战略战术能够让可观的数据质量优化能够取得成功。

数据清洗 

呵呵，这听起来可真像数据清洗之歌。尤其是劣质数据对关键决策信息产生消极影响的时候，你是不是特别期待有人在你耳边这样唱呢？遇到这种情况的时候，组织就该有限采取一种临时性的消极反应策略，这样就可以对一些暂时的问题进行补救。

有件事情让人经常陷入纠结的境地，那就是在将数据进行分类和尽可能应用缺陷预防这两者之间找一个平衡点。

不过，虽说综合的数据修复需要将消极和积极的方法结合起来以达到期望的数据质量，但在任何必要的时候，你必须愿意并有能力用好恰当的数据清洗工具。

 

沟通

高效沟通的关键是透明。你应该保证所有的数据质量概念总是被清晰地定义，并且每个人都能够理解。我这么说不仅仅意味着要将那些冗杂的技术术语进行翻译（翻译很重要，因为就连业务术语有时候听起来也是让人一头雾水），也意味着其他的非技术员工也要做到透明。

另外，要知之而知之不知而不知，不要羞于提问。很多造成巨大损失的错误，都是由于人们假设别人已经懂了关键概念和其他技术术语的含义，而事实上他人并没领会造成的。

不要小看相悖观点对沟通的潜在消极影响。例如，技术决策的观点和业务远景之间经常是完全对立。

高效的沟通，能够让所有相关人员对数据质量有个很好的理解，并且构建切实的业务上下文环境，并且能优先关注关键数据问题。

谨记：交流的艺术往往是倾听的艺术。同时，在讨论数据质量问题的时候要做好面对数据问题方面否定言论的准备。这通常是一种本能的自我保护机制，人们本能的想推卸业务流程、技术和数据等方面的责任，以免让他们觉得受到谴责或者是因为没有发现或修正数据质量问题而感到内疚。

合作

很多组织都缺乏合作。前面说过，没有真正的企业范围内的合作，很难取得真正的成功。

在数据竖井问题之上，合作面临的普遍挑战是业务部门与IT部门间明显的划分，这使得业务部门在日常企业运营中常常掌管数据，并且理解他们的含义及用途，而IT部门却掌管企业技术框架的基层资源：软件和硬件。

不过，不论业务部门还是IT部门，都不可能独自掌握着必要的知识和资源来达到真正的成功。数据质量需要的是业务部门和IT部门之间建立一种融洽、发展的合作关系。

一定要将各个团队联合起来，这样才能同心协力提高数据质量。由于数据质量既不是业务问题，也不是技术问题，因此不同部门间的团队协作很有必要，也是这样的协作，让数据质量问题真正成了企业级问题。

只有执行赞助人、业务股东、技术股东、业务分析员、数据管理专员、技术专家、顾问和承包商都联合起来，作为一个合作团队共同努力，企业才能真正完成大业，取得战术上的和战略上的巨大胜利。

成功的企业数据管理可以概括为：E-A-C(Enterprises-Always-Collaborate)，意味着企业间-长期-合作。同志们啊，EAC可是一个很具有挑战性的事情啊，同志们！！

你不知道你是否已经知道他们知道不知道，或者是他们是否知道你知道的，不过只有你知道，他们才知道，你知道不知道？？？

这就像你先说“好好好”，他们就附和着说“是是是”，然后你说“对对对”他们就附和着“嗯嗯嗯”。

对合作来说这看起来是一个明显的关键要求。不过，像那些伟大先贤教导的一样，越简单的事情，越难掌握。

数据质量总动员

随着越来越多的组织意识到将数据作为一项战略资产的重要性，对数据质量问题的讨论也越来越流行。

不过，不知为什么数据质量问题总被看做一条小鱼——虽然有着“幸运小鱼鳍”，但却游在一个巨大海洋中。

这么说吧，在像数据集成、主数据管理、数据仓储、商务智能和数据管理这种与企业信息议程相关的话题中会经常谈及数据质量。

这样做没什么错，作为数据质量专家，我们更倾向于在任何事情中都考虑数据质量。不过，不管你在整个旅程何处开始有长远打算并开始关注数据质量，相信最终你都会在某个地方完成数据质量总动员。