数据质量管理十步流程

1定义业务需求和方法

    明确数据质量管理的重点、时机和目标，来指导整个项目期间的所有工作。

目标：

    1.明确信息环境－数据、流程、人员、组织以及与业务情况相关的技术。

    2.按顺序排列并最终确定项目重点关注的业务问题。

输入：

    1.亟需解决的数据质量业务需求和时机

    2.已知现存的数据质量问题

    3.企业的需求（以及任何对当前信息环境有帮助的资料，如数据模型、软件架构、组织结构图）

工具和技术：

    1.实地调研

    2.过往实践经验

    3.组织结构图

    4.费效矩阵

    5.优先级排序技术

输出：
    1.待解决问题的明确描述，以及它们与数据质量的关系。

    2.信息环境的明确描述。

    3.初步沟通方案。

    4.项目方案：项目章程、背景图、工作分解结构、实践安排表、预计所需的资源。

 

2.分析信息环境

    收集、整理并分析与数据质量相关的信息环境。明确信息生命周期，确保相关数据得以评估。设计数据获取与评估方案。

目标：

    1.收集、整理和分析当前需求、数据及规范、流程、人员、组织以及业务问题相关技术细节。

    2.提供信息生命周期的文件资料。

    3.制定数据获取和评估的初步方案。

输入：

    来自步骤1的输出：

    1.待解决问题的明确描述，以及它们与数据质量的关系。

    2.信息环境的明确描述。

    3.初步沟通方案。

    4.项目方案：项目章程、背景图、工作分解结构、实践安排表、预计所需的资源。

    其他输入：与业务问题和信息环境有关的资料

    1.需求和约束：业务、技术、法律、合同、规划、内部政策、安全要求、保密性。

    2.数据规范。

    3.业务流程。

    4.工作角色和职责。

    5.技术体系结构和数据模型。

工具和技术：
    1.信息质量框架。

    2.信息生命周期。

    3.信息生命周期方法。

    4.数据捕获。

    5.结果分析。

    6.数据质量工具。

输出：

    1.数据生命周期。

    2.数据获取和评估方案。

    3.分析信息环境的结果：历史文档资料，影响数据质量的潜在因素及根本原因和解决建议。

    4.确定最终需求。

    5.详细的数据列表和数据规范。

    6.数据模型：包含了解数据结构和数据关系所需的细节。

    7.技术背景。

    8.流程细节。

    9.组织结构、角色和职责。

 

3.评估数据质量

    针对适用于这一问题的数据质量维度，评估数据质量。评估结果用来确定数据质量问题的根本原因、需要改进的地方。

目标：

    1.评估适用于业务问题的数据质量为度。

输入：

    1.来自步骤2的输出：

方法和技术：

    1.适用于维度的技术。

    2.适合进行评估的工具：数据剖析工具、报表工具或SQL、数据清洗工具以及其他数据质量相关工具

输出：

    1.数据质量评估结果。

    2.对业务的潜在影响和根本原因。

    3.初步行动建议。

 

4.评估业务影响

    使用各种技术来评估劣质数据对业务的影响。该步骤为业务改进、确定适当的资源投资提供依据。

目标：

    1.使用定性及定量方法确定数据质量问题对业务的影响。

输入：

    1.来自步骤1-3的输出。

工具和技术：

    1.适用于特定业务影响技术的方法，如各类调查模版。

输出：

    1.业务影响评估结果。

    2.基于影响结果的行动建议。

 

5.确定数据质量问题原因

    确定引起数据质量问题的根本原因，并区分优先次序，以及为解决这些问题的具体建议。

目标：

    1.确定数据质量问题的根本原因，并对其优先级进行划分。

    2.制定建议。

输入：

    1.历史经验以及步骤2-4中获得的输出。

工具与技术：

    1.适用于特定根本原因的技术，如因果图、鱼骨图。

    2.回报矩阵。

输出：

    1.解决数据质量问题的根本原因的具体建议。

    2.基于业务影响结果的具体建议。

 

6.制定提高方案

    确定最终具体解决方案。

目标：
    基于数据质量或业务影响评估结果，制定行动方案。

输入：

    数据质量：

    1.高优先级问题、根本原因以及解决问题的具体建议列表。

    2.数据质量评估结果的输出。   

    业务影响：

    1.业务影响评估结果以及基于评估的行动建议。

    2.优先级划分：费效矩阵。

    3.熟悉的规划方法。

输出：

    1.解决根本原因、预防数据质量问题和纠正数据错误的具体行动方法。

    2.受方案影响的人员。

 

7.预防未来数据错误

    实施解决引起数据质量问题的根本原因的解决方案。

目标：

    1.通过处理数据错误发生的原因来预防未来发生数据错误。

    2.实施适当的提高方案。

    3.确保用于处理数据错误处理的投资不浪费。

输入：

    1.来自步骤6的输出。

工具和技术：

    1.为修正每一类问题的数据错误适用的工具和技术。

    2.将数据剖析和数据清洗工具的功能作为标准流程的一部分。

输出：

    1.解决根本原因和预防未来数据错误的方案。

    2.活动实施而给当前业务带来的变更。

    3.受业务变更影响的人员。

 

8.纠正当前数据错误

    实施数据纠正步骤。

目标：

实施纠正现有数据错误的解决方案。

输入：

    1.步骤3、步骤6的输出。

    2.实施变更的小规模试点。

    3.受影响的人员。

工具和技术：

    1.数据清洗工具。

    2.可以大规模更新数据的应用软件。

    3.与现有应用软件相关的标准接口。

输出：

    1.依据规范纠正的数据。

 

9.实施控制

    监控和核实所进行的改进。通过标准化、归档和对改进进行持续监测，维护结果。

目标：

    1.实施持续的监测和度量。

    2.监测和确认已实施的改进措施。

    3.确定包含数据质量控制的新解决方案。

输入：

    1.步骤6-8中的输出。

工具与技术：
    1.取决于所实施的控制措施。

输出：

    1.所实施的控制措施。

 

10.沟通行动和结果

    归档和沟通质量管理效果、所做的改进和改进的结果。其中沟通非常重要。

目标：

    1.在项目期间，对结果和进展情况进行适当的沟通。

输入：

    1.来自任何步骤的结果。

工具和技术：

    1.沟通方案模版。

    2.RACI。

    3.其他沟通与表达技术。

输出：
    1.沟通方案和时间表。

    2.表达和培训材料。

    3.根据时间表和沟通方案完成沟通。