据戴尔易安信最新调查显示：全球大多数企业现已认识到数据的价值，受管理的平均数据量从2016年的1.45PB增加至2018年的9.70PB。全球范围内，92%的受访者都看到了数据的潜在价值，36%的受访者当前正将数据转化为经济效益。

随着数据价值的日益突显，越来越多的企业开始进行数字战略转型，有的通过数据平台过渡到数据中台，有的直接建设数据中台。

所谓“无规矩不成方圆”，因历史原因企业在发展过程中已经形成了系统林立的情况，汇集到数据平台的数据都各具特色，缺乏标准、规范、治理的数据已经失去了使用的价值。

为了规范数据处理过程，凸显数据业务价值，需对数据平台的数据进行综合管理，构建标准化、流程化、自动化、一体化的数据治理体系，确保数据架构规划合理、数据加工条理清晰、数据处理可管控、数据知识可传承。

有效的数据治理可以确保企业数据全面一致可信，从而全面释放数据资产的价值。

 

一、数据治理之困

只有确保数据的标准化、规范化、可信可用，才能进一步通过数据运营、数据应用帮助企业实现数据资产管理、发现内部数据问题、发掘数据价值，进而实现企业数据资产的盘活和有效利用。

数据治理应该采用最简单的手段管理最有价值的数据，但在实际情况中，我们遇到过在很多数据治理开展过程中，常见的“两不三难”的情况：
 

 

（一）后向型治理，不一致：

因历史原因，很多企业采用“先建后治”的方式，通过手工填报、反向解析代码、脚本等的方式进行元数据探查、血缘探查、数据质量管理，事后才能发现问题，容易造成管理的内容和生产内容的不一致。

（二）被动型治理，不高效：

当发现质量问题时建设质量平台、需要数据字典的时候建设元数据管理平台，将原本完整的治理体系割裂为多个系统、多个平台，造成系统集成难度高、治理效果差。

（三）误区型治理，难聚焦：

随着中台的建设脚本和任务越来越多，本来管理数据变为了管理程序；数据治理的本质是管理数据，走入误区变成管理程序、脚本、任务，造成了管理失焦。

（四）项目型治理，难延续：

数据治理的最终目标是提升数据价值，是一个持续漫长的运营过程，需要逐步完善、分步迭代，指望一步到位完成数据治理是不现实的，但在实际执行过程中往往以项目交付为目标，点到为止，导致治理不全面、无延续，效果也注定是差强人意。

（五）兼职型治理，难落地：

由于每个行业、企业、单位的组织体系、数据应用、基础架构不同，需要通过方法论找到适合企业的特有的数据治理思路，同时需要专人或专业团队进行强有力的支撑，但实际执行过程中往往是企业安排员工进行兼职管理，导致职责不清晰，主动性不强，治理工作落地困难。

 

二、数据治理之道

在传统数据平台阶段，数据治理的目标主要是做管控，为数据部门建立一个的治理工作环境，包括标准、质量等。

而在数据中台阶段，用户对数据的需求持续增长，用户范围从数据部门扩展到全企业，数据治理不能再只是面向数据部门了，需要成为面向全企业用户的工作环境，需要以全企业用户为中心，从给用户提供服务的角度，管理好数据的同时为用户提供自助获得大数据的能力，帮助企业完成数字化转型。

通过分析数据治理实际开展过程中出现的一些问题，总结出了数据治理的几个关键要素：
 

（一）数据治理需要体系建设：

为发挥数据中台价值需要满足三个要素：合理的平台架构、完善的治理服务、体系化的运营手段。

根据企业的规模、所属行业、数据量等情况选择合适的平台架构；治理服务需要贯穿数据全生命周期，保证数据在采集、加工、共享、存储、应用整个过程中的完整性、准确性、一致性和实效性；运营手段则应当包括规范的优化、组织的优化、平台的优化以及流程的优化等等方面。
 

（二）数据治理需要夯实基础：

数据治理需要循序渐进，但在数据中台建设初期至少需要关注三个方面：数据规范、数据质量、数据安全。

规范化的模型管理是保障数据可以被治理的前提条件，高质量的数据是数据可用的前提条件，数据的安全管控是数据可以共享交换的前提条件。
 

（三）数据治理需要IT赋能：

数据治理不是一堆规范文档的堆砌，而是需要将治理过程中所产生的的规范、流程、标准落地到IT平台上，在数据生产过程中通过前向的方式进行数据治理，避免事后稽核带来运维成本的增加。
 

（四）数据治理需要聚焦数据：

数据治理的本质是管理数据，因此需要加强元数据管理，补齐数据的相关属性和信息，比如：元数据、质量、安全、业务逻辑、血缘等；应通过元数据驱动的方式管理数据生产。
 

（五）数据治理需要建管一体化：

数据中台的数据模型血缘与任务调度的一致性是建管一体化的关键，有助于解决数据管理与数据生产口径不一致的问题，避免出现两张皮的低效管理模式。

 

三、数据治理如何落地？

数据治理在系统层面包括数据标准、元数据、数据质量、生命周期管理、数据安全、数据资产共六大核心模块。在管理层面需要通过数据治理组织、数据治理流程进行支撑保障。

数据治理是一项长期且复杂的体系化工程，它需要通过一系列流程规范、制度、IT能力以及持续运营等机制来保障治理工作的持续推进。数据治理的落地建议分为4个阶段：

 

 

（一）建组织：

需要打破企业内部壁垒，构建多部门共同参与的数据治理组织，提升数据治理重要性。成立数据治理专项团队，包括数据治理委员会、数据治理团队、各业务部门等层层递进的组织架构。在绩效、团队、资源等方面支持数据治理的持续运营，达成企业数据中台的数据战略体系转型。

有效的组织机构是项目成功的有力保证，为了达到项目预期目标，在项目开始之前对于组织机构及其责任分工做出规划是非常必要的，数据治理项目管理组织建议采用如下图所示的组织结构：
 

 

1、组织层次

数据治理委员会由校领导和部门负责人组成。委员会定义数据治理愿景和目标；组织内跨业务部门和 IT部门进行协调；设置数据治理计划的总体方向；在发生策略分歧时进行协调。

数据治理工作组是组织内委员会下面的下一个级别。工作组执行数据治理计划。工作组负责监督数据管理员工作。数据治理工作组由数据治理委员会中各相关部门负责人主持。

每个业务部门有至少一位业务分析员，信息部门设置数据质量分析员、数据管理员、集成开发人员。各工作人员负责本部门数据的质量，履行职责，解决具体的问题。
 

2、组织职责

根据数据管理工作的实际需要，在业务管理部门、技术管理部门和业务应用部门确定各工作人员的职责。

 

数据治理委员会的职责范围：

1）从战略角度来统筹和规划，对数据资产和系统进行清理，确定数据治理的范围；明确数据源的出处、使用和管理的流程及职责；

2）明确数据治理的组织、功能、角色和职责；

3）负责各工作组成员的培训工作；

4）负责审查各工作小组的目标、原则，批准数据管理的相关制度、标准及流程；

5）负责确定数据治理的工具、技术和平台；

6）负责制定数据治理的评估指标、方法。

 

数据治理工作小组，其主要工作职责是：

１）负责数据治理的牵头，组织、指导和协调学校的数据治理工作；

２）综合数据治理管控办法、数据治理考核机制等有关规章制度的牵头制定、修改等；

３）负责数据的分析整理并出具数据指标报告；

４）负责数据的监测预测工作；

５）建立数据冲突的处理流程和数据变更控制流程。

６）负责对基础数据质量的检测、发布、考核和清理完善工作。

 

工作组成员：业务分析员、数据质量分析员、数据管理员、集成开发人员。这些不同的角色在数据治理过程中承担着彼此不同，而又相辅相成的职责。

 

其中集成开发人员在数据治理流程中需要担负起数据访问、验证数据结构、验证数据、交付数据以及数据库/知识库的构建等角色，因此他们的工作包括：

● 访问及交付相应数据给业务用户

● 提高数据处理的性能

● 最大化减少异常/出错的影响

● 开发和完善技术最佳实践

 

数据质量分析员在数据治理流程中负责数据的剖析、清洗匹配合并等。工作包括：

● 为开发人员定义数据规格及标准

● 为机构有效的追踪数据质量问题

● 实施被业务人员和数据管理员定义正确的数据质量规则

● 不间断的监控数据质量水平及问题

 

业务分析人员在数据治理流程中负责定义数据的转换规则，工作包括：

● 与需求开发人员协作，正确捕获和解析业务需求

● 与开发人员和数据管理员协作，为业务用户缩短数据产生价值的时间

 

数据管理员需要定义引用数据，并管理元数据，工作包括：

● 保证数据的质量、正确、完整、一致、审计及安全性

● 定义“引用/参考”数据

● 为组织机构数据实体给出正确业务定义

● 为组织机构解决混淆和有争论的数据定义

 

（二）立规范：

建立切实可行的标准化流程规范，并随着数据中台的不断运营而持续完善，分步实施逐步迭代。规范包括发布数据治理管理规范、数据治理流程规范、建立数据治理标准化闭环流程、明确线上管理要求，并通过运营闭环化、流程线上化、服务集中化形成常态化机制推进数据治理工作。

在之前的文章中谈到，首先要了解企业为何要去制定标准规范？企业的需求是什么？现状是什么？外部环境的要求是什么？建标准的时候，有没有相关的一些参考？有没有相关的国家标准？行业标准的一些参考？如果没有的话，行业有没有最佳实践可以拿过来参考。要结合以上的些需求去规划数据标准的体系，先要把范围先确定出来。
 

 

数据标准规范制定过程中一般有以下的业务步骤：

● 第一资料收集：做IT的人员都很清楚要收集现有的一些材料，包括数据的质量情况、数据的管理情况、数据的标准化情况等等。

● 第二调研访谈：要解决做项目或者数据，你是要解决样的业务问题？

● 第三分析评估：对整体的情况做分析评估，评估和最佳实践或者最理想情况的标准的差距是多少？

● 第四标准制定：根据上述的些条件来定义数据，制定标准。

● 第五意见征集：标准定义完之后，形成的标准文件还需要下发到各个业务单位去收集意见，再根据意见的反馈情况，修订标准。

● 第六标准发布。

 

（三）选平台：

搭建有效的IT平台支撑数据治理的规范、流程、标准落地，同时确保前向的数据治理模式。数据治理本质是一项管理工作，只有生产过程可视化、生产过程可干预，才能保证数据治理的效果，因此平台应确保数据治理和数据生产的一体化。

平台应具备多厂家协同开发能力、数据标准化管理能力、基于元模型驱动的元数据开发管理能力、元数据血缘管理能力、基于血缘驱动的任务调度管理能力、安全分层分级管理能力以及数据质量管理能力等等基础能力才能更好的保障数据治理的落地。

 

（四）重运营：

数据治理是一个持续并且长久的运营过程，规范、组织、平台的以及流程需要不断的进行迭代优化，数据质量、数据安全需要持续管控，通过业务的不断滋养逐步完善数据中台的数据治理能力。

 

四、结束语

数据治理是一项战略性、长期性、艰巨性、系统性、持续进行的企业内部数据优化治理工作，因此，数据治理必然是一个漫长而持续的过程，没有一针顶破天的诀窍，也没有立竿见影的途径，唯有企业持续不断、持之以恒、不忘初心、不懈努力，才能达到预期目标。