数据治理工作包括:数据环境治理、数据质量治理。
图 数据治理工作内容
数据环境治理包括:实现数据标准化建模,成立数据管理组织,制定数据管理制度,搭建数据生产流程,规范数据质量、安全和交换服务标准等。
数据质量治理包括:历史数据质量治理、数据生产过程质量控制和数据生成后的日常监测、分析、处理。要实现以上三个层面的数据质量控制,通过人工或者传统的业务系统已经被充分证明是无法实现的,因此需要搭建专业的数据治理平台,以便于数据环境体系能够全面的实现系统化落地、执行。
那么,目前国内主流的数据治理平台有哪些呢?
目前国内市场主流的数据治理平台有主数据管理平台(MDM)、企业数据治理平台(EDG)、主数据治理平台(MDG)、编码管理系统等。从平台厂商地域分为国内和国外,从平台侧重数据范围分为主数据、编码数据和静态数据,从平台来源分为物资编码管理系统(大部分国内厂商)、客户主数据治理系统(主要是国外厂商)、PDM/PLM系统(部分国外和部分国内厂商)。
面对以上各种工具平台,我们该如何选择呢?
首先,我们根据数据治理的范围、程度划分数据治理层级如下:
图 数据治理层级划分(螺母数据示例)
针对数据治理平台的选择,我们要从三个方面进行分析:
l 为什么进行数据治理?
l 数据治理想要达到什么目标(治理范围、程度)?
l 数据治理需要防范什么?
具体见下表格:
数据治理动因或目标
数据治理平台选择
没有严格的数据验证标准和数据管理制度、流程、组织等
MDM或EDG
各分子单位数据独立性强,没有统一的模型及编码结构体系
编码系统或MDM或EDG
各单位人工新增编码经常出错,周期太长,且整个过程没有有效监管
编码系统或MDM或EDG
各系统、各分子公司间数据描述标准不一情况严重
MDM或EDG
有规范的数据标准模型,手工执行中缺乏严格的数据验证
MDM或EDG
集团层面对于数据监管及一致性控制能力不足
MDM或EDG
存在一物多码,一码多物等情况,库存账实不一,分析不准确
编码系统或MDM或EDG
各公司、各系统间无法实现数据同步、共享
MDM或EDG
业务系统中存在多个虚拟组织架构,需要进行专业的组织清洗
EDG
数据维护(非数据审核)过程需要多个部门中的多人共同参与
EDG
需要关闭业务系统的档案维护功能,如ERP的物资数据维护
EDG
需要单独从多个角度进行全方位的描述,如不同组织、不同系统等
EDG
需要最大化减轻后期数据运维管理的难度,如数据模型等体系的变更
EDG
需要最大化减少数据治理后质量问题的再现
EDG
需要专业的物资数据清洗工具进行彻底的历史物资数据清洗
EDG
最大化减少因主数据的动态性造成的数据运维难题
EDG
……
……
附:惨痛的教训:
随着越来越多的大型企业集团逐步实施了标准的主数据管理平台,但让人意外的是2015年初开始逐渐出现了不少的失败案例,究其原因有五:
1) 业务系统的不断变化(新增或者变更)导致的主数据模型、管理制度、流程等的频繁变化,增加后期运维难度;
2) 只管理共享信息已经无法满足越来越复杂的业务过程,需要全视角(多组织、多系统、多维度)维护、存储和查询数据的全面信息;
3) 主数据管理平台实施后,普通业务人员直接参与数据标准化的日常管理,数据管理知识的缺失造成操作过程中的各种错误持续发生(如类别选错了);
4) 数据标准化项目后,运维管理人员无法延续数据标准的制定思路,无法快速拓展、完善数据管理体系;
5) 标准主数据管理平台实施后,数据质量问题再次出现,并且逐渐积累显现出来。