当前位置:首页 > 公司动态
主数据治理工作八大难点
  • 发表时间:2023-04-13 点击数:259
  • 来源:未知

 

导读:主数据是企业交互共享的黄金数据,具有高共享,高价值、相对稳定的特性,是企业数据拉通的基础底座。我们一谈到企业数据治理,必然绕不开的话题是主数据治理,主数据治理是企业数据治理的基础,只有做好了主数据治理,其他数据如事务数据、交易数据、指标数据的治理才更有意义和价值。

 

DAMA数字化管理体系书中把参考数据和主数据放到一起来讲,原因在于两者都比较稳定且几乎是同时存在的,两者在很多方面是相通的。参考数据是对定义的域值及其定义进行控制。主数据是业务实体,一般以客观物理世界为定义,参考数据可以对主数据对象的属性值和标识符进行控制,以便主数据中的属性能够更规范和准确地录入或选择。从数据分类来看主数据和参考数据其实都是核心的基础数据,一般也是同时治理的。很多企业要做数据管理工作时,因为主数据固有的的一些特性,不得不面对治理中的一些难题。主数据的高共享性和高价值性致使企业在做主数据治理工作时,面临了相比单一部门数据治理更多的难点,那它到底难在哪里,今天笔者就带着大家分析一下主数据治理项目经常会遇到的八大难点

 

难点一:主数据标准统一难

(难度系数★★★★★)

主数据属于跨部门,跨系统的核心共享数据,各业务职能要对其数据颗粒度、数据维护时点、维护规则进行标准统一,正所谓“众口难调”。如房地产开发周期中从投资定案、土地获取、工规阶段、报规报建、预测阶段、实测阶段。如项目楼栋数据对于运营来讲土地获取之后就要创建,但对于营销来讲可能预售阶段才需要创建楼栋,那如何达成一致的标准时点呢,一般来讲则为“就早不就晚”,也就说我们建立的标准时点是以更早创建的时间点。数据的颗粒度来如果属于通用的颗粒度,则我们采取的原则是“就细不就粗”,因为一般来说细颗粒都可以通过自动汇总累加的方式,形成粗颗粒,而粗颗粒度数据,很难通过自动的方法进行合理有效的拆分,同时也要注意在主数据中统一主数据对象的颗粒度拆分的数据尽量保留唯一方式,保证主数据输出颗粒度标准唯一,减少因为颗粒度不一致导致的数据分歧。

 

难点二:主数据权责确定难

(难度系数★★★★★)

主数据权责难点在于主数据属于企业共享通用的数据,各个业务部门都有很强的需求,但正因为如此一旦主数据的Owner方,确定好该数据归属后,将接受下游使用方的数据监督甚至是挑战,一旦数据有歧义或有问题,可能就会追溯到数据源头,所以在这种情况下,其实主数据对象的权责是非常难定的,在我了解的企业中,在没有高层领导指定情况下,几乎没有一个企业中某个部门会主动愿意承当起主数据源头录入工作,因为这可能是一件吃力不要讨好的事情。当然站在企业CEO的角度来讲又必须有这么一个部门主动承担,所以在主数据Owner确定的过程是一个需要不断去攻克的难题。这就应当嵌入业务部门平时的一个常规工作,在数据录入过程中有担责,也应当给予相应的奖励评价,这样才能实现权责相匹配,促使更多的业务部门来主动承担数据源头即数据管理的工作。

 

难点三:主数据系统落地难

(难度系数★★★)

主数据系统目前业内主流的两种思路:第一种,主数据系统独立部署,单独建设,与各业务系统相互独立。这样的建设方式有缺点也有优点,优点是能保证主数据的严肃性,不受单个业务部门影响;它的缺点是:容易造成主数据所有数据录入独立,导致录入修改的及时性及规范性降低,数据质量控制校验遇到难度加大,同时因为主数据对象的产生一般都是业务流程到达一定的业务节点时需要创建的,缺少业务流程的支撑,整个数据的连贯性就会减低。第二种,是主数据和业务系统相绑定,这样可以让业务流和主数据流统一,驱动主数据的录入、修改及更新。当然这汇总方式的缺点也很明显,这样容易被单个业务系统管理的范围及要求限制,导致主数据屈从源头业务端的需求,失去企业级标准,难以发挥企业级别的影响力。

 

难点四:主数据质量提升难

(难度系数★★★)

主数据的数据质量难主要体现在两方面,第一本身主数据源头录入质量难以控制,这包含了主数据录入标准和要求需求清晰规范,需要有明确的录入指引的依据,以什么数据口径录入为准,就会反馈出数据的来源标准,对录入人员要有严格的培训及考核要求,另外数据来源方或者数据生产方都存在不统一的口径,甚至同一公司不同区域的标准有时都不一样,如果标准制定太严格,所有地方一刀切,这样会导致系统录入的数据与实际情况大相径庭,解决方案什么呢,核心还是要简化数据标准,求同存异,抓大放小的原则,关注最核心的数据质量问题,注意优化和完善标准,逐一解决。第二,下游系统应用方式导致的数据问题,通常来讲当主数据源系统解决了录入问题之后,用户对数据质量的整体感觉可能并不高,因为用户真正应用接触的通常是业务系统,这些系统的架构设计可能因为历史的原因,存在很多的问题,甚至短期内是难以改变的,通常来说下游系统应用主数据有以下四种应用方式:

1)强制使用:下游系统对主数据做最直接强制使用,甚至是同一套后台数据库表,不做任何形式的调整和修改,该种方式是数据最强制的应用,对最能达成主数据口径统一的方式。

2)引入后不可修改:不做强制使用,下游系统使用主数据通过关联的方式,只作为一种必要的关联。该种方式一旦源头主数据修改或调整之后,下游系统可能存在更新核心属性,也有可能不更新,这里就会出现一定的数据及时性及一致性的问题。

3)引入且可修改:该种方式相比第二种更弱,即为数据做了关联,主要是从主数据编码层面做了关联,后台数据有绑定关系,但主数据引入后下游系统可以自行修改,甚至允许后续的解除绑定,这样的方式同样会造成上下游主数据不一致,导致数据质量问题。

4)引入未使用或未引入:该种方式其实是完全未统一使用企业级主数据的标准,这种方式应该从数据管理制度中明确规范和严格审计,发现这样的问题应该立即整改和解决,避免因时间越长,数据发生错误时导致企业经济损失。

 

难点五:主数据变动难

(难度系数★★★)

主数据一旦建立之后,下游系统就会使用,一旦下游系统应用之后如发现需要对主数据进行修改或删除时就非常困难,因为一旦主数据源头修改,会对下游已应用该主数据的业务场景造成干扰。原则上来讲主数据创建一定要通过严格审核,数据对象及结构审核尤为重要,一般如一个供应商创建后,如果已经发现该供应商已经发生合同、有付款计划等,这时如果发现主数据建立错误,就不能直接冻结,应当先处理下游业务系统已有的业务数据,各个业务部门都需要核查该主数据对象下的业务数据,对其进行调整和迁移处理,工作量和处理难度有时候是非常大的。

所以通常情况下来讲我们录入主数据时对数据的校验和审核必须非常严格,避免数据录入后发现错误时,再反过来处理就会非常棘手。同时若不可避免后期发现主数据错误需要删除时,也应当尽最大可能减少主数据结构调整,同时在主变动前,各业务归口需要综合评估和审核,达成一致的处理方案,调整或迁移好相应的业务数据,做到对业务影响最小,才能对主数据冻结或失效操作。

 

难点六:主数据审核难

(难度系数★★)

主要是指上流程数据流程审核都有一个目的,第一让数据录入人重视该数据的录入准确性,让其领导进行相应监督,这样才能最有效的提高数据录入质量,当然最好能做到精细化审核。比如针对于同一个主数据对象,可能不同的部门负责不同数据属性,但这些属性之间又存在相关性,并且存放在一个主数据对象下。所以主数据审核人应该有这样的区分提示,首先是数据审核的依据是什么,尽量减少个体认知偏差导致的数据判断偏差,可以做到“术业有专攻”即不同线条的业务属性,归口到对应的业务领导审核,注重用户体验,标识出审核人需重点审核的字段属性,同时指定相应的数据对象整体审核责任人,这样既对于主数据的审核既考虑了单个业务线条差异,也考虑了从整个数据对象中复核数据,保证数据质量,这就是要做到直属局执行流程精细化和人性化,最大限度降低执行难度。

 

难点七:历史数据清理难

(难度系数★★★★)

数据清理难,这可能是整个主数据治理中一大块,特别针对于有大量历史数据的企业来讲,如何做好主数据清理将极大影响未来数据治理工作的效果,甚至影响整个企业数字化转型的成败。如何做好历史数据清理这是一个复杂方法论,读者可以翻阅前面的讲过的内容《主数据全周期实践》及《浅析数据清理》章节都做相应的介绍,在此不做赘述。

这里要讲的是主数据清理为什么这么难,回归本质就是主数据是一个高价值,高共享的数据。正因为是高共享所以对于历史数据,不同的业务部门在数据应用中同样存在不一致的精度需求,如针对供应商的合同数据,包含了历史合同的录入标准,合同下制定的付款申请单、付款方式,付款凭证等,这些数据可能会存在于整个项目的不同阶段,而不同业务部门对数据清理的内容、范围要求也不同,这些都需要达成一致。主数据是企业数据的底座,所以主数据的清理对于参考数据、事务数据、指标数据的清理的影响也是需要充分考虑的。

另一方面,历史数据不仅只是数据是历史的,连企业结构,员工、系统都是历史的,而要做数据清理的人员甚至是刚刚上任,对于历史遗留的资料的文件已经难以找到,及时找到也难以满足对客观数据的准确判断,这样就会导致数据难以复原,最终无法清理出高质量的数据。遇到这种情况,几乎难有解决方法,只能不断通过历史遗留的相关材料,加上数据清理人员的专业性判断,尽可能地清理出准确的数据。

 

难点八:主数据长期执行难

(难度系数★★★★)

很多数字化项目刚开始一切都好,系统方案也顺利上线,但一段时间后发现难以长期执行下去了,同样主数据治理中也会存在这样的问题,甚至更明显,主数据前期的标准和方案已经完成,主数据系统也顺利上线,但标准化执行了几个月或一两年的时间后,发现主数据的标准逐渐松弛下去,最终导致在难以复原。很多数据治理项目短期能够顺利上线,系统和方案堪称完美,但真正的难点却发生在运营阶段,如何将这一套理论方案和系统长期的在企业内部执行下去,这里不得不提到数据管理制度的重要性,主数据化执行过程中,发布配套的主数据管理制度,制定数据质量考核指引,长期养成数据质量晾晒机制,将能够不断的驱动数据相关方,持续遵循主数据执行标准规范,遇到标准变更及时更新处理,这样的主数据管理才能长期执行下去。

总体来说,数据治理是企业数字化转型必经之路,企业需要脚踏实地,不断优化和创新,包括华为、阿里、腾讯等数字化成熟企业,没有哪一家数字化成功的企业是一蹴而就出来的。我们可以学习一些先进的数据管理思维方法,指导我们做数据管理工作,如DAMA的数据管理知识体系中讲到数据成熟度模型评估,如下:

 

图片5

 

利用这一套成熟度评估模型,每年可以做一次评估企业数据管理的真实情况,可以指导我们结合企业的实际情况去做数据治理。同样数据治理一定要做“实”,正所谓“空谈误国,实干兴邦”,一定要脚踏实地,一步一个脚印,潜心研究,坚持长期主义,企业一定会收获意想不到的成果。主数据是企业数据的需要着重管理的核心数据,所以主数据的治理必然是企业数据治理的重点工程,在启动数据治理工作时,可以通过企业数据管理成熟度模型评估,准确定位到企业数据管理真实诉求和核心问题。若企业开始推进数字化转型工作时,要启动数据治理,但又苦于不知从何下手的情况下,不妨先从主数据治理开始,做好主数据治理,啃下这个硬骨头,主数据治理的难题虽多,但要相信办法总比问题多,同时要相信找到问题其实就已经是解决了问题的一半,做好主数据治理典型案例,后续的企业数据治理工作必然会水到渠成。