随着企业的发展,对数据的要求更高,原始的数据管理难以支撑现有日常业务和更复杂的分析应用,企业开始由数据管理走向数据治理,但是由于前期没有对数据标准建设、质量把控,在数据污染之后再进行治理难度更大、成本更高。
“先污染后治理”难度大、成本高
以银行为例,我国银行业的信息化建设历经二十年的发展,目前已建立较为完备的信息系统,虽然近年来国家监管层面不断完善数据治理工作,但目前商业银行数据管理仍存在一些突出问题:机构间统计标准不一致,数据搜集整合存在错配;数据管理部门与银行业务部门之间未能形成良好协同,导致数据收集流程效率低下;数据挖掘与数据应用力度不足等。
2018年5月21日,银保监会正式发布《银行业金融机构数据治理指引》,对银行业金融机构数据治理的原则理念、数据治理架构、数据管理、数据质量控制、数据价值实现,以及对银行业金融机构数据治理的监督管理等做出了规定。在硬性规定下,为实现监管报送数据的合法合规,银行业纷纷开始进行数据治理。
从目前的情况来看,因为数据已存在诸多问题,要看到数据治理的成效带来的明显收益,至少需要3年时间,并且需要投入大量人力物力,梳理历史问题数据;而如果之前就进行数据标准建设,后期数据发挥效益可能就只需要1年的时间。这样看,先污染后治理的成本明显更高。
如何通过数据标准建设,避免“先污染后治理”
通过统一的数据标准制定和发布等一系列的活动,结合制度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为后续数据质量检查、数据安全管理等提供标准依据,通过数据标准模块可以有效的避免数据先污染后治理。当然,如何更有效地发挥产品作用,还离不开企业正确的数据观念。总结以下三点:
一、梳理和制定数据标准
企业的数据标准来源非常丰富,有外部的监管要求,行业的通用标准,同时也必须考虑到企业内部数据的实际情况,从业务着手,梳理其中的关键的业务指标、数据项、代码等,通过数据标准模块对评审通过的标准统一的线上进行管理维护,业务部门可以及时获取权威的数据标准,通过制定标准评审的流程对标准进行维护和变更,确保每一次的变更都是权威有效的,不断地完善数据标准体系。
二、数据标准的落地和实施
事先确定好哪些数据标准需要落地以及哪些系统需要进行落地,再执行可进行落地的方案,通过数据标准落地评估定期产出数据标准评估报告,对于不达标的元数据进行通报并进行改造;同时需要定期的对元数据标准覆盖率进行检核分析,定期产出元数据标准覆盖率分析报告,双向评估数据标准的落地情况,不让数据标准成为一纸空谈,失去标准本身的价值。
三、企业应该树立的正确数据观念
只有标准化的数据才有价值,支撑数据分析和应用。数据要发挥其价值,首先要保证数据的合法合规的,数据标准作为数据治理中一项重要的工作内容,有的人会认为数据标准几乎没什么用,做了大量的梳理,建设了一整套全面的标准,最后还不是被束之高阁,被人遗忘,几乎没有发挥任何作用。企业应该树立正确的数据观念,协同多部门制定数据标准体系才能更好地推动企业数字化建设。
小结:数据的问题要从根本上解决,就必须从源头控制数据的质量,提前做好数据的规范以及数据管理的规范可以有效地从源头解决大部分数据问题。提前通过数据标准建设,将类似数据缺失、数据异常、数据不一致等后期需要投入大量人力物力解决的“脏数据”,统统扼杀在摇篮里,可以有效降低后期数据治理难度与成本。