一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目,业务部门与IT部门的相关人员将各自具有明确角色和责任,配备正确的技术和工具,以应对数据质量控制的挑战。
数据质量反映的是数据的“适用性(fitness for use)”,即数据满足使用需要的合适程度。数据质量通过完整性、一致性、准确性、及时性、合法性等多类维度对数据进行度量。数据质量管理的目的是为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提,是企业数据资产管理的前提。
数据质量问题的影响因素
1、数据质量方面原因——数据不一致
企业早期没有进行统一规划设计,大部分信息系统是逐步迭代建设的,系统建设时间长短各异,各系统数据标准也不同。企业业务系统更关注业务层面,各个业务系统均有不同的侧重点,各类数据的属性信息设置和要求不统一。另外,由于各系统的相互独立使用,无法及时同步更新相关信息等各种原因造成各系统间的数据不一致,严重影响了各系统间的数据交互和统一识别,基础数据难以共享利用,数据的深层价值也难以体现。
2、数据质量方面原因——数据不完整
由于企业信息系统的孤立使用,各个业务系统或模块按照各自的需要录入数据,没有统一的录入工具和数据出口,业务系统不需要的信息就不录,造成同样的数据在不同的系统有不同的属性信息,数据完整性无法得到保障。
3、数据质量方面原因——数据不合规
没有统一的数据管理平台和数据源头,数据全生命周期管理不完整,同时企业各信息系统的数据录入环节过于简单且手工参与较多,就数据本身而言,缺少是否重复、合法、对错等校验环节,导致各个信息系统的数据不够准确,格式混乱,各类数据难以集成和统一,没有质量控制导致海量数据因质量过低而难以被利用,且没有相应的数据管理流程。
4、数据质量方面原因——数据不可控
海量数据多头管理,缺少专门对数据管理进行监督和控制的组织。企业各单位和部门关注数据的角度不一样,缺少一个组织从全局的视角对数据进行管理,导致无法建立统一的数据管理标准、流程等,相应的数据管理制度、办法等无法得到落实。同时,企业基础数据质量考核体系也尚未建立,无法保障一系列数据标准、规范、制度、流程得到长效执行。
5、数据质量方面原因——数据冗余
各个信息系统针对数据的标准规范不一、编码规则不一、校验标准不一,且部分业务系统针对数据的验证标准严重缺失,造成了企业顶层视角的数据出现“一物多码”、“一码多物”等现象。
数据将是产生业务价值和实现业务目标的基石,数据质量将成为此类项目的一个极为重要的因素,一些项目在早期没有考虑数据质量因素,导致项目实施的后期阶段,因为数据质量问题造成项目失败的风险,所以在项目的各个方面都应注意数据质量的管理。