一、什么是数据治理?
数据治理是指关于企业内部数据正式管理的过程和实践,包括数据管理、数据质量和相关的流程与标准,确保企业数据的安全和正确使用。
近年来,随着大数据和 BI 对越来越多的企业组织的重要性日益提高,与数据治理的关联性和突出性也日益展露。通过有效的数据治理,有助于对决策所需的复杂数据源在其统一的环境中进行管理和监控。这最终使得企业获得一致的、规范的数据视图成为了可能。
重要的是要记住,数据管理和数据治理不是一回事。记住这个差别的一种方法是将数据管理视为旨在组织和控制数据的 IT 工作,而数据治理是更全面的业务战略,与企业的发展战略的重要组成部分,需要整个企业的利益相关者参与其中。
二、为什么数据治理很重要?
尽管许多企业的数据治理在被不经意间悄悄地忽视了,只有48%的企业拥有明确的规划或计划,但这并不影响数据治理的重要性,它聚焦于三个关键因素:
数据可访问性:在需要时获取正确数据的能力。
数据可信度: 企业对其数据质量、准确性和安全性的信心。
数据的激活:对所收集的数据操作使用的能力。
进行有效的数据治理实践对企业具有重要意义,其中包括但不限于:
Ø 确保遵守重要的内部和外部数据法规,如GDPR和监管单位监管要求。
Ø 通过更清晰的数据定义和数据关系,帮助推动企业信息系统和相关制度、流程的规范化、标准化。
Ø 降低数据管理的成本、提升企业工作效率。
Ø 由于数据关系因素的存在,任何数据活动的透明度都会增加,例如:数据的血缘分析、影响分析、全链分析。
Ø 通过规范化的数据输入,减少错误的发生来增加总体收入。
Ø 通过数据战略规划和部署,企业经营效率得到提高。
Ø 数据质量得到提升,数据驱动的决策分析更加值得信任。
随着业务变得越来越以数据为驱动,数据治理将会变得越来越重要。
三、数据治理战略中的重要任务
数据治理涉及大量的决策、问责和管理,因此通常需要建立一个专门的数据治理团队。该战略有一系列的组织结构方案,但最常见的两个方案选项是:自上而下的命令和控制以及自下而上的协作。与数据治理相关的一些常见职位包括CDO、数据所有者、数据管理员和数据治理专家。
这些不同的职位角色将具有一系列不同的任务,他们在工作中执行的一些关键流程包括:
Ø 定义和规划数据治理计划的范围;
Ø 制定提升数据质量和安全性的解决方案;
Ø 创建和管理元数据;
Ø 评估新数据源的适用性;
Ø 监控并强制遵守数据政策;
Ø 研究和集成新的数据源;
Ø 培训和提高整个企业人员的数据素养,培养数据文化;
Ø 促进新的数据驱动型改进机会。
不同任务相对于彼此的重要性将取决于企业及其法规/合规环境的具体情况。
四、数据治理的最佳实践方法
业界有许多数据治理的最佳实践可以在企业中应用,以帮助企业实施数据治理计划。它们可以帮助企业避免在数据治理中的一些常见的挑战和陷阱。这些最佳实践行为包括:
1.从大处着眼,从小事起步:有效的数据治理需要很多不同岗位的员工/管理人员、流程和技术的参与和集成。随后,在制定数据治理战略时,务必牢记所有这些因素,从全局考量、整体规划。然后从人为因素开始,找到企业的业务痛点,制定解决这些痛点问题的流程,然后再找到合适的工具和技术,这样可以有助于确保成功。
2.从解决业务问题开始:由于数据治理需要整个企业管理者的批准和整体布局,因此必须要充分数据治理的目标以及获得的预期收益。例如,必须说明增加收入、提高运营效率和改善客户体验等因素。一方面要说明通数据治理实现这些目标的机会,另一方面也要概述出其中挑战以及应对措施,一切就都可以在意料之中了,而且很多效益也可以更容易地实现。
3.设置合理的KPI:目标的确是伟大的,但它们需要可衡量。特别是当你得到管理者的认同,且他们期待他们的投资取得明确和可展示的结果时。KPI 和指标对于跟踪计划进度至关重要,同时,对于找到未来改进计划的方法也至关重要。
4.时刻保持团队沟通:任何主要实践的沟通和交流都是不可或缺的,数据治理也不例外。数据治理不是单纯的IT事务,而是一项企业的业务,需要所有的利益相关方,例如:高层管理者、业务部门、IT部门、数据管理员、数据科学家等的协同和配合。
5.把它看作是一个转变,而不是一次例外:数据治理不是一次性的项目,而是一个需要持续努力的项目,它需要定期和持续的调整以及改进。当数据治理被视为”一次性”项目时,企业很容易回到陈旧的、无效的运转方式。
这五个最佳实践对于确保数据治理计划的可行性是非常有帮助的。
五、数据治理的误区
企业数据治理存在很多误区和陷阱,最常见的陷阱包括:
重IT而轻业务: 尽管通常是专业IT人员最先认识到数据治理的必要性,但他们既不是数据的创造者,也不是数据的用户。
解决方案:将大部分数据治理工作重心保持在”业务”上,并将 IT 作为积极的合作伙伴角色进行整合,让业务与IT紧密协作。
数据的价值不被认可:并不是企业中的每个人都知道数据的价值,以及了解确保数据质量的价值。这通常不是因为员工故意忽视导致的,而是因为他们已经收益于获得的都是纯净数据,而不必通过处理资源来获取。
解决方案:在企业内部传达数据及数据治理的价值,要让相关利益者深刻意识到数据治理对企业竞争力的重要性。
选择错误的指标:选择一个简单明了的指标是很有诱惑力的,这样的指标听起来可能很不错,但实际上没有任何意义(即:我们把错误减少了20%,听起来很棒,但并没有真正告诉我们这个指标如何影响业务活动)。相反,应选择能展示数据和治理的改进如何帮助人们实现业务目标的指标。
解决方案:将整个企业 能展示进度和影响的不同业务指标连接起来,找到切实解决企业业务痛点和问题的指标,并进一步明确指标的定义和度量。
数据孤岛:数据孤岛对于企业的任何一个部门来说都是很痛苦的,尤其是数据治理相关的。这是因为,虽然数据可能满足一个部门的数据治理或使用需求,但未必满足另一个部门的需求标准。这会导致数据不一致,甚至引发更多问题。
解决方案:使数据治理成为企业文化和思维模式的一个变革措施,并将所有部门都纳入数据治理战略的规划和策略中。
六、数据治理工具
数据治理工具旨在帮助确保数据能够提供预期的业务价值。这意味着,在选择数据治理工具时,请务必要清楚地了解一个工具所拥有的功能,而且还要明确这些功能将如何创造业务价值。
在评估候选工具时,应考虑下面几个专业领域:
数据资源目录:为了实现数据一致性,数据治理程序必须管理基础数据,如数据元素、模型和词汇表。具体而言,该工具应具有以下能力:
Ø 基于用途或相关性对数据进行分类
Ø 通过层次结构或类别区分来管理数据元素之间的关系
版本控制功能:拥有特定版本的信息是有效监视更新以及在必要时还原早期版本的关键。这意味着:
Ø 源代码控制服务信息系统的开发,包括分支和合并;
Ø 历史报告:历史报告应展示任何做出过的操作的来源和日志;
Ø 回滚功能:在执行过程失败的情况下,正在运行的应用程序应该能够通过名为“ROLLBACK”的回滚事务来回到最近的状态。
元数据管理:数据治理和元数据是密不可分的,因为如果没有适当的元数据,主数据就缺乏基本上下文环境。
七、数据治理与GDPR
数据治理在需要严格遵守法规的行业被十分重视且被认为是至关重要的,例如:金融和保险行业就是如此。如今,这种重视已经转移到更为广泛的其他行业中,特别是在欧洲,伴随着GDPR(通用数据保护条例)的实施。
数据治理在实现合规性方面是不可或缺的,因为它可以帮助企业清楚地回答以下问题:
1. 我们都需要收集和持有客户和员工的哪些数据
2. 我们从哪里获得这些数据?
3. 我们有哪些控制措施来确保其安全?
4. 谁在内部拥有或管理数据?
5. 如果违规会发生怎样的后果?
6. 涉及隐私的信息如何安全传输?
7. 实施数据实践的法律依据是什么?
8. 如何管理未成年人及其监护人?
在企业范围内提供数据的可追溯性和清晰性以及执行良好的数据治理,可以在审核的时候从内部和外部都可以简化和流程化此过程。
数据治理是企业数据战略的一部分,以确保在组织内有效和正确地使用它。在一个严重依赖数据的时代,数据治理的重要性不能被低估。随着数据持续变得越来越复杂,企业可能会寻求更多更好的方法来确保能够保持合规性和内部工作投入的有效性。