随着第四次工业革命的来临,数字化生产已经成为普遍的商业模式,全球各行各业都在积极探索和开展数字化建设,期望通过数字化技术来支撑业务的长期、持续增长。企业进行数字化转型,要先抓住数据治理这个”牛鼻子“。那么问题来了:数据治理领域有没有代际之分,它可以被划分为哪几个时代?
通信领域里G是指Generation,1G、2G、3G、4G、5G网络分别指:第一、二、三、四、五代移动通信系统,从1G到5G,代表了通信领域技术的飞速发展。数据治理领域的5G能否像通信领域的发展那样激动人心,至此未有终论。
二、数据治理各时代演变的历程
1.业务烟囱时代
在信息化时代初期,企业为了满足业务信息化的需求,于各部门建立了很多相对独立的业务系统,典型的特点是形成了“一类业务、一个系统、一个数据库”的封闭式架构。这类模式有些像烟囱,大家知道烟囱间是不会互通的,这就导致了业务壁垒的出现,带来的直接问题就是“数据孤岛”。
企业的业务本身天然是连续的,不会因为部门墙的存在而消失,跨业务的需求难以得到满足,跨业务活动的效率并没有随着信息化的发展而提升。这些问题限制了运营效率的提升和效益的改进,企业迫切需要改变这种状况,于是数据中心的理念浮出水面。
2.数据中心时代
存量的“烟囱”遍布各个业务但又支撑着海量的交易和分析,数据被“私有化”为各个业务部门的“资产”。数据中心的建设应运而生,建机房、买硬件、装软件,大家期待着数据中心能够解决长期以来困扰企业的业务烟囱问题。
数据中心的初衷是把所有的数据汇集在一起,实现数据的互联互通,达到共享的目的。企业通过ETL工具(ETL工具本身就是从手工代码E-T-L中发展出来的,主要是用于提高工作效率)把各个业务系统的数据抽到数据中心的服务器上,将数据汇集在一起,以期实现“数据实时可视、海量业务自动、算法支撑决策”。
这个想法是很好的,但也存在一些天然的缺陷。大家觉得跨业务数据不能互联互通是因为数据在部门内部形成闭环,仅仅想着把数据放到数据中心,让有权限的任何人都能为他们所用,以兹解决数据壁垒这一矛盾是行不通的。主要原因是,抽过来的数据还是原来那些数据,这些数据在产生前的设计过程中,根本就没有考虑其他业务的使用需求,哪怕把它们放在数据中心,其他人也不一定用的了。
大家可能会好奇,什么数据就算拿来了,别人也用不了呢?比如,企业的一个设备,营销部门和检修部门都在管理,营销部门更侧重设备所服务的客户体验,检修部门更侧重这台设备的运维检修状态。如果检修部门有一天想停电检修某台设备,需要让营销部门通知对应服务的客户。检修部门将这台设备的名称和编码提供给营销部门,结果营销部门对应这个数据在自己的系统中根本查不到这个设备。因为两个部门对每台服务客户的设备数据施行独立管理,名称和编码在各自独立体系中并不相通。这种情况下,就是上文提及的即使将数据统一汇总到数据中台,也无法实现数据能在企业内顺畅流动起来,为企业带来巨大的价值。逐渐地,人们对数据中心也失去了信心,属于数据治理的下一个时代正悄然到来。
3.标准治理时代
如何制定统一的标准数据,增进数据在企业内的流通效率且能拿来即用,这成为了标准治理时代最重要的命题。统一设计顶层数据标准,再通过各种管理手段将标准落地,已经成为标准治理时代数据管理界的基本共识,可这一过程的实践与优化也是困难重重。
企业在想到做数据治理的时候,该拿多年积累下来的存量系统和大量历史数据怎么办?由于信息化过程中企业搭建了各种各样的系统应用,而这些系统应用都高度依赖对应的数据,如果这些数据按照新的统一标准进行改造,很有可能会影响现有系统的正常使用。
如何通过建立新老环境融合的双模架构,把企业的新老数据和应用与正在及未来将要产生的数据连接在一起,构建统一的数据与应用平台,并与机器学习、人工智能等技术手段相结合,使数据产生更大的价值。不至于在改造过程中承担因数据处理不当产生的风险,这导致标准落地的难度陡增,标准和执行出现断层。
4.融合治理时代
大家须牢记做数据治理的初衷,即为解决数据不统一带来的业务问题。标准统一实际上是动态管理的过程,当前亟须解决如何应对历史业务问题,融合治理时代应需求而生。
融合治理的核心是在统一标准前先接受各个专业既有的数据情况,通过业务专家对跨业务的数据进行人工的融合映射,以先解决跨业务场景的问题为优先。当跨业务场景的问题被解决后,数据治理的价值得到认可,企业高层以此更有信心来支持实现最终标准统一化的目标。
5.智能治理时代
企业需意识到,只要业务在运转,数据就会持续增加,数据污染也会持续累积。人工数据治理虽然能在一定程度上解决数据污染的问题,但治理的速度远远赶不上数据污染的速度。人们逐渐意识到,可以利用当下大热的人工智能技术来解决数据治理中的复杂问题,让机器学习算法来训练数据治理模型。于是,智能算法作用于数据治理的时代一步步向我们走来。
近年来,头部企业倚赖智能增强型数据治理取得了不错的成绩。这些信号表明智能治理已经逐渐获得大众的认可,未来随着越来越多的企业加入探索的行列,数据治理的效率将会持续提升,数据污染的扩散态势将得到有效遏制。
三、合理化推想数据治理的未来
深耕大数据领域的人,不免发出同样的疑问:数据治理的本质到底是什么,它未来会发展成为什么样子?
如果把数据想象成一张网,它很像我们人类大脑的记忆网络,承载了现实世界运转的蛛丝马迹。人类接触新的事物、学习新的知识,不用专门去做所谓“治理”工作,仿佛假以时日即可熟能生巧,习得的技艺就能为己所用。在未来,企业的数据治理能否实现像人脑一样具备全自动治理的能力,让机器自发整理获得新数据、新信息、新知识与新智慧,真正打造属于企业自己的数字大脑。在这个美好愿景的鼓舞之下,数据治理的未来值得期待。