山西天脊煤化工集团有限公司(以下简称天脊煤化工集团)位于上党盆地潞城市,其前身为山西化肥厂,是我国八十年代初,成套引进德国、日本、法国、挪威等八个国家十一项专利技术和设备建设的第一个以煤为原料生产高效复合肥的大型现代化企业。
天脊煤化工集团涉及业务范围较广行业跨度大,主要业务有润滑油销售;物业服务:物业管理、保洁、绿化;劳务服务(劳务派遣服务除外);有机肥料、生物有机肥、复合微生物肥料生产及销售;洗漱用品、洗涤用品的销售。
天脊煤化工集团对于企业信息化一直走在前列,领导也十分看重信息化管理这一部分,目前已上线了企业资源计划、协同办公系统等等。业务系统为相应的业务也提供了一定的支持,但随着软件的运行与使用,也带来了一定的问题,历史数据冗余,随着数据量的增加,数据编码不规范的问题也渐渐浮现,导致数据提供支持时时间长,不完整,数据支持达不到预期的效果。经归纳总结后发现数据基本存在以下四种问题:
1、不一致:不同分支机构对物资划分归类不一致,集团层面不能良好的归类管理、分析。
2、不规范:存在同一字段多种填写方式的情况,例如:规格型号有写长180cm宽50cm高50cm和180*50*50。
3、不完善:存在业务系统对录入数据校验不严谨的情况,存在应为必填项但没有该方面内容校验的情况。
4、有冗余:存在单系统内的重复数据以及多系统间共有数据不能重用的问题。
针对以上问题我司制定了相关的整治方案如下:
一、制定数据整个生命周期制度
思路:为保证天脊煤化工集团数据治理平台建设项目的成功,我们提出如下项目总体建设思路:“明确目标、界定范围、合理规划、高效实施”。
原则:结合中翰软件10多年来数据治理的经验,且参照了国家信息化相关标准体系、相关行业的标准体系以及针对天脊煤化工集团各业务部门的现状、需求的整理分析、汇总从而进行专项整治
措施:制定《数据管理标准化管理体系集册》,包含:《数据管理制度、流程、组织、考核机制文件分册》、《数据验证体系分册》、《数据质量管理体系分册》、《数据安全管理体系分册》、《数据交换管理规范分册》、《数据编码及模型定稿》(即《编码手册》)。
二、针对历史数据进行数据清洗
思路:根据时间节点划分数据,针对不同阶段数据进行清洗,规范物资、设备分类,对以后的数据产生提供保障。
原则:不影响原有数据的准确性,制定数据模型时要达到清晰易懂,按照先进性、可靠性、一致性、通用性进行设计,行业内成熟的企业数据标准体系,形成天脊煤化工集团特色的数据模型基础。并且保证数据模型的相对稳定,支持数据模型的扩展与优化,进而保证企业信息资源的可持续利用;
项目实施过程中,类别体系和信息模型体系的并行确立,避免类别体系和信息模型串行建立过程中相互调整造成的项目周期的不可控。
措施:数据类型包括——人员数据、部门数据、科目数据物资数据、设备数据、物资类别、设备类别等,这些数据的特点是模型单一,数据清洗较简单。具体操作为先查重再完善方式,即为先查找重复项,然后进行数据信息的自动和手段完善。查重的方式是根据相似度进行模糊匹配和完全匹配等,信息完善是通过系统自动和手动进行的。
排重分中国中铁为三个部分,排重规则,排重结果,排重详情。任务:分为单独、合并两种模式。编码:分为单独、合并两种模式。追加映射:选中未清洗数据,选择一条已经清洗的数据作为主任务单,将未清洗数据追加到已经清洗的数据上。
至此天脊煤化工集团在数据治理方面取得了以下成果:
1.建立全集团各类数据模型,数据清洗21万条。
2.部署了数据治理管控系统。
3.制定了《数据编码手册》,《数据管理制度手册》,《数据管理流程手册》,数据治理效果明显