质量数据:400-686-4199信息标准化:400-643-4668易标准、云LIMS:400-629-4066

专业分享 | 数据准备需要做什么?

2019-10-30

数据准备阶段的主要任务是根据制定的数据标准,完成企业现有全部主数据的采集和清洗,形成统一、规范的主数据版本,并导入到新系统中。主数据的准备是主数据管理系统实施阶段的重中之重,是企业实现数据治理目标、系统成功上线的必要保障。同时,数据准备也是一项耗时、复杂的工作,需要企业各个部门的共同参与。由于需要耗费大量的人力物力,因此必须提前做出周密的计划,做好协调管理工作,同时对准备的过程严加管控,以保证最终数据的质量。该阶段的主要内容包括数据准备方案的制订、数据采集、数据清洗和数据导入。

数据准备方案的定制

主数据的采集工作根据职能部门的实际情况进行分配,各部门同时进行,缩短准备时间。主数据的清洗工作则需要各个部门之间协作,才能发现主数据中隐藏的不一致现象,并进行有效处理。由于主数据的重要性,参加数据准备的人员应该熟悉业务、认真仔细,并具有高度负责的精神。

数据准备方案所提供的数据采集格式直接决定了数据质量,因此必须严格参照数据标准,由项目组和专家经过深入讨论,谨慎推敲,力求做到全面、准确、易懂、无歧义。对数据采集格式中的每一个关键字段都应有对应的填写说明,以指导采集人员的实际工作。

 

数据采集

在数据采集前,项目组应该进行相关数据管理知识、数据规划方案和数据采集工具的培训,说明关键字段的含义、系统使用原理和原系统数据的对应关系,这些均有利于提高准备数据的质量。培训的对象包括业务部门负责人、数据提供者、数据录入者和项目组成员。

在数据采集的工具方面,一种方法是利用业务系统的数据导出工具,通过人工的方式整理为标准的数据采集格式;另一种方法是由项目组开发或购买一套数据采集软件,这样可以在保证数据质量的前提下,提高工作效率,达到事半功倍的效果。

 

数据清洗

数据的清洗过程可能不止一次,必须视数据情况而定。数据初始来源基本是在各个业务部门,这部分初始数据的收集也由相关责任部门完成。在进行完第一轮收集的时候就可以进行一次部门内部的数据清洗,而后将来自不同部门的主数据整合,进行集中的数据清洗。这一过程需要来自各个部门的业务人员协作,也是矛盾冲突的高发期。经过集中的数据清洗,主数据已经基本形成了企业层面的统一视图,但是为了保证数据清洗工作的质量,还需要由数据小组进行数据的抽检,发现清洗过程中存在的问题并进行补救。

对于企业,主数据的数据规模已经远远超过了人工处理的承受范围,必须借助高效的数据清洗工具。数据清洗工具可以自行开发或者借助现有的工具,可以使用一种,也可以多种工具配合使用。无论如何选择,最终的效果必须覆盖数据清洗的内容范围,即同时解决数据的错误、重复、不完整等问题。

 

数据导入

数据导入是在上述阶段都完成后,将正式数据导入正式系统的过程。该阶段也是系统初始化的过程。前期的数据清洗工作已经将企业主数据转化为高质量的、标准的主数据形式,数据导入阶段的工作就是将这些数据平滑地转入新系统。数据导入工作的质量,不是决定系统成功上线的唯一因素,却是一个关键因素。只有做好了数据导入工作,才能顺利完成系统切换。

长期以来,三维天地作为业界领先的主数据管理系统解决方案供应商,不断致力于为各行各业的客户提供全方位高质量的主数据系统服务,真正做到从客户的实际需求出发,以先进的技术和定制化的服务赢得客户长久的信任和支持,使主数据管理得到更全面的推广,让更多的企业体会主数据管理的魅力,共创信息化管理新时代。