新闻资讯

浅谈主数据集成交换过程与技术

时间:2018-09-12     来源: 三维天地     返回

主数据是企业运营中担当着关键角色的核心业务实体,它们是系统间的共享数据,分散地存在于企业的各业务系统中,也是企业内部能够跨业务、跨系统重复使用的高价值数据。当越来越多的企业采用大数据技术、云计算以及社交媒体来发现客户需求、拓展业务时,就需要从数据中萃取更大的业务价值。主数据管理(MDM)能够行之有效地提升企业的数据质量,进而优化品牌管理,拓展市场新渠道,打造企业核心竞争力。

在主数据项目建设过程中,当完成前期的体系规划、标准制定、初期数据清洗之后,就需要开展与各数据源系统、数据需求系统的集成工作,通过数据集成来实现主数据的一处录入、多处使用,保证主数据在所有相关应用系统中的一致性、唯一性和完整性。而在主数据管理的解决方案中,主要配合ETL、ESB服务总线技术(或Web Service点对点集成)来实现数据共享交换。

主数据集成交换主要包括两个方面,一个是数据的采集过程,另一个是数据的分发和数据服务能力的提供过程,下面通过这两个方面来谈一下主数据集成。

一、 数据采集

数据采集从时效角度可分为实时、非实时;从数据量角度可分为批量、增量;从类别角度可分成结构化数据、半结构化数据、非结构化数据。针对不同类型的主数据和集成场景,需根据其数据量级、集成时效要求采取不同的采集技术。如果采用的是集中化建设模式,即主数据本身就是在MDM系统中创建产生的,就不会有主数据的采集过程。下面通过两种最常见的集成场景来进行说明:

  1. 数据初始化的采集:由于初期数据量大,一般通过ETL技术来实现主数据的抽取、清洗、转换和加载。

琼琼琼琼群群群群.jpg

  2. 数据增量采集:在主数据管理系统正式上线后,由于主数据变动频率不高,一般通过注册到ESB总线的接口服务进行数据采集。MDM系统提供数据导入接口服务,数据源产生系统在有主数据变更的时候实时调用服务接口将数据导入到MDM系统,确保采集数据的实时性。

啧啧啧啧啧啧做做做做.jpg

二、  数据分发

在完成主数据的维护和审签流程后,主数据管理系统需要自动将审批过的主数据进行发布,并自动调用(也可手动发送)ESB总线或业务系统提供的数据接口服务,将主数据分发给需要使用的业务系统中,实现主数据一处修改全局共享。具体可分为两种情况:

1. 数据落地分发:采用消息发布订阅的模式进行分发,或者直接采用Web Service同步实时服务接口进行分发。

2. 数据不落地分发:MDM系统提供主数据实时查询服务接口。

目前使用较多的是数据落地分发。对于数据落地分发,如果订阅MDM的业务系统较多,需采用消息发布订阅模式进行主数据分发,若仍采用Web Service服务进行分发则需要MDM系统调用多次服务接口进行数据的分发操作,以方面对分发过程进行监控。

对于数据分发,如果存在批量数据的分发,比如人员或组织主数据出现批量变更。在这种场景下采用消息或Web Service分发都可能存在大数据下的性能问题。或者说一个数据分发涉及到更高的安全要求后跨网段集成,需要将分发的主数据导出为文件格式,通过文件将主数据分发给目标系统。

对于数据不落地情况下,MDM系统只需提供标准的数据查询服务接口即可,但要确保该接口服务本身在大并发调用下的性能问题。

企业在未来要应对更加严峻的经济形式,数据驱动转型是企业做大做强的必经之路。数据是企业战略支持和运营决策的宝贵资产,通过有效的主数据管理能够为企业的运营管理保驾护航