达梦数据库企业应用整合系统

　一、 背景介绍

　　随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系统，但是随着IT系统的增加，各自孤立工作的IT系统将会造成大量的冗余数据和业务人员的重复劳动，而采用传统点对点的数据整合方式将使得系统的集成费用和维护成本成倍增加。各自分离运行的IT系统造成的结果是：

　　·产生大量的冗余数据。

　　工作人员在不同的应用系统，重复录入相同的数据，不仅增加了业务人员的工作量。还有可能因为不同业务系统数据的不一致，产生歧义。

　　·无法为领导的提取有效的决策信息

　　决策信息的来源往往是从多个应用系统数据中综合提炼出来的，而目前这些数据保存在各自独立的业务数据库中，很难合并。目前的应对方法是对各下级单位送上来的报表进行手工并表，处理繁琐，并且容易出错。

　　信息整合，在近两年成为企业信息化建设的热点，应该说信息整合是企业对信息系统建设的一个总结。从信息整合的驱动力来说，是为了解决企业内的"蜘蛛网"、"信息孤岛"等问题而产生的。通过建设信息整合系统，有效地在各个信息系统之间架起了数据整合的平台。为企业工作疏通了脉络，提高了信息系统的整合能力。

　　达梦公司的企业应用整合方案是建立在数据整合基础上的应用整合方案。主要使用的技术包括异构数据库的数据抽取、数据同步。达梦企业应用整合产品即可以单独应用于企业应用整合，又可以与作为数据仓库的前端数据收集，与达梦智能报表系统、达梦辅助决策系统等联机分析处理系统构成一整套的企业数据仓库解决方案。

　　二、平台实现总体框架

　　系统主要是利用数据整合工具，构建数据整合平台。方案中包括如下部分：

　　·底层支撑平台，包括网络建设、硬件设备、操作系统是系统运行的基础。

　　·原业务系统数据库，是数据整合的数据来源。

　　·数据整合平台，是使用DM数据整合产品构建的多系统间数据整合的通道。

　　·通过数据整合平台，业务数据可以汇总整合到企业的中心数据库上。

　　·在数据整合平台的基础上，可以实现领导辅助决策、智能报表工具、查询和统计分析

　三、达梦数据整合产品介绍

　　数据整合产品使用武汉达梦数据库有限公司的数据整合产品，DMEDI 1.0。

　　DMEDI是达梦数据仓库产品的一部分，即可以单独应用于数据整合，又可以与作为数据仓库的前端数据收集，与达梦智能报表系统、达梦辅助决策系统等联机分析处理系统构成一整套的数据仓库解决方案。

　　DMEDI的技术架构如下：

　　1、数据采集、装载和加工

　　数据采集、装载和加工完成数据抽取的主要功能，包括数据采集、文本数据导入导出、数据类型转换、数据过滤、数据规整等数据加工工序。

　　由于数据源的多样性，数据传输条件等不确定性以及用户对最终统计数据的选择性等因素，使得数据采集、装载和加工在处理上需要考虑数据采集过程中对不同业务数据不同的数据加工处理要求。达梦ETL工具中，将这些数据加工处理模块设计为具有统一接口的处理组件，组件和组件间是松耦合的关系，可以根据需要，任意组装这些数据加工处理组件。

　　2、数据过滤

　　在数据整合时，系统提供对源数据的字段、元组的过滤，保护业务系统的私密数据。

　　3、数据规整

　　系统可以将不同的业务数据库数据字段，按照数据整合平台定义的标准元数据类型进行规整。

　 4、数据存储和缓冲

　　达梦ETL处理过程中，可以将数据暂时保存在ETL内嵌的达梦数据库中，待需要的时候再取出处理。利用达梦数据库缓存中间数据，提供了更好的稳定性。

　　5、消息传输组件

　　在达梦ETL工具中，可以选择由达梦ETL工具的信息交换组件负责整个数据整合工作的消息传输。也可以选择第三方的消息中间件，也可以不使用消息组件，直接使用ETL工具通过JDBC来访问数据库。

　　6、安全管理

　　安全管理功能包括：身份验证、权限管理、数据加密。

　　首先，采用DMEDI数据整合工具，客户端与数据库服务器之间支持采用第三方的通信加密算法，对通信内容进行加密，保证通信安全。

　　其次，在交互平台内部，对每个数据节点进入的请求都有身份验证处理，对于不同的身份，设置了不同的执行权限，对于普通交易和非特权用户，不允许直接访问业务数据库和综合查询库，相当于在原有数据库安全管理之外，提供了新的数据防火墙。

　　最后，由于交换平台和前置机系统有效地将中心服务器上的应用程序和业务服务器上运行的业务系统相隔离，二者有互相独立的身份验证和权限管理，数据整合必须通过数据整合平台标准的数据整合接口进行安全认证和数据过滤，杜绝了保密信息泄露的可能。