达梦数据库企业应用整合系统
时间：11-30
来源：达梦数据库
点击：
四、系统功能特性
1、跨操作系统平台的数据整合
DM数据整合平台客户端用JAVA语言编写，核心通信用C语言编写。基于标准的JDBC接口和SQL92语法标准，与操作系统平台无关。
2、支持异构数据源的数据整合
DM数据整合平台预备了多套JDBC适配器，可以通过不同的JDBC适配器与其他数据库相关联。
3、支持异构数据类型的自动转换
因为DM数据库在标准性和通用性上，相对其他数据库有较好的表现。数据整合平台以DM数据库标准数据类型作为系统的元数据类型。在读取其他数据源的数据类型时，自动转换成DM数据类型。
4、数据规整规则与实现
(1)数据规整解决的问题
在数据整合的过程中，由于各业务系统的信息化经过长期的积累和发展,数据格式参差不齐，各自孤立运行的系统无法互相比对和参考，产生了数据数据规整的要求。主要表现为数据格式不一致，同一个含义的数据字段，在不同的系统中，它的格式不相同，举例来说，性别字段，在有的系统中是用1位整数来描述，0为男，1为女。有的系统中是用1位字符来描述，M为男，F为女。这样不同的字段格式和字段含义在数据整合的过程中必须转化为相同的格式。才能方便数据中心在统一的数据格式的基础上进行数据分析。
(2)数据规整的实现
数据规整被定义为系统内的一个数据加工组件，和其他数据加工组件一样，它运行定义一个数据加工规则和运行参数。举一个配置实例如下：
steps元素定义了数据整合的流程，在steps之间出现的step元素是用来定义数据加工组件的，service_name属性是用来定义数据加工组件的名字，DX_TransF这个名字就对应了数据规整组件，在数据整合流程执行到这个step的时候，会把parm属性的值交给数据加工组件去分析处理，在DX_TransF组件里会把这个parm按照字段名、字段类型、字段长度、字段精度来分解。然后将当前字段按照parm规定的字段属性来进行转换。完成的字段规整。
如果有多个字段需要进行规整，则多个字段间用"|"来分隔。
5、二义数据的清洗
(1)数据二义性错误
数据二义性错误，由于原业务系统都是分离运行的，因此相同的实体信息，在不同的系统其属性状态也许是不同的，数据整合的目的就是要消除这种错误的影响，唯一的实体，在全局系统内的状态都是一致的。
(2)消除二义数据
为了消除二义数据，需要在数据加工的流程中增加一个数据清洗组件。数据清洗组件制定一组关键属性，根据这组关键属性，在中心数据库中检查数据冲突和二义性问题。配置实例如下：
从这个配置的parm中， keycol1、keycol2都是关键属性的名称。数据在向中心汇总的时候，首先检查当前中心中是否存在有一条记录的关键属性与当前这条待插入的新纪录的属性值相同，如果存在，则是冲突数据，记录在冲突数据报表，可供管理员手工调整。或者按照预先制定的优先级别，自动调整冲突数据。
6、数据过滤规则与实现
在数据整合工具中，提供数据过滤的功能，提供对源数据的字段、元组的过滤，保护业务系统的私密数据。
为了过滤数据，可以在数据加工的流程中增加一个数据过滤组件。数据过滤组件制定一组过滤规则，根据这组规则，数据整合时进行过滤：
从这个配置的parm中， keycol1、keycol2都是关键属性的名称，parm就制定了一条交换数据的条件。在数据整合时，首先根据当前记录的值判断是否满足过滤条件，如果满足，则过滤该记录。
7、标准的数据总线
对于应用程序来说，数据整合平台提供了一条标准格式的通信线路，应用程序只需要按数据整合平台提供的标准接口填写通信包，而不需要知道每个消息包具体的物理地址、对方操作系统类型、对方数据库格式等等。数据整合平台将这些内部细节以XML文件的形式配置在交换平台服务器上，应用开发者不需要关心复杂的物理环境。
8、可靠的消息传递
DM数据整合平台消息传递的可靠性同时体现在消息的断点续传能力和消息的持久保存能力。
每一个通过数据整合平台发出的包，在收到成功回执之前，都会被数据整合平台以记录的形式保存在数据库表中，以确保消息不会丢失。也就是说每个通过数据整合平台转发的消息，一定能送达目的地。
9、可配置的计划调度
每个数据整合的行为，被分为3个动作，包括执行前、执行成功后、执行失败后。在计划调度模块，用户可以为每个动作自定义一组操作，当执行到这些动作时就触发用户定义的操作，以完成用户在数据整合前后所需要的特殊功能。
计划调度的流程在平台管理控制台上定义。
10、故障的自主检测和事后恢复
数据整合平台通过故障控制和检测管理模块定时向接入数据整合平台的数据源发送测试报文，如果测试报文连续发生丢失，则数据整合平台可以判断出该节点是否发生故障，能将该节点自动置为失效标志，并将所有发往该节点的数据操作记入恢复日志，当节点恢复运行后，将恢复日志的内容恢复到数据库节点上。
11、图形化的管理控制台
数据整合平台的图形化工具包括两个部分：
(1)服务器任务栏图标，可以反映服务器当前状态、启动服务、停止服务等功能。
(2)管理控制台：包括服务器状态监控、服务监控及组件设计器等三个主要功能部分;及其他辅助功能。
服务器状态监控，包含服务器的基本信息监控，如CPU、内存、网络状态等。
服务监控主要监控EAI基础服务的允许状态。
组件设计器可以通过图形化的方式，通过构件的拖拽实现组合件的构造。
1、跨操作系统平台的数据整合
DM数据整合平台客户端用JAVA语言编写，核心通信用C语言编写。基于标准的JDBC接口和SQL92语法标准，与操作系统平台无关。
2、支持异构数据源的数据整合
DM数据整合平台预备了多套JDBC适配器，可以通过不同的JDBC适配器与其他数据库相关联。
3、支持异构数据类型的自动转换
因为DM数据库在标准性和通用性上，相对其他数据库有较好的表现。数据整合平台以DM数据库标准数据类型作为系统的元数据类型。在读取其他数据源的数据类型时，自动转换成DM数据类型。
4、数据规整规则与实现
(1)数据规整解决的问题
在数据整合的过程中，由于各业务系统的信息化经过长期的积累和发展,数据格式参差不齐，各自孤立运行的系统无法互相比对和参考，产生了数据数据规整的要求。主要表现为数据格式不一致，同一个含义的数据字段，在不同的系统中，它的格式不相同，举例来说，性别字段，在有的系统中是用1位整数来描述，0为男，1为女。有的系统中是用1位字符来描述，M为男，F为女。这样不同的字段格式和字段含义在数据整合的过程中必须转化为相同的格式。才能方便数据中心在统一的数据格式的基础上进行数据分析。
(2)数据规整的实现
数据规整被定义为系统内的一个数据加工组件，和其他数据加工组件一样，它运行定义一个数据加工规则和运行参数。举一个配置实例如下：
| …… <steps> <step service_name="DX_TransF" parm="columnname:type:lenth:precision|…… "/> </steps> …… |
如果有多个字段需要进行规整，则多个字段间用"|"来分隔。
5、二义数据的清洗
(1)数据二义性错误
数据二义性错误，由于原业务系统都是分离运行的，因此相同的实体信息，在不同的系统其属性状态也许是不同的，数据整合的目的就是要消除这种错误的影响，唯一的实体，在全局系统内的状态都是一致的。
(2)消除二义数据
为了消除二义数据，需要在数据加工的流程中增加一个数据清洗组件。数据清洗组件制定一组关键属性，根据这组关键属性，在中心数据库中检查数据冲突和二义性问题。配置实例如下：
| …… <steps> <step service_name="DX_Clean" parm=" keycol1|keycol2|…… "/> </steps> …… |
6、数据过滤规则与实现
在数据整合工具中，提供数据过滤的功能，提供对源数据的字段、元组的过滤，保护业务系统的私密数据。
为了过滤数据，可以在数据加工的流程中增加一个数据过滤组件。数据过滤组件制定一组过滤规则，根据这组规则，数据整合时进行过滤：
| …… <steps> <step service_name="DX_Filter" parm=" keycol1>1000 AND keycol2<100 "/> </steps> …… |
7、标准的数据总线
对于应用程序来说，数据整合平台提供了一条标准格式的通信线路，应用程序只需要按数据整合平台提供的标准接口填写通信包，而不需要知道每个消息包具体的物理地址、对方操作系统类型、对方数据库格式等等。数据整合平台将这些内部细节以XML文件的形式配置在交换平台服务器上，应用开发者不需要关心复杂的物理环境。
8、可靠的消息传递
DM数据整合平台消息传递的可靠性同时体现在消息的断点续传能力和消息的持久保存能力。
每一个通过数据整合平台发出的包，在收到成功回执之前，都会被数据整合平台以记录的形式保存在数据库表中，以确保消息不会丢失。也就是说每个通过数据整合平台转发的消息，一定能送达目的地。
9、可配置的计划调度
每个数据整合的行为，被分为3个动作，包括执行前、执行成功后、执行失败后。在计划调度模块，用户可以为每个动作自定义一组操作，当执行到这些动作时就触发用户定义的操作，以完成用户在数据整合前后所需要的特殊功能。
计划调度的流程在平台管理控制台上定义。
10、故障的自主检测和事后恢复
数据整合平台通过故障控制和检测管理模块定时向接入数据整合平台的数据源发送测试报文，如果测试报文连续发生丢失，则数据整合平台可以判断出该节点是否发生故障，能将该节点自动置为失效标志，并将所有发往该节点的数据操作记入恢复日志，当节点恢复运行后，将恢复日志的内容恢复到数据库节点上。
11、图形化的管理控制台
数据整合平台的图形化工具包括两个部分：
(1)服务器任务栏图标，可以反映服务器当前状态、启动服务、停止服务等功能。
(2)管理控制台：包括服务器状态监控、服务监控及组件设计器等三个主要功能部分;及其他辅助功能。
服务器状态监控，包含服务器的基本信息监控，如CPU、内存、网络状态等。
服务监控主要监控EAI基础服务的允许状态。
组件设计器可以通过图形化的方式，通过构件的拖拽实现组合件的构造。
- SQL Server 2005还有多长路要走(04-28)
- 谁在引领关系数据库管理系统市场(04-25)
- Zack：MySQL比SQL Server更成功(04-29)
- “神秘力量”推动开源发展(05-01)
- MySQL副总裁:MySQL的存在空间在哪里?(05-01)
- 下一代SQL Server将于2008年发布(05-12)