面向中小企业智能数据处理工具

方面缓解了信息人才缺乏的问题。应用系统部分的功能结构图见图一，设计部分功能结构图见图二。系统中最重要的是“描述层”的设计。

在一般的商业用户访问数据时，他们最担心的往往是复杂的数据库术语和繁复的数据库操作。如何才能赋予这些商业用户自主访问数据库和数据仓库中信息的能力，使他们可以把那些数据库术语和操作抛之脑后呢？我们在此使用了一种称为“描述层”的技术来解决这个问题。在使用了“描述层”技术后，不但解决了一般商业用户担心的问题，而且同时也提供了IS人员控制和管理数据访问所必须的工具。这一技术把复杂的数据库结构描述成易于理解的业务术语，把商业用户同技术性的数据库术语以及复杂的SQL访问语言分离开来。它就像一个透镜，用户可以通过它来看数据仓库。这样最终用户无须具备计算机专业知识，更不必是数据库方面的专家，就能够自主地访问公共数据，分析信息，从而更好地理解企业发展的趋势，作出明智的决策。

“描述层”可以被称为一个覆盖在数据库内部数据对象之上的一个解释层，是用户和数据库之间的一个代码翻译层，也就是将数据库中比较凌乱、复杂的数据对象（例如：存储在数据表中的各个字段的记录）通过预先定义好的规则（“描述层”）过滤转换成实际使用的业务对象，例如：人员姓名、物资类型等等。同时，“描述层”的功能不仅仅在于过滤和映射，还可以对数据通过预先定义好的规则进行重组，例如在数据库中没有的高层数据（比如：通过价格和销售量在本地提取销售额），所以我们可以通过“描述层”给数据库增加一些不存在而又有实际意义的内容。另外，我们还可以利用“描述层”来增加数据库中数据所包含的信息量（比如：建立某一字段的分类规则，使数据库中的记录可以分属于不同的类别，具体的例子是，按销售业绩多少分为优、良、中、差，用户就可以直接用诸如 “销售业绩=优”之类的条件进行查询；类似的还有分层规则等其它许多规则）。最后，我们还可以在“描述层”中加入一些预定义的条件，在以后的查询或分析时，就可以直接从“描述层”中提取条件。使用“描述层”重组数据的实际意义在于：数据库内大量珍贵的数据资源不再是只有数据库开发人员才能理解的“天书”，通过“描述层”的解释和组织，大多数不具备计算机专业知识的业务人员，可以直接使用这些数据。

在这个部分，主要的工作就是两点，即“描述层”的定义与解释。在“描述层”的定义部分，要进行各种不同类型的定义，具体来说就是上一段提到的几种类型，然后将各个类型的定义作为元数据进行存储。在定义的过程中，必然要通过数据库连接工具来对数据库或数据仓库进行访问，再按照数据库的结构和内容来设计各个不同的“描述”。另外，在以后使用本系统的其它主体部分如查询、报表、分析和数据挖掘部分时，将用到“描述层”中定义的“描述”，这是就需要“描述层”的解释部分来进行解释，将“描述”语言翻译为数据库能够接受的语言。

本软件设计中的另一个重点是体现商业智能化的数据挖掘功能，随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中存储的数据量急剧增大，可是目前用于对这些数据进行分析处理的工具却很少。现在所能做到的只是对数据库中已有的数据进行由人驱动的分析，人们通过这些数据所获得的信息量仅仅是整个数据库所包含的信息量的一部分，隐藏在这些数据之后的更重要的信息是关于这些数据的整体特征的描述及对其发展趋势的预测，这些信息在决策生成的过程中具有重要的参考价值。

数据库中的知识发现（KDD）就是利用机器学习的方法从数据库中提取有价值知识的过程，是数据库技术和机器学习两个学科的交叉学科。数据库技术侧重于对数据存储处理的高效率方法的研究，而机器学习则侧重于设计新的方法从数据中提取知识。KDD利用数据库技术对数据进行前端处理，而利用机器学习方法则从处理后的数据中提取有用的知识。KDD与其他学科也有很强的联系，如统计学、数学和可视化技术等等。

在我们的系统中，将实现一个完整的KDD工具，也可以称为数据挖掘（Data Mining）工具。因为我们要面向广大商业用户，所以我们的系统特别注重对用户与数据库交互的支持，由用户根据数据库中的数据，选择一种模型，然后选择有关数据进行知识的挖掘，并不断对模型的数据进行调整优化。整个处理过程分为下面一些步骤：

数据发现：了解任务所涉及的原始数据的数据结构及数据所代表的意义，并从数据库中提取相关数据。

数据清理：对用户的数据进行清理以使其适于后续的数据处理。