书城管理物流信息系统
3144000000009

第9章 现代物流信息系统技术基础(4)

数据库系统是整个管理信息系统的核心和基础,它的任务就是把系统中大量的数据按一定的模型组织起来,以便及时、准确地提供给用户。一个管理信息系统的各部分能否紧密地结合在一起以及如何结合,关键在数据库。因此,只有对数据库进行合理的逻辑设计和有效的物理设计,才能开发出完善而高效的管理信息系统。

以前微型计算机的硬件性能还比较弱,那时在微型计算机上使用的数据库管理软件功能也比较简单。随着微型计算机功能的日益强大,微型计算机上的数据库管理系统的功能也越来越强大。现在已经有了许多在微型计算机上可以用的数据库管理系统软件,其中有不少可以在Windows系统或其他图形用户界面的操作环境中使用,有的可以在多种操作系统环境里运行。一些数据库管理系统还提供用于开发应用信息系统的软件开发工具,这些工具的功能也日臻完善。常见的微型计算机数据库管理系统有Visual Foxpro、Microsoft Access等。目前较大型的在许多硬件平台和操作系统上都能用的数据库管理系统主要有Oracle、Informix和Sybase等,这些系统也大都提供了微型计算机上使用的版本。

不同的数据库系统有自己的特色。Oracle数据库产品线比较完整,从并发处理版本到支持移动计算版本,可以实现应用系统统一的体系结构。DB2数据库相对于Oracle数据库有较高的性能价格比,对数据挖掘的支持,有利于统计分析系统的开发。对于中小型用户,SQL Server比DB2与Oracle有最好的性能价格比。SQL Server与NT集成紧密,对熟悉NT的计算机管理人员来说易于管理与维护,降低项目实施的难度。通过选择其中一种数据库软件,可以实现对物流信息的共享、收集、检索、筛选、管理等功能。

2.3.2 数据仓库

广义的数据仓库是一种帮助企业作决策的系统化解决方案,它包括三个方面的内容:数据仓库技术(Data Warehouse,DW)、联机分析处理技术(On‐line Analysis Processing,OIAP)和数据挖掘技术(Data Mining,DM)20世纪90年代以后,计算机技术尤其是网络和数据库技术的发展逐渐满足了决策支持系统所需要的条件。另一方面,激烈的市场竞争使企业高层决策人员对决策支持系统的需求更为迫切。这两方面的共同作用促成了以数据仓库技术为核心、以联机分析处理技术和数据挖掘工具为手段建设决策支持系统的可行方案。

数据仓库、联机分析处理和数据挖掘作为信息处理技术是独立出现的。数据仓库用于数据的存储和组织,联机分析处理侧重于数据的分析,数据挖掘则致力于知识的自动发现。因此,这三种技术之间并没有内在的依赖关系,可以独立地应用到企业信息系统的建设之中,以提高信息系统相应的能力。但是,这三种技术之间也确实存在着一定的联系性和互补性,把它们有机地结合起来,就可以使它们的能力更充分地发挥出来。我们都知道,没有数据仓库也同样可以进行数据挖掘,但有了数据仓库却可以使数据挖掘更有效率。

1.数据仓库技术

数据仓库是一种只读的、用于分析的数据库,常常作为决策支持系统的底层。它从大量的事务型数据库中抽取数据,并将其清洗、转换为新的存储格式,即为了决策目标而把数据聚合在一种特殊的格式中。1993年,W.H.Inmon编写了一本具有里程碑意义的书Building the Data Warehouse。在这本书中,他对数据仓库的定义是:“一个面向主题的、集成的、随时间变化的非易失性数据的集合,用于支持管理层的决策过程”。其中,“主题”是指用户使用数据仓库辅助决策时所关心的重点问题,每一个主题对应一个客观分析领域,如销售、成本、利润的情况等。那么,所谓“面向主题(subject oriented)”就是指数据仓库中的信息是按主题组织的,按主题来提供信息。“集成的”是指数据仓库中的数据不是业务处理系统数据的简单拼凑与汇总,而是经过系统的加工整理,是相互一致的、具有代表性的数据。所谓“随时间变化”是指数据仓库中存储的是一个时间段的数据,所以主要用于进行时间趋势分析。一般数据仓库内的数据时限为5~10年,数据量也比较大。进入数据仓库的数据,一般来说变更很少,将被长期保留。

数据仓库组织和管理数据的方法与普通数据库不同,主要表现在以下三个方面:

①它依据决策要求,只从数据库中抽取那些需要的数据,并进行一定的处理;②数据仓库是多维的,即数据仓库的数据的组织方式有多层的行和列;③它支持决策处理,不同于普通的事务处理。

数据仓库需要以下数据库技术的支持:

(1)并行数据库技术

数据仓库中的数据量很大,一般要达到GB级,有的甚至要到TB级。对于处理如此大规模的数据,使用并行技术对提高运行效率是很有帮助的。

(2)高性能的数据库服务器

传统数据库的应用是操作型的,而数据仓库的应用是分析型的,它需要有高性能的数据库服务器配合工作,对DBMS核心的性能也有更高的要求。

(3)数据库互操作技术

数据仓库的数据来源多种多样,可能来自数据库,也可能来自文件系统。即使都来自数据库,这些数据库也往往是异构的。为了从这些异构数据源中定期抽取、转换和集成所需要的数据存入库中,异构数据源之间的互操作技术是必需的。

数据仓库技术在近几年蓬勃发展起来,不少厂商都推出了他们的数据仓库产品,同时也推出了一些分析工具。仅仅拥有数据仓库是不够的,在其上应用各种工具进行分析,才能使数据仓库真正发挥作用。联机分析处理和数据挖掘就是这样的分析工具。

2.联机分析处理技术

联机分析处理是针对特定问题的联机数据访问和分析,通过对信息进行快速、稳定、一致和交互式的存取,对数据进行多层次、多阶段的分析处理,以获得高度归纳的分析结果。联机分析处理是一种自上而下、不断深入的分析工具,在用户提出问题或假设之后,它负责提取出关于此问题的详细信息,并以一种比较直观的方式呈现给用户。联机分析处理技术的发展速度很快,在数据仓库的概念提出后不久,联机分析处理的理论及相应工具就被相继推出了。

联机分析处理要求按多维方式组织企业的数据,传统的关系数据库难以胜任。为此人们提出了多维数据库的概念。正是这一技术的发展使决策分析中的数据结构和分析方法相分离,才有可能研制出通用而灵活的分析工具,并使分析工具产品化。维是人们观察现实世界的角度,决策分析需要从不同的角度观察分析数据,以多维数据为核心的多维数据分析是决策的主要内容。多维数据库是以多维方式组织数据的。目前,联机分析处理的工具可分为两大类:一类是基于多维数据库的,另一类是基于关系数据库的。

两者的相同点是基本数据源仍是数据库和数据仓库,都是基于关系数据模型的,都向用户显示多维数据视图;不同点在于前者是把分析所需的数据从数据仓库中抽取出来,物理地组成多维数据库,而后者则是利用关系表来模拟多维数据,并不是物理地生成多维数据库。

3.数据挖掘技术

数据挖掘的基本思想是从数据中抽取有价值的信息,其目的是帮助决策者寻找数据潜在的关联,发现被忽略的要素,而这些信息对预测趋势和决策行为也许是十分有用的。

从数据库的角度看,数据挖掘就是这样一个过程:它是从数据库的数据中识别出有效的、新颖的、具有潜在效用的并最终可理解的信息(如规则、约束等)的非平凡过程。非平凡是一个数学概念,即数据挖掘既不是把数据全部抽取,也不是一点儿也不抽取,而是抽取出隐含的、未知的和可能有用的信息。

从决策支持的角度看,数据挖掘是一种决策支持的过程,主要基于人工智能、机器学习、统计学和数据库技术等多种技术,能高度自动地分析企业原有的数据,进行归纳推理,从中挖掘出潜在的模式,预测客户的行为,帮助企业的决策者调整市场策略,从而减少风险,辅助作出正确的决策。它是提高商业和科学决策过程中的质量和效率的一种新方法。

数据挖掘和联机分析处理都可以在数据仓库的基础上对数据进行分析,以辅助决策,它们之间是存在一定的差别的。从某种意义上来说,联机分析处理还是一种传统的决策支持方法,也就是在某个假设的前提下,通过数据查询和分析来验证或否定这个假设,所以联机分析处理是一种验证型的分析。一般来说验证型的分析有如下局限性:

①常常需要以假设为基础,而用户的假设能力有限,往往只能局限于对几种变量进行假设;②需要对用户的需求有全面而深入地了解,然而实际上有些时候用户的需求并不是确定的;③抽取信息的质量依赖于用户对结果的解释,容易导致错误。

可以看出,联机分析处理是由用户驱动的,很大程度上受到用户水平的限制。与联机分析处理不同,数据挖掘是数据驱动的,是一种真正的知识发现方法。使用数据挖掘工具,用户不必提出确切的要求,系统能够根据数据本身的规律性,自动地挖掘数据潜在的模式,或通过联想,建立新的业务模型,帮助决策者调整市场策略,并找到正确的决策。

这显然有利于发现未知的事实。从数据分析深度的角度来看,联机分析处理位于较浅的层次,而数据挖掘则处于较深的层次。所以,联机分析处理和数据挖掘的主要差别就在于是否能自动地进行数据分析。

近几年,越来越多的联机分析处理产品融入了数据挖掘的方法,所以联机分析处理与数据挖掘间的界限正在逐渐模糊。

数据仓库解决了数据不统一的问题,数据仓库自底层数据库收集大量事务级数据的同时,对数据进行集成、转换和综合,形成面向全局的数据视图,形成整个系统的数据基础。

带有普遍性的数据分析模型,用户可以使用不同的方法,从不同的角度对数据进行分析,实现了分析方法和数据结构的分离。

数据挖掘以数据仓库和多维数据库中的大量数据为基础,自动地发现数据中的潜在模式,并以这些模式为基础自动作出预测。数据挖掘反过来又可以为联机分析处理提供分析的模式。

正是由于数据仓库、联机分析处理和数据挖掘这三种技术的联系性和互补性,使它们从不同的角度为决策支持服务。

2.3.3 电子数据交换技术

1.EDI概述

(1)电子数据交换的定义

电子数据交换(Electronic Data Interchange,EDI)是计算机与计算机之间结构化的事务数据交换,它是通信技术、网络技术与计算机技术的结晶。将数据和信息规范化、标准化,在计算机应用系统间直接以电子方式进行数据交换。EDI是目前较为流行的商务、管理业务信息交换方式,它使业务数据自动传输与处理,从而大大提高了工作效率和效益。通俗地讲,EDI就是一类电子邮包,按一定规则进行加密和解密,并以特殊标准和形式进行传输。

国际标准化组织(ISO)将EDI描述成“将贸易(商业)或行政事务处理按照一个公认的标准变成结构化的事务处理或信息数据格式,从计算机到计算机的电子数据传输”。

而国际电信联盟远程通信标准化组(ITU‐T for ITU Telecommunication Staudardization Sector)将EDI定义为“从计算机到计算机之间的结构化的事务数据互换”。又由于使用EDI可以减少甚至消除贸易过程中的纸面文件,因此EDI又被人们通俗地称为“无纸贸易”。

EDI是信息进行交换和处理的网络化、智能化、自动化系统,是将远程通信、计算机及数据库三者有机结合在一个系统中,实现数据交换、数据资源共享的一种信息系统。

这个系统也可以作为物流管理信息系统和决策支持系统的重要组成部分。

EDI是一种计算机应用技术,商业伙伴们根据事先达成的协议,对经济信息按照一定的标准进行处理,并把这些格式化数据,通过计算机通信网络,在它们的计算机系统之间进行交换和自动处理。这是现代高科技和经济管理相结合的一个例子,它极大地改变了传统的贸易和管理手段,不仅使商业业务的操作方式根本改观,也影响了企业的行为和效率。对市场结构、国民经济的运行等都产生了根本性的变化。

EDI是一套报文通信工具,它利用计算机的数据处理与通信功能,将交易双方彼此往来的商业文档(如询价单、订货单等)转成标准格式,并通过通信网络传输给对方。

总之,EDI指的是:按照协议,对具有一定结构特征的标准经济信息,经过电子数据通信网,在商业贸易伙伴的计算机系统之间进行交换和自动处理的全过程。