麻風(fēng)梅

摘要:為實(shí)現(xiàn)企業(yè)異構(gòu)數(shù)據(jù)庫間信息的共享和集成,對(duì)數(shù)據(jù)集成的原理以及主要技術(shù)進(jìn)行了研究。重點(diǎn)分析了XML與關(guān)系數(shù)據(jù)庫之間的映射,提出了一種以XML作為中間件的異構(gòu)數(shù)據(jù)庫集成和轉(zhuǎn)化方案,并對(duì)其中的主要環(huán)節(jié)給出了具體實(shí)現(xiàn)。該方案實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)庫的透明訪問和聯(lián)合查詢,為企業(yè)信息系統(tǒng)集成提供了一種技術(shù)方法。

關(guān)鍵詞:異構(gòu)數(shù)據(jù)庫;XML;中間件;企業(yè);信息集成技術(shù)

中圖分類號(hào):TP311文獻(xiàn)標(biāo)志碼:A文章編號(hào):1673-291X(2009)23-0022-02

人類在21世紀(jì)的可持續(xù)發(fā)展從戰(zhàn)略意義上看,將會(huì)越來越依賴于社會(huì)的整體科技創(chuàng)新能力和由此派生而出的知識(shí)經(jīng)濟(jì),而以信息技術(shù)為特征的全球網(wǎng)絡(luò)化及Internet的逐漸普及的影響也毫無例外地沖擊著產(chǎn)品制造工業(yè)。所以,建立一套適合我國(guó)國(guó)情,支持產(chǎn)品開發(fā)與生產(chǎn)全過程的現(xiàn)代設(shè)計(jì)方法與系統(tǒng),有效地組織多學(xué)科的產(chǎn)品開發(fā)隊(duì)伍,充分利用各種計(jì)算機(jī)輔助工具,綜合應(yīng)用現(xiàn)代先進(jìn)的設(shè)計(jì)方法,有效地考慮產(chǎn)品開發(fā)與生產(chǎn)的全過程,從而縮短產(chǎn)品開發(fā)周期,降低成本,提高質(zhì)量,快速響應(yīng)用戶需求,這導(dǎo)致了:

從制造產(chǎn)品所需的企業(yè)管理與組織結(jié)構(gòu)方面看,具備全球化、并行化與敏捷化特征的企業(yè)集成技術(shù)將成為新一代企業(yè)生存的決定性因素。

本文針對(duì)現(xiàn)代企業(yè)信息化的需求,提出了建立基于XML的企業(yè)信息集成框架的基本思路,闡述了XML技術(shù)在現(xiàn)代企業(yè)信息交互中的作用,并對(duì)XML與指定格式文本的轉(zhuǎn)化方法進(jìn)行了研究。

1體系結(jié)構(gòu)

在大型企業(yè)中,由于生產(chǎn)自動(dòng)化進(jìn)程的階段性,一般都存在基于多種數(shù)據(jù)庫管理系統(tǒng)(DBMS)的應(yīng)用程序系統(tǒng),如基于Microsoft Access的底層生產(chǎn)過程控制系統(tǒng)、基于Oracle或者Sql Server的高層企業(yè)資源計(jì)劃系統(tǒng)(ERP)等等,這些系統(tǒng)的數(shù)據(jù)庫一般都只在本系統(tǒng)內(nèi)部存取,而不能被其他系統(tǒng)訪問。這種狀況導(dǎo)致企業(yè)不同層次信息孤島的出現(xiàn),嚴(yán)重影響信息傳遞的實(shí)時(shí)性、加大信息維護(hù)的成本。

XML企業(yè)信息集成系統(tǒng)構(gòu)建在數(shù)據(jù)庫系統(tǒng)之上,目的是集成異構(gòu)數(shù)據(jù)源信息,為數(shù)據(jù)共享、發(fā)布和應(yīng)用提供支持,并負(fù)責(zé)XML向其他格式文本的轉(zhuǎn)換。

本系統(tǒng)采用客戶/服務(wù)器三層架構(gòu),如圖1所示。各個(gè)異構(gòu)數(shù)據(jù)庫資源構(gòu)成了系統(tǒng)數(shù)據(jù)層;本系統(tǒng)完成的主要任務(wù),即異構(gòu)數(shù)據(jù)集成和查詢的功能被封裝構(gòu)成業(yè)務(wù)層,并使用XSL將XML轉(zhuǎn)換成指定格式的文本;用戶的應(yīng)用構(gòu)成系統(tǒng)的表示層。

2異構(gòu)數(shù)據(jù)源集成方法

對(duì)于異構(gòu)數(shù)據(jù)庫集成,目前主要研究和采用的技術(shù)有以下三種:

2.1 數(shù)據(jù)庫遷移和轉(zhuǎn)換

將原有的數(shù)據(jù)遷移到新的數(shù)據(jù)管理系統(tǒng)中來,為了集成不同類型的數(shù)據(jù),必須將一些非傳統(tǒng)的數(shù)據(jù)類型轉(zhuǎn)化成新的數(shù)據(jù)類型。利用數(shù)據(jù)轉(zhuǎn)化程序,對(duì)數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換,從而能被其它的DBMS接收。這種方法處理簡(jiǎn)單經(jīng)濟(jì),運(yùn)行時(shí)效率高,已為大多數(shù)用戶理解和接受。它適合于對(duì)數(shù)據(jù)的實(shí)時(shí)性要求不高的場(chǎng)合。

2.2 多數(shù)據(jù)庫系統(tǒng)

它是一種能夠接受和容納多個(gè)異構(gòu)數(shù)據(jù)庫的系統(tǒng),對(duì)外呈現(xiàn)出一種集成結(jié)構(gòu),而對(duì)內(nèi)又允許各個(gè)異構(gòu)數(shù)據(jù)庫的“自治性”。多數(shù)據(jù)庫系統(tǒng)一般分為兩類:

有全局統(tǒng)一模式的多數(shù)據(jù)庫系統(tǒng),每個(gè)參與集成的數(shù)據(jù)庫有自己的局部概念模式,用戶可以通過建立在局部概念模式上的局部外模式訪問本地庫。在所有局部概念模式的基礎(chǔ)上建立了全局概念模式,用戶通過建立在全局概念模式上的全局外模式訪問集成系統(tǒng)中的其他數(shù)據(jù)庫。

聯(lián)邦式數(shù)據(jù)庫系統(tǒng),各個(gè)異構(gòu)的局部數(shù)據(jù)庫之間僅存在著松散的聯(lián)邦式耦合關(guān)系,沒有全局統(tǒng)一模式,各局部數(shù)據(jù)庫通過定義輸入、輸出模式進(jìn)行彼此之間的數(shù)據(jù)訪問。各局部數(shù)據(jù)庫能對(duì)自己的完整性和安全性等進(jìn)行控制。

2.3 XML中間件技術(shù)

目前,網(wǎng)上有很多信息格式是半結(jié)構(gòu)化或非結(jié)構(gòu)化的,其來源極端異構(gòu)。利用XML作為中間件對(duì)這些信息進(jìn)行元數(shù)據(jù)搜索,提供一個(gè)統(tǒng)一界面的檢索系統(tǒng)是一個(gè)較好的應(yīng)用方案。XML(Extensible Markup Language,可擴(kuò)展標(biāo)記語言)是由W3C(World Wide Web Consortium)組織于1998年2月制定的一種通用語言規(guī)范,它是專門為Web應(yīng)用程序而設(shè)計(jì)的SGML的簡(jiǎn)化子集。XML的好處是數(shù)據(jù)的可交換性(portable),同時(shí)在數(shù)據(jù)應(yīng)用方面還具有如下優(yōu)點(diǎn):(1)XML文件為純文本文件,不受操作系統(tǒng)、軟件平臺(tái)的限制;(2)XML具有基于Schema自描述語義的功能,容易描述數(shù)據(jù)的語義,這種描述能為計(jì)算機(jī)理解和自動(dòng)處理;(3)XML不僅可以描述結(jié)構(gòu)化數(shù)據(jù),還可有效描述半結(jié)構(gòu)化,甚至非結(jié)構(gòu)化數(shù)據(jù)。

中間件(Middleware)是位于異構(gòu)數(shù)據(jù)庫系統(tǒng)(數(shù)據(jù)層)和應(yīng)用程序(應(yīng)用層)之間,向下協(xié)調(diào)各數(shù)據(jù)庫系統(tǒng),向上為訪問集成數(shù)據(jù)的應(yīng)用提供統(tǒng)一數(shù)據(jù)模式和數(shù)據(jù)訪問的通用接口,是異構(gòu)系統(tǒng)集成所需的粘接劑。功能完善的數(shù)據(jù)庫中間件,可以對(duì)用戶屏蔽數(shù)據(jù)的分布地點(diǎn)、DBMS平臺(tái)、SQL方言/擴(kuò)展、特殊本地API等差異。解決了異構(gòu)數(shù)據(jù)庫的互操作性問題。與第一種方法相比,它也解決了同步問題,而且利用中間件集成異構(gòu)數(shù)據(jù)庫,并不需要改變?cè)紨?shù)據(jù)的存儲(chǔ)和管理方式。各數(shù)據(jù)庫的應(yīng)用仍然完成他們的任務(wù),中間件系統(tǒng)則主要集中為異構(gòu)數(shù)據(jù)源提供一個(gè)高層次檢索服務(wù)。顯然,中間件系統(tǒng)模式是實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成較理想的解決方案。

3異構(gòu)數(shù)據(jù)庫的中間件的設(shè)計(jì)方法

本文設(shè)計(jì)了三層的結(jié)構(gòu),分別實(shí)現(xiàn)與源數(shù)據(jù)庫、中間數(shù)據(jù)庫(XML文檔)、目的數(shù)據(jù)庫的連接,并實(shí)現(xiàn)數(shù)據(jù)在這三個(gè)數(shù)據(jù)源中的轉(zhuǎn)換及傳輸,同時(shí)屏蔽掉各層次的異構(gòu)特性,只需要通過簡(jiǎn)便的操作就能進(jìn)行數(shù)據(jù)轉(zhuǎn)換和結(jié)果匯總。

3.1 異構(gòu)數(shù)據(jù)庫間數(shù)據(jù)的傳送中間件的結(jié)構(gòu)

該中間件主要涉及三個(gè)部分:源數(shù)據(jù)庫、實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的中間數(shù)據(jù)庫、目的數(shù)據(jù)庫。我們就把中間件分為三層:源數(shù)據(jù)控制層、中間數(shù)據(jù)層和目的數(shù)據(jù)控制層。

(1)源數(shù)據(jù)控制層

它負(fù)責(zé)建立與源數(shù)據(jù)庫的連接,從源數(shù)據(jù)庫中讀出源數(shù)據(jù)表的描述信息、表的列名、列的數(shù)目、各列的數(shù)據(jù)類型、列的長(zhǎng)度等。

(2)中間數(shù)據(jù)層

它讀取源數(shù)據(jù)庫與中間數(shù)據(jù)庫的數(shù)據(jù)類型映射表,確定源數(shù)據(jù)在中間數(shù)據(jù)庫中的數(shù)據(jù)類型,建立中間數(shù)據(jù)文檔的Schema (描述引用它的XML文件中的元素和屬性的結(jié)構(gòu)和類型)。從源數(shù)據(jù)庫表中讀出數(shù)據(jù),根據(jù)中間數(shù)據(jù)文檔的Schema,將源數(shù)據(jù)轉(zhuǎn)換為中間數(shù)據(jù)格式并存儲(chǔ)在中間數(shù)據(jù)文件中。

(3)目的數(shù)據(jù)控制層

它負(fù)責(zé)建立與中間數(shù)據(jù)的連接,根據(jù)目的數(shù)據(jù)庫與中間數(shù)據(jù)的數(shù)據(jù)類型映射表確立中間數(shù)據(jù)在目的數(shù)據(jù)庫中的數(shù)據(jù)類型;確定對(duì)中間數(shù)據(jù)的操作方式(插入、刪除等),建立與目的數(shù)據(jù)庫的連接。根據(jù)對(duì)中間數(shù)據(jù)的處理方案和中間數(shù)據(jù)所對(duì)應(yīng)的目的數(shù)據(jù)類型,將中間數(shù)據(jù)傳送到目的數(shù)據(jù)庫表中。

3.2 XML在設(shè)計(jì)中的應(yīng)用

在這個(gè)階段的任務(wù)是建立XML文檔的Schema文件和向XML文檔中寫數(shù)據(jù)。Schema文件和XML文檔都要根據(jù)源數(shù)據(jù)的字段個(gè)數(shù)和各字段的數(shù)據(jù)類型在程序中生成。本文用XML Schema來定義XML文檔,采用基于樹的解析(DOM)器和基于事件的解析器(SAX)相結(jié)合使用的方法來進(jìn)行對(duì)XML文檔的操作。利用DOM的簡(jiǎn)易性來建立XML文檔,并向其中添加數(shù)據(jù),以實(shí)現(xiàn)由源數(shù)據(jù)庫向中間數(shù)據(jù)庫一XML文檔中寫數(shù)據(jù)。利用SAX基于事件的解析器的邊解析邊處理的高效率來讀取XML文檔中的數(shù)據(jù),實(shí)現(xiàn)從XML文檔向目的數(shù)據(jù)庫傳送數(shù)據(jù)。

利用XML作為企業(yè)信息系統(tǒng)信息源集成的中介, 既保持了各數(shù)據(jù)庫相對(duì)獨(dú)立性和安全性, 提高數(shù)據(jù)保存和分析處理的能力,又使企業(yè)系統(tǒng)中的各種信息實(shí)現(xiàn)了集成,代表了企業(yè)信息集成技術(shù)發(fā)展的方向。

4結(jié)束語

利用XML作為中間轉(zhuǎn)換中介可以實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫的集成,在將各異構(gòu)數(shù)據(jù)源轉(zhuǎn)換為統(tǒng)一的XML格式后,利用XSL實(shí)現(xiàn)對(duì)全部數(shù)據(jù)的格式轉(zhuǎn)換,以滿足用戶的不同需求。從而有效地避免了異構(gòu)數(shù)據(jù)對(duì)我們?cè)L問的影響,這在各大企業(yè)和科研部門中都有很重要的作用和現(xiàn)實(shí)意義。

參考文獻(xiàn):

[1]鐵猛.企業(yè)信息管理集成技術(shù)研究[D].碩士學(xué)位論文.長(zhǎng)春理工大學(xué).2005.

[2]謝鴻強(qiáng),董逸生.異構(gòu)數(shù)據(jù)源的集成技術(shù)[J].工業(yè)控制計(jì)算機(jī),2001,(6):1-6.

[3]王彥新,楊奎河.基于XML的異構(gòu)數(shù)據(jù)庫集成方法研究與實(shí)現(xiàn)[J].福建電腦,2006,(4):90-91.

[4]胡松濤.基于XMl的異構(gòu)數(shù)據(jù)集成研究[D].碩士學(xué)位論文.哈爾濱工程大學(xué),2005.

[5]Youngju Son,Hasan Jamil,Farshad Fotouhi. Exploiting Types for Improved Schema Mapping. ACM.2007