羅雅過(guò)

（西安文理學(xué)院陜西西安710065）

隨著數(shù)據(jù)庫(kù)技術(shù)和信息化的發(fā)展，數(shù)據(jù)成為互聯(lián)網(wǎng)壞境下的核心資源。企事業(yè)單位都紛紛開(kāi)始構(gòu)建自己的信息化業(yè)務(wù)系統(tǒng)，高校信息化建設(shè)更是信息化建設(shè)中的重點(diǎn)。高校中各個(gè)職能部門也都建立了自己的業(yè)務(wù)系統(tǒng)，如人力資源系統(tǒng)，教務(wù)系統(tǒng)，科研系統(tǒng)等，但各個(gè)系統(tǒng)之間相互獨(dú)立，數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一，因此數(shù)據(jù)不能達(dá)到很好的共享，各業(yè)務(wù)系統(tǒng)之間就遇到了數(shù)據(jù)交換的問(wèn)題。針對(duì)這一問(wèn)題，尋求解決異構(gòu)數(shù)據(jù)交換的問(wèn)題，通過(guò)對(duì)關(guān)系數(shù)據(jù)庫(kù)的分析，異構(gòu)數(shù)據(jù)交換技術(shù)的研究，來(lái)實(shí)現(xiàn)高校數(shù)據(jù)中心平臺(tái)的異構(gòu)數(shù)據(jù)交換。

1 數(shù)據(jù)交換支撐技術(shù)

1.1 中間件與數(shù)據(jù)交換

中間件（middleware）是客戶方與服務(wù)方之間的連接件，是位于平臺(tái)（硬件和操作系統(tǒng)）和應(yīng)用之間的通信服務(wù)，并獨(dú)立于硬件或數(shù)據(jù)庫(kù)廠商的一類基礎(chǔ)軟件，是一種需要進(jìn)行二次開(kāi)發(fā)的中間產(chǎn)品。其目的是為了更好解決分布異構(gòu)數(shù)據(jù)交換與集成問(wèn)題。

分布式應(yīng)用系統(tǒng)可以通過(guò)中間件技術(shù)實(shí)現(xiàn)不同技術(shù)之間的共享資源。在客戶機(jī)、服務(wù)器的操作系統(tǒng)之上有效管理數(shù)據(jù)資源和網(wǎng)絡(luò)通信。中間件的作用是為上層的應(yīng)用軟件提供運(yùn)行和開(kāi)發(fā)的環(huán)境，幫助用戶靈活、高效開(kāi)發(fā)和集成應(yīng)用軟件，提供硬件和操作系統(tǒng)之間的通用服務(wù)。

中間件的作用是使應(yīng)用軟件能夠平穩(wěn)的運(yùn)行于不同的硬件環(huán)境或操作系統(tǒng)之上，屏蔽網(wǎng)絡(luò)硬件平臺(tái)的差異性、操作系統(tǒng)的差異性以及網(wǎng)絡(luò)協(xié)議的差異性，在負(fù)載平衡、連接管理等方面應(yīng)用性得到了很大提升，滿足主要業(yè)務(wù)需求，提供針對(duì)不同的操作系統(tǒng)和硬件平臺(tái)、符合接口和協(xié)議規(guī)范的多種實(shí)現(xiàn)，能滿足大量用戶的需求。

1.2 異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換技術(shù)

異構(gòu)數(shù)據(jù)交換是指異構(gòu)數(shù)據(jù)庫(kù)中不同數(shù)據(jù)源之間的相互操作[3，5]。異構(gòu)主要體現(xiàn)在計(jì)算機(jī)體系結(jié)構(gòu)的異構(gòu)、操作系統(tǒng)的異構(gòu)和數(shù)據(jù)庫(kù)管理信息系統(tǒng)（DBMS）的異構(gòu)3個(gè)方面。隨著信息技術(shù)的快速發(fā)展，高校各個(gè)職能部門之間的聯(lián)系日趨緊密，不同業(yè)務(wù)系統(tǒng)之間的交流日益增多，在實(shí)際應(yīng)用中，經(jīng)常需要將一個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)應(yīng)用到另一個(gè)業(yè)務(wù)系統(tǒng)中，因此經(jīng)常需要不同業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交換。而可擴(kuò)展標(biāo)記語(yǔ)言（Extensible Markup Language，XML），用于標(biāo)記電子文件使其具有結(jié)構(gòu)性的標(biāo)記語(yǔ)言，可以用來(lái)標(biāo)記數(shù)據(jù)、定義數(shù)據(jù)類型，是一種允許用戶對(duì)自己的標(biāo)記語(yǔ)言進(jìn)行定義的源語(yǔ)言。XML主要進(jìn)行Web傳輸。XML提供統(tǒng)一的方法來(lái)描述和交換獨(dú)立于應(yīng)用程序或供應(yīng)商的結(jié)構(gòu)化數(shù)據(jù)。正是由于XML的格式簡(jiǎn)單、可擴(kuò)展性、可移植性以及自描述性等特點(diǎn)使其成為數(shù)據(jù)交換事實(shí)上的標(biāo)準(zhǔn)。通常情況下，基于XML的異構(gòu)數(shù)據(jù)交換系統(tǒng)通過(guò)XML提供一個(gè)通用的數(shù)據(jù)格式，在各個(gè)業(yè)務(wù)系統(tǒng)的異構(gòu)數(shù)據(jù)源中使用XML文檔作為交換的中間文件。

2 基于XML的異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換平臺(tái)模型

為了方便討論，以O(shè)racle與SQL Server、Access數(shù)據(jù)庫(kù)之間的數(shù)據(jù)交換為例進(jìn)行數(shù)據(jù)交換，主要的開(kāi)發(fā)環(huán)境為Asp.net?；赬ML的異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換平臺(tái)模型如圖1所示。

圖1 異構(gòu)數(shù)據(jù)交換模型Fig.1 Heterogeneous data exchange model

從圖1可以看出，整個(gè)異構(gòu)數(shù)據(jù)交換模型總體可以分3層。

客戶端層：用戶可以通過(guò)客戶端瀏覽器向服務(wù)器發(fā)送請(qǐng)求并返回結(jié)果，顯示給用戶。

中間應(yīng)用層:主要管理和控制整個(gè)系統(tǒng)的來(lái)自用戶的數(shù)據(jù)請(qǐng)求、響應(yīng)等處理工作。

數(shù)據(jù)庫(kù)層:由高校各個(gè)業(yè)務(wù)系統(tǒng)的不同關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)構(gòu)成，如，人力資源系統(tǒng)，科研系統(tǒng)，教務(wù)系統(tǒng)等，每一個(gè)系統(tǒng)中都有一個(gè)數(shù)據(jù)庫(kù)訪問(wèn)接口層，負(fù)責(zé)對(duì)數(shù)據(jù)庫(kù)中表數(shù)據(jù)的存取，同時(shí)為異構(gòu)系統(tǒng)提供交互的接口。

在三層交換模型中，最核心的就是對(duì)數(shù)據(jù)的交換處理這一模塊了，其中包括獲取用戶請(qǐng)求、連接源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)、提取相應(yīng)的數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)為XML文檔并在客戶端程序上將數(shù)據(jù)顯示出來(lái)。

2.1 XML與關(guān)系數(shù)據(jù)庫(kù)

XML文檔從物理結(jié)構(gòu)上來(lái)看，文檔是由多個(gè)實(shí)體單元組成，一個(gè)實(shí)體單元可以引用其他實(shí)體；從邏輯結(jié)構(gòu)來(lái)看，文檔由聲明語(yǔ)句、元素、屬性、處理指令、注釋和命名空間構(gòu)成。在XML中提供了許多數(shù)據(jù)庫(kù)[1]中所需要的部分：存儲(chǔ)（XML文檔），結(jié)構(gòu)（DTD，XML schema語(yǔ)言），查詢語(yǔ)言（XQL、XMLQL，QUILT等），編程接口（SAX，DOM）等，但還缺少在真實(shí)的數(shù)據(jù)庫(kù)中所必備內(nèi)容：有效的存儲(chǔ)、索引、安全、數(shù)據(jù)完備性、觸發(fā)等。在XML文檔中，所有的元素都必須有開(kāi)始標(biāo)記和結(jié)束標(biāo)記，并且文檔必須包含一個(gè)根元素。所以從本質(zhì)上講，XML是描述半結(jié)構(gòu)化數(shù)據(jù)最好的數(shù)據(jù)模型。關(guān)系數(shù)據(jù)庫(kù)模型一般由三層組成：數(shù)據(jù)庫(kù)、表（關(guān)系）和字段（列）。XML文檔可以表示任意層次的樹(shù)，在一定條件下，XML可以用來(lái)表示關(guān)系模式。

2.2 模式映射

在XML文檔和數(shù)據(jù)庫(kù)的轉(zhuǎn)換中，主要是XML與關(guān)系數(shù)據(jù)庫(kù)的映射[6]。XML文檔中主要涉及的是元素、子元素、屬性、處理指令、實(shí)體、實(shí)體引用、域名等概念；而在一個(gè)關(guān)系數(shù)據(jù)庫(kù)中，則會(huì)涉及到表、記錄、字段、關(guān)鍵字、外鍵、視圖、索引等概念。XML與關(guān)系數(shù)據(jù)庫(kù)之間的映射關(guān)系根據(jù)建立方式的不同，可以分為基于模板驅(qū)動(dòng)的轉(zhuǎn)換方式和基于模型驅(qū)動(dòng)的轉(zhuǎn)換方式。基于模板的映射方式是在一個(gè)XML文檔中嵌入帶參數(shù)的SQL命令。這些指令在轉(zhuǎn)換過(guò)程中被系統(tǒng)設(shè)別并執(zhí)行，生成目標(biāo)XML文檔，并用數(shù)據(jù)傳輸如中間件等實(shí)體軟件進(jìn)行處理。以XML文檔內(nèi)嵌的sql執(zhí)行生成的數(shù)據(jù)結(jié)果為依據(jù)，不涉及數(shù)據(jù)之間賴以存在的關(guān)系模式或?qū)ο竽Ｊ健?/p>

基于模型驅(qū)動(dòng)的映射，當(dāng)把數(shù)據(jù)從數(shù)據(jù)庫(kù)傳送到XML文檔或把數(shù)據(jù)從XML文檔傳送到數(shù)據(jù)庫(kù)時(shí)，不是依賴內(nèi)嵌的SQL命令，而是用一個(gè)很具體的模型來(lái)實(shí)現(xiàn)。具體是將一個(gè)XML文檔表示為由數(shù)據(jù)對(duì)象構(gòu)成的樹(shù)，每一個(gè)元素類型和對(duì)象相對(duì)應(yīng)，基于模型驅(qū)動(dòng)的映射是模式與模式之間的映射。目前，主流數(shù)據(jù)庫(kù)都支持XML技術(shù)，包括基于XML的異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換的模式映射和XML與關(guān)系數(shù)據(jù)庫(kù)之間的數(shù)據(jù)格式映射。但是在進(jìn)行實(shí)際的異構(gòu)數(shù)據(jù)交換時(shí)，還必須解決數(shù)據(jù)交換規(guī)則字典問(wèn)題[7]，用戶首先在客戶端根據(jù)交換的需要配置或設(shè)置相應(yīng)的交換規(guī)則，如果沒(méi)有所需要的規(guī)則可以先制定所需規(guī)則。規(guī)則制定后，系統(tǒng)中的規(guī)則解析模塊對(duì)所選中的規(guī)則進(jìn)行解析并分解，再通過(guò)數(shù)據(jù)的提取、數(shù)據(jù)的轉(zhuǎn)換與數(shù)據(jù)寫入等完成數(shù)據(jù)交換。

2.3 數(shù)據(jù)類型映射方式

在異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換平臺(tái)下，對(duì)于數(shù)據(jù)類型的約束處理尤為重要，不僅源數(shù)據(jù)庫(kù)和目的數(shù)據(jù)庫(kù)有著不同的數(shù)據(jù)類型及精度[8]，并且作為中間轉(zhuǎn)換的XML中，也定了一套豐富的內(nèi)建數(shù)據(jù)類型，異構(gòu)數(shù)據(jù)庫(kù)之間并沒(méi)有直接的類型映射，所以就要求源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)，以及XML內(nèi)置數(shù)據(jù)庫(kù)三者之間做好數(shù)據(jù)類型的映射。以mysql、SQLServer數(shù)據(jù)庫(kù)為例，項(xiàng)目中應(yīng)用的主要的類型對(duì)應(yīng)關(guān)系如表1相似類型映射表[2]。

表1 相似類型映射表Tab.1 A similar type of mapping table

從上面的類型映射表中可以看出，關(guān)系數(shù)據(jù)庫(kù)和xm l的類型映射是多對(duì)一或者一對(duì)一的關(guān)系，這樣就保證了關(guān)系數(shù)據(jù)庫(kù)中的每一個(gè)數(shù)據(jù)類型都能和xm l中的數(shù)據(jù)類型相對(duì)應(yīng)，保證了數(shù)據(jù)交換時(shí)的數(shù)據(jù)類型之間的映射，保證數(shù)據(jù)類型約束。

2.4 數(shù)據(jù)交換流程

利用XML文檔作為中間文件進(jìn)行異構(gòu)數(shù)據(jù)源間的信息交換[4]必須實(shí)現(xiàn)以下兩點(diǎn):將數(shù)據(jù)源中的記錄提取出來(lái)轉(zhuǎn)變?yōu)閄ML文檔；將已有的XML文檔解析后導(dǎo)入到數(shù)據(jù)源中。為了在數(shù)據(jù)源和XML文檔之間傳遞數(shù)據(jù)，必須將數(shù)據(jù)源結(jié)構(gòu)和XML文檔結(jié)構(gòu)相互轉(zhuǎn)化。轉(zhuǎn)換過(guò)程主要分為兩大部分：源數(shù)據(jù)庫(kù)到XML的轉(zhuǎn)換和XML到目標(biāo)數(shù)據(jù)庫(kù)的轉(zhuǎn)換。

第一、關(guān)系數(shù)據(jù)庫(kù)到XML文檔之間的轉(zhuǎn)換

1）連接源數(shù)據(jù)庫(kù)。

2）取源數(shù)據(jù)庫(kù)中數(shù)據(jù)庫(kù)表、字段、主外鍵關(guān)系等信息。

3）由用戶設(shè)置轉(zhuǎn)換規(guī)則，并生成相應(yīng)的交換規(guī)則字典文件rule.xm l。

4）根據(jù)字典文件rule.xml規(guī)則進(jìn)行數(shù)據(jù)庫(kù)到xml的轉(zhuǎn)換，并生成相應(yīng)的xm l DTD和xm l。

第二、XML文檔到關(guān)系數(shù)據(jù)庫(kù)中的轉(zhuǎn)換

1）連接目標(biāo)數(shù)據(jù)庫(kù)。

2）選擇在關(guān)系數(shù)據(jù)庫(kù)到xml文檔轉(zhuǎn)換階段生成的字典文件rule.xml。

3）根據(jù)rule.xml規(guī)則進(jìn)行xml文檔到關(guān)系數(shù)據(jù)庫(kù)的轉(zhuǎn)換。

4）使用相應(yīng)SQL語(yǔ)句將轉(zhuǎn)換結(jié)果寫入到目標(biāo)數(shù)據(jù)庫(kù)，完成XML到關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)轉(zhuǎn)換。

2.5 轉(zhuǎn)換規(guī)則的設(shè)計(jì)

1）數(shù)據(jù)庫(kù)表與表之間的關(guān)系控制著轉(zhuǎn)換時(shí)的映射范圍。將有聯(lián)系的表建立一個(gè)規(guī)則，獨(dú)立的表建立獨(dú)立的規(guī)則，這樣可以保證一個(gè)規(guī)則返回它對(duì)應(yīng)的數(shù)據(jù)集。

2）表結(jié)構(gòu)沖突的處理。

①字段名稱和順序不同。建立源表字段和目標(biāo)字段的意義映射，來(lái)解決順序問(wèn)題。

②字段個(gè)數(shù)不同。如果目標(biāo)數(shù)據(jù)庫(kù)中的表字段比源數(shù)據(jù)庫(kù)相應(yīng)的表字段多，則轉(zhuǎn)換時(shí)將源數(shù)據(jù)庫(kù)中表的相應(yīng)字段設(shè)置為空或者默認(rèn)值，反之，不做處理。

3）參考完整性約束。保證主子表在文件中的唯一存在。

4）表內(nèi)容合并。就是說(shuō)目的數(shù)據(jù)庫(kù)的表內(nèi)容需要源數(shù)據(jù)庫(kù)多個(gè)表的內(nèi)容合并才能得到。

圖2 表內(nèi)容合并圖例Fig.2 Table of contents with the legend

3 異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換平臺(tái)模型的應(yīng)用

以西安文理學(xué)院數(shù)據(jù)中心平臺(tái)為例，數(shù)據(jù)交換模式為，一個(gè)數(shù)據(jù)中心程序可對(duì)應(yīng)多個(gè)數(shù)據(jù)交換機(jī)，分別安裝在不同的服務(wù)器上，每個(gè)不同的交換機(jī)均可并行運(yùn)行，同時(shí)一個(gè)交換機(jī)可以負(fù)責(zé)多個(gè)交換任務(wù)及交換工作組。同時(shí)數(shù)據(jù)交換支持庫(kù)對(duì)庫(kù)模式，無(wú)需數(shù)據(jù)落地。

異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換的最關(guān)鍵的就是進(jìn)行普通交換配置。如圖3為普通交換配置界面。通過(guò)選擇一個(gè)源數(shù)據(jù)庫(kù)，可以在彈出窗口查詢選擇數(shù)據(jù)源的表或者視圖。也可以通過(guò)源SQL語(yǔ)句中寫SQL語(yǔ)句，可以自定義語(yǔ)句格式，包括表關(guān)聯(lián)，||連接符，to_number等函數(shù)都可以使用，如圖4為增加一個(gè)交換配置，完成、添加一個(gè)數(shù)據(jù)交換配置，進(jìn)行完成一個(gè)異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)轉(zhuǎn)換。

圖3 普通交換配置Fig.3 Ordinary exchange allocation

圖4 增加一個(gè)交換配置Fig.4 Add a exchange configuration

4 結(jié)束語(yǔ)

通過(guò)對(duì)異構(gòu)數(shù)據(jù)交換模型的研究，主要是通過(guò)轉(zhuǎn)換規(guī)則的設(shè)計(jì)，數(shù)據(jù)類型的映射方式，來(lái)實(shí)現(xiàn)源數(shù)據(jù)庫(kù)表與目的數(shù)據(jù)庫(kù)表中信息的轉(zhuǎn)換，轉(zhuǎn)換并不是直接的，而是通過(guò)XML的中間數(shù)據(jù)轉(zhuǎn)換，進(jìn)而實(shí)現(xiàn)源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的轉(zhuǎn)換。以西安文理學(xué)院數(shù)據(jù)平臺(tái)為例，用戶通過(guò)對(duì)交換配置的設(shè)置，如源數(shù)據(jù)庫(kù)表，目標(biāo)數(shù)據(jù)庫(kù)表等項(xiàng)目設(shè)置，就可以實(shí)現(xiàn)高校內(nèi)不同業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交換，解決了異構(gòu)數(shù)據(jù)的交換問(wèn)題，實(shí)現(xiàn)了高校數(shù)字資源的有效共享。

[1] 薩師煊，土珊.數(shù)據(jù)庫(kù)系統(tǒng)概論[M].2版.北京：高等教育出版社，2002.

[2] 陳施衛(wèi).基于XML的異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)交換的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2012.

[3] 關(guān)輝.異構(gòu)數(shù)據(jù)庫(kù)間數(shù)據(jù)安全交換技術(shù)研究[J].電腦知識(shí)與技術(shù)，2009（1）:152-156.GUAN Hui.Secure data exchange technology between heterogeneous databases research[J].Computer Knowledge and Technology，2009（1）:152-156.

[4] 趙莉，杜思鋒.數(shù)據(jù)交換平臺(tái)中異構(gòu)數(shù)據(jù)轉(zhuǎn)換技術(shù)的研究[J].電子設(shè)計(jì)工程，2011（3）:91-94.ZHAO Li，DU Si-feng.Research of heterogeneous data transformation in data exchange platform[J].Electronic Design Engineering，2011（3）:91-94.

[5] 王志平.基于XML的異質(zhì)多數(shù)據(jù)庫(kù)集成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].河南大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，37（5）:530-532.WANG Zhi-ping.Design and implementation of XML system based on Heterogeneous Database Integration[J].Journal of Henan University：Natural Science Edition，2007，37（5）:530-532.

[6] 洪欣.基于XDR模式的XML文檔與關(guān)系數(shù)據(jù)庫(kù)的映射技術(shù)研究[D].泉州:華僑大學(xué)，2004.

[7] 王坤.基于SVPWM的STATCOM設(shè)計(jì)及實(shí)現(xiàn)[J].陜西電力，2011（1）：11-15.WANG Kun.SVPWMbased design and realization of STATCOM[J].Shaanxi Electric Power，2011（1）：11-15.

[8] 肖笑.基于BCC算法的多機(jī)系統(tǒng)PSS參數(shù)優(yōu)化設(shè)計(jì)[J].陜西電力，2012（12）：51-54.XIAO Xiao.Optimal design of multii-machine power system stabilizer parameters based on bacterial colony chemotaxis algorithm[J].Shaanxi Electric Power，2012（12）：51-54.