李衛(wèi)峰

（江蘇技術(shù)師范學(xué)院圖書館，江蘇 常州 213001）

圖書館數(shù)字資源建設(shè)從建立書目數(shù)據(jù)庫開始，到自建數(shù)據(jù)庫、集團采購、自主購買數(shù)據(jù)庫資源等，已經(jīng)建立起龐大的數(shù)字資源。如何把眾多分散的數(shù)字資源整合起來，向用戶提供統(tǒng)一、全面、功能強大的資源環(huán)境和服務(wù)環(huán)境，使用戶能快速、準確地獲取所需的數(shù)字資源，對于數(shù)字圖書館的發(fā)展來說意義重大，數(shù)字圖書館異構(gòu)數(shù)據(jù)的集成研究主要也是解決這個問題。

1 數(shù)字圖書館數(shù)據(jù)的異構(gòu)性

數(shù)字圖書館是一個數(shù)字化的資源數(shù)據(jù)庫系統(tǒng)，它將分散于不同地理位置的信息資源以數(shù)字化的形式存儲，以網(wǎng)絡(luò)化的方式相互連接，提供及時利用，實現(xiàn)資源共享。在計算機網(wǎng)絡(luò)和數(shù)據(jù)庫技術(shù)的支持下，雖然理論上數(shù)字圖書館的資源可以被無障礙地共享，但各資源數(shù)據(jù)庫由于開發(fā)廠商不同，數(shù)字圖書館數(shù)據(jù)異構(gòu)現(xiàn)象非常嚴重。主要體現(xiàn)在：

1.1 數(shù)據(jù)庫的異構(gòu)性

①各數(shù)據(jù)庫使用不同的操作系統(tǒng)；

②使用不同的數(shù)據(jù)庫管理系統(tǒng)；

③存在于不同的物理位置，且硬件配置各不相同；

④采用的庫模型、數(shù)據(jù)檢索語義不同等。

1.2 元數(shù)據(jù)標準的異構(gòu)性

不同的應(yīng)用系統(tǒng)可能使用不同的元數(shù)據(jù)標準，如圖書館管理系統(tǒng)大多采用MARC元數(shù)據(jù)標準，而自建數(shù)據(jù)庫可能各個數(shù)字圖書館根據(jù)各自情況采用的元數(shù)據(jù)標準都不同。

2 元數(shù)據(jù)的互操作

數(shù)字圖書館中的元數(shù)據(jù)存在著多種格式，不同的電子資源數(shù)據(jù)庫采用不同的元數(shù)據(jù)標準，數(shù)據(jù)集成系統(tǒng)就要對這些元數(shù)據(jù)進行統(tǒng)一轉(zhuǎn)換，轉(zhuǎn)換成一種元數(shù)據(jù)，從而解決元數(shù)據(jù)的異構(gòu)性。

通過分析轉(zhuǎn)換表元數(shù)據(jù)映射方案思想，建立了一個“多對一”的元數(shù)據(jù)映射方案，方案建立了一個統(tǒng)一的元數(shù)據(jù)標準，考慮DC元數(shù)據(jù)標準的優(yōu)點，建立的元數(shù)據(jù)參照DC元數(shù)據(jù)標準，其他元數(shù)據(jù)標準都將轉(zhuǎn)換成這一標準，其關(guān)系如圖1所示。

圖1 元數(shù)據(jù)映射方案

3 異構(gòu)數(shù)據(jù)主要集成方法[1-4]

從實現(xiàn)的體系結(jié)構(gòu)的角度出發(fā)，信息集成技術(shù)經(jīng)歷了以下幾個發(fā)展階段：

在盾構(gòu)完成穿越橋梁樁基后，對穿越高鐵影響范圍內(nèi)的管片，利用管片上的注漿孔自下而上進行二次注漿，漿液采取快速凝結(jié)的雙液漿，注漿壓力不大于0.4MPa，以確保管片壁后空隙填充飽滿。

3.1 聯(lián)邦數(shù)據(jù)庫

聯(lián)邦數(shù)據(jù)庫的體系結(jié)構(gòu)如圖2，數(shù)據(jù)源是獨立的，通過數(shù)據(jù)源之間的數(shù)據(jù)交換格式進行一一映射，一個數(shù)據(jù)源可以訪問任何其他數(shù)據(jù)源提供的信息。

這種系統(tǒng)開發(fā)時間太長，工作量大，擴展性差，實現(xiàn)代價較高。

圖2 聯(lián)邦數(shù)據(jù)庫體系結(jié)構(gòu)

3.2 Mediator中間器法

Mediator中間器法體系結(jié)構(gòu)如圖3所示。Mediator中間件系統(tǒng)是通過提供所有異構(gòu)數(shù)據(jù)源的虛擬視圖來集成它們，這里的數(shù)據(jù)源可以是數(shù)據(jù)庫、遺留系統(tǒng)、WEB數(shù)據(jù)源等。該系統(tǒng)向下協(xié)調(diào)各數(shù)據(jù)源，向上為集成數(shù)據(jù)的應(yīng)用提供統(tǒng)一的數(shù)據(jù)模式和數(shù)據(jù)訪問的通用接口，為用戶提供一個統(tǒng)一的數(shù)據(jù)邏輯視圖。在這種體系結(jié)構(gòu)中，中間層根本不實際存儲數(shù)據(jù)，而是存儲數(shù)據(jù)的映射模式。

這種系統(tǒng)不需要重復(fù)存儲大量數(shù)據(jù)，并能保證查詢到最新的數(shù)據(jù)，比較適合于高度自治、集成數(shù)據(jù)多且更新變化快的異構(gòu)數(shù)據(jù)源集成。

圖3 M ediator中間器法體系結(jié)構(gòu)

3.3 數(shù)據(jù)倉庫

數(shù)據(jù)倉庫體系結(jié)構(gòu)如圖4，把來自多個數(shù)據(jù)源的數(shù)據(jù)副本，按照集中、統(tǒng)一的視圖要求進行預(yù)處理和轉(zhuǎn)換，形成統(tǒng)一的模式，存儲到數(shù)據(jù)倉庫中，用戶的查詢就是對數(shù)據(jù)倉庫中的數(shù)據(jù)進行查詢。

圖4 數(shù)據(jù)庫體系結(jié)構(gòu)

這種系統(tǒng)的優(yōu)點是建立系統(tǒng)的過程比較簡單。缺點是數(shù)據(jù)重復(fù)存儲、及時更新困難的問題，數(shù)據(jù)更新的效率將影響系統(tǒng)的可用性，同時單個數(shù)據(jù)源的擴展和維護會涉及到整個系統(tǒng)。

3.4 異構(gòu)數(shù)據(jù)集成模型分析比較

首先，聯(lián)邦數(shù)據(jù)庫和Mediator/Wrapper相比較：

①在Mediator/Wrapper系統(tǒng)中數(shù)據(jù)源添加和刪除都比較容易，聯(lián)邦數(shù)據(jù)庫所有數(shù)據(jù)源都要添加彼此訪問的接口，所以需要編寫大量接口程序，開發(fā)難度高，而且不易擴展。

②Mediator/Wrapper的數(shù)據(jù)源不必是數(shù)據(jù)庫，也可以是各種結(jié)構(gòu)化、半結(jié)構(gòu)化、無結(jié)構(gòu)的XML數(shù)據(jù)等。而聯(lián)邦數(shù)據(jù)庫方式只支持數(shù)據(jù)庫數(shù)據(jù)源的集成。

其次，Mediator/Wrapper和數(shù)據(jù)倉庫相比較：

①Mediator/Wrapper實時性強，能保證查詢的數(shù)據(jù)是最新的，它將用戶基于全局模式提交的查詢在系統(tǒng)運行時動態(tài)分解為針對每個數(shù)據(jù)源的查詢，中間件通過包裝器獲得數(shù)據(jù)，經(jīng)過整合后返回給用戶，因此查詢的結(jié)果都是最新的。同時查詢結(jié)果都是由包裝器對數(shù)據(jù)源進行，中間件只和包裝器打交道，因此適合數(shù)據(jù)源的動態(tài)添加和刪除。但是Mediator/Wrapper方式不能對歷史性的全局數(shù)據(jù)進行有效的利用和分析。

②數(shù)據(jù)倉庫要建立一個存儲數(shù)據(jù)的倉庫，定期對數(shù)據(jù)源中的所有數(shù)據(jù)進行預(yù)處理，形成符合倉庫模式的數(shù)據(jù)，然后物化數(shù)據(jù)到數(shù)據(jù)倉庫。數(shù)據(jù)倉庫中的數(shù)據(jù)主要是歷史和匯總的數(shù)據(jù)，供分析和執(zhí)行人員進行決策分析使用。其特點是：查詢的效率很高，但查詢到的數(shù)據(jù)不能保證是最新的，并且如果倉庫模式設(shè)計成靜態(tài)的，當有新數(shù)據(jù)源加入或已有數(shù)據(jù)源發(fā)生變化時，對倉庫的修改代價比較高。

4 基于XM L W eb Service數(shù)字圖書館異構(gòu)數(shù)據(jù)集成體系結(jié)構(gòu)[5]

針對數(shù)字圖書館數(shù)據(jù)的異構(gòu)性和異構(gòu)數(shù)據(jù)集成模型分析比較后，結(jié)合Mediator/Wrapper模型，提出了基于XML Web Service的數(shù)字圖書館異構(gòu)數(shù)據(jù)集成方案。

基于XMLWeb Service的數(shù)字圖書館異構(gòu)數(shù)據(jù)集成方案，利用Web Service對各個數(shù)據(jù)源進行封裝，解決了數(shù)字圖書館中數(shù)據(jù)庫異構(gòu)性的問題；利用XML元數(shù)據(jù)映射，解決了元數(shù)據(jù)的異構(gòu)性問題，其體系結(jié)構(gòu)如圖5所示。

圖5 基于XM LW eb Service的異構(gòu)數(shù)據(jù)集成方案體系結(jié)構(gòu)

基于XMLWeb Service的數(shù)字圖書館異構(gòu)數(shù)據(jù)集成體系結(jié)構(gòu)由3層組成：應(yīng)用層、中間層、資源層。應(yīng)用層由應(yīng)用界面組成。中間層由請求處理器和結(jié)果處理器組成。資源層主要包括各分布式圖書館數(shù)據(jù)庫資源、包裝器和Web Services組成。

4.1 應(yīng)用層

應(yīng)用層為用戶提供應(yīng)用界面，底層集成的數(shù)據(jù)源對用戶是透明的，從用戶的角度來看，并不認為底層有多個數(shù)據(jù)庫，查詢就像在一個數(shù)據(jù)庫中進行的一樣。各數(shù)據(jù)源返回的信息經(jīng)系統(tǒng)處理后以統(tǒng)一方式顯示在應(yīng)用界面中。

4.2 中間層

當接收到應(yīng)用層的命令請求時，由請求處理器將命令分析后分解成功能子命令并包裝為SOAP消息，通過調(diào)用相應(yīng)的Web Services，傳送到相應(yīng)的數(shù)據(jù)源包裝器執(zhí)行具體任務(wù)。結(jié)果處理器接受由各子數(shù)據(jù)源返回的XML形式的結(jié)果片段，整理合并后返回給用戶。其中通過元數(shù)據(jù)映射解決元數(shù)據(jù)的互操作。

①請求處理器

請求處理器根據(jù)應(yīng)用提交的命令，根據(jù)映射關(guān)系里的相關(guān)規(guī)則，將應(yīng)用分解為對應(yīng)各局部數(shù)據(jù)源的子命令，并將子命令傳送到對應(yīng)的數(shù)據(jù)源包裝器執(zhí)行實際數(shù)據(jù)的操作。

②結(jié)果處理器

各數(shù)據(jù)源的執(zhí)行結(jié)果由資源層返回給中間層后，由結(jié)果處理器對結(jié)果重新組合，返回給應(yīng)用程序。

③映射關(guān)系

主要規(guī)定XML全局元數(shù)據(jù)的標準以及XML全局元數(shù)據(jù)和局部元數(shù)據(jù)的映射規(guī)則。

4.3 資源層

集成系統(tǒng)中一個重要的組件就是關(guān)于各個異構(gòu)數(shù)據(jù)源的包裝器（Wrapper），使各數(shù)據(jù)源對外提供統(tǒng)一的接口。數(shù)據(jù)源包裝器是對應(yīng)各數(shù)據(jù)源的一個包裝層，它的主要任務(wù)是包裝數(shù)據(jù)源的模式與數(shù)據(jù)，將中間語言功能命令映射為特定數(shù)據(jù)源模式可識別的實際物理命令，并把從底層數(shù)據(jù)源中抽取的數(shù)據(jù)轉(zhuǎn)化成統(tǒng)一的XML數(shù)據(jù)格式。本系統(tǒng)為不同種類的數(shù)據(jù)源開發(fā)對應(yīng)的包裝器。將各個包裝器發(fā)布成為多個Web Services，對外提供統(tǒng)一的接口接收命令請求，對數(shù)據(jù)源的調(diào)用實際上是對包裝器Web Services的調(diào)用。

4 結(jié)束語

基于Web Service技術(shù)異構(gòu)數(shù)據(jù)集成具有簡單、開放、靈活、動態(tài)等特點，它易于其他系統(tǒng)的集成，從而提供了一種數(shù)字圖書館異構(gòu)數(shù)據(jù)源數(shù)據(jù)集成的有效方法，該方法能夠有效解決數(shù)字圖書館數(shù)據(jù)共享和交換的問題，實現(xiàn)數(shù)字圖書館異構(gòu)數(shù)據(jù)的互聯(lián)互通，但是基于Web Services的異構(gòu)數(shù)據(jù)庫數(shù)據(jù)集成的具體實現(xiàn)技術(shù)還有待進一步研究。

[1] 馮少榮.基于XML的web數(shù)據(jù)集成技術(shù)的研究.計算機應(yīng)用與軟件，2005（7）.

[2〕 孟小峰.Web信息集成技術(shù)研究.計算機應(yīng)用與軟件，2003（11）.

[3] S.Abiteboul，P.Buneman，D.Suciu.Data on theWeb-From Relations to semi structured Data and XML.Morgan Kauffmann publishers，2000.

[4]A.Doan，P.Domingos，A.Levy.Learning Source Description for Data Integration.In Proceedings of the InternationalWorkshop on theWeb and Databases，2000.

[5]王志波，裘國永.基于XML的異構(gòu)數(shù)據(jù)庫中間件研究.鄭州輕工業(yè)學(xué)院學(xué)報：自然科學(xué)版，2008（3）.