李昌武

摘要：針對(duì)石油行業(yè)信息系統(tǒng)數(shù)據(jù)異構(gòu)分布、形成信息孤島等問(wèn)題，設(shè)計(jì)了Web服務(wù)異構(gòu)數(shù)據(jù)集成框架。在此基礎(chǔ)上，對(duì)Web服務(wù)異構(gòu)數(shù)據(jù)集成算法展開(kāi)了研究，該算法對(duì)運(yùn)行時(shí)的Web服務(wù)進(jìn)行評(píng)估，考慮了性能、可靠性等指標(biāo)，選取最優(yōu)的Web服務(wù)作為數(shù)據(jù)集成服務(wù)，以提高數(shù)據(jù)集成的效率和效果。模擬實(shí)驗(yàn)對(duì)數(shù)據(jù)集成的效果進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明本數(shù)據(jù)集成框架和算法能高效、可靠地解決石油行業(yè)異構(gòu)數(shù)據(jù)集成問(wèn)題。

關(guān)鍵詞：石油行業(yè);數(shù)據(jù)集成;Web 服務(wù);可靠性;異構(gòu)

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2019）03-0012-02

1 研究背景

信息的深化應(yīng)用是XX石油公司在日益激烈的市場(chǎng)競(jìng)爭(zhēng)中處于優(yōu)勢(shì)地位的關(guān)鍵。在信息化建設(shè)過(guò)程中，由于信息系統(tǒng)在不同的時(shí)期內(nèi)建設(shè)，XX石油公司無(wú)法做到對(duì)核心數(shù)據(jù)庫(kù)和應(yīng)用進(jìn)行規(guī)劃和分析，沒(méi)有形成圍繞核心數(shù)據(jù)庫(kù)進(jìn)行信息系統(tǒng)開(kāi)發(fā)的理念，由于內(nèi)容標(biāo)準(zhǔn)驗(yàn)證滯后，各個(gè)應(yīng)用系統(tǒng)之間的數(shù)據(jù)定義和數(shù)據(jù)模型互為不同，應(yīng)用接口和數(shù)據(jù)交換沒(méi)有標(biāo)準(zhǔn);系統(tǒng)運(yùn)行在不同的軟硬件平臺(tái)上，數(shù)據(jù)不能相互共享，歷盡艱辛建設(shè)的一個(gè)個(gè)IT支持系統(tǒng)變成了信息孤島。

因此，尋找一種對(duì)運(yùn)行在不同操作系統(tǒng)、分布在不同網(wǎng)絡(luò)位置、不同廠商的數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行集成的方法刻不容緩。另一方面，數(shù)據(jù)集成系統(tǒng)部署在動(dòng)態(tài)多變的網(wǎng)絡(luò)環(huán)境中，其面臨的環(huán)境變得更加復(fù)雜和不確定，因此數(shù)據(jù)集成系統(tǒng)的性能和可靠性保障也是需要解決的關(guān)鍵問(wèn)題。

2 研究現(xiàn)狀

為了實(shí)現(xiàn)企業(yè)數(shù)據(jù)資源的共享集成，已有學(xué)者在數(shù)據(jù)集成方面做了大量的工作。文獻(xiàn)[1]提出了數(shù)據(jù)倉(cāng)庫(kù)的概念，即建立一個(gè)數(shù)據(jù)庫(kù)，由ETL（Extract， Transform and Load）工具定期從數(shù)據(jù)源過(guò)濾數(shù)據(jù)然后裝載到數(shù)據(jù)倉(cāng)庫(kù)，供用戶查詢，但是該方法投入的費(fèi)用昂貴，開(kāi)發(fā)周期長(zhǎng)，而且很難做到與數(shù)據(jù)源保持實(shí)時(shí)同步。為了實(shí)現(xiàn)異構(gòu)平臺(tái)上的數(shù)據(jù)集成，各大廠商紛紛推出了自己的集成平臺(tái)，如IBM在2003年7月推出了DB2信息集成軟件[2]，目的是整合異構(gòu)環(huán)境中的網(wǎng)絡(luò)信息;ODI（Oracle Data Integrator）是Oracle公司針對(duì)Oracle數(shù)據(jù)庫(kù)推出的數(shù)據(jù)集成平臺(tái)[3]，它能滿足用戶一般需求，支持高性能審批等優(yōu)點(diǎn);微軟公司推出的MSSIS（Microsoft SQL server2005 integration services） 是利用數(shù)據(jù)倉(cāng)原理實(shí)現(xiàn)的[4]，是一種性能較高的集成平臺(tái)。這些解決方案存在的主要問(wèn)題是他們都是基于自己的產(chǎn)品進(jìn)行的數(shù)據(jù)集成，對(duì)其他廠家的數(shù)據(jù)庫(kù)兼容性不高。

XX石油公司的關(guān)鍵業(yè)務(wù)系統(tǒng)運(yùn)行在不同的軟硬件平臺(tái)上，現(xiàn)有的解決方案無(wú)法滿足其數(shù)據(jù)集成的要求。因此，研究如何對(duì)XX石油公司的系統(tǒng)數(shù)據(jù)進(jìn)行全面的集成，對(duì)提升XX石油公司的信息化能力、提高員工和客戶的滿意度具有深遠(yuǎn)的意義。

3 Web服務(wù)異構(gòu)數(shù)據(jù)集成框架及算法

3.1 Web服務(wù)異構(gòu)數(shù)據(jù)集成框架

XX石油公司關(guān)鍵業(yè)務(wù)系統(tǒng)的數(shù)據(jù)具有明顯的異構(gòu)性和分布性，其平臺(tái)、數(shù)據(jù)格式和語(yǔ)義等方面存在較大差異。為了解決以上異構(gòu)數(shù)據(jù)的集成問(wèn)題，本文采用Web 服務(wù)作為異構(gòu)數(shù)據(jù)集成平臺(tái)關(guān)鍵技術(shù)。Web服務(wù)是使用SOAP進(jìn)行通訊 、使用UDDI進(jìn)行發(fā)布和使用WSDL進(jìn)行描述的一種新型的分布式計(jì)算模型[5]。Web服務(wù)是一項(xiàng)新型技術(shù)，它最大的優(yōu)點(diǎn)是使分布在網(wǎng)絡(luò)上運(yùn)行在不同操作系統(tǒng)、使用不同編程語(yǔ)言的應(yīng)用程序無(wú)須借助第三方軟件或硬件，通過(guò)標(biāo)準(zhǔn)的XML消息傳遞機(jī)制，可實(shí)現(xiàn)數(shù)據(jù)集成、數(shù)據(jù)交換等操作，因此本文采用Web服務(wù)關(guān)鍵技術(shù)對(duì)異構(gòu)數(shù)據(jù)進(jìn)行集成是可行的。

本文采用的是虛擬化視圖法中的中介系統(tǒng)（Mediated? System）體系結(jié)構(gòu)進(jìn)行數(shù)據(jù)集成[6]，其工作方式是用戶只需訪問(wèn)中介系統(tǒng)的地址，無(wú)須了解各數(shù)據(jù)源的訪問(wèn)方法、模式和位置。圖1是本文的基于中介系統(tǒng)的數(shù)據(jù)集成框架。在整個(gè)框架中主要模塊有Web服務(wù)數(shù)據(jù)集成中介（Web Services data integration medium），Web服務(wù)應(yīng)用服務(wù)器群（Web service application server）和UDDI。

數(shù)據(jù)集成中介平臺(tái)的主要功能是攔截用戶的消息，解釋消息的內(nèi)容、調(diào)用相應(yīng)遠(yuǎn)端的Web服務(wù)進(jìn)行數(shù)據(jù)抽取并實(shí)現(xiàn)相應(yīng)的業(yè)務(wù)邏輯，最后把結(jié)果返回給用戶。同時(shí)為了提高數(shù)據(jù)集成的可靠性和性能，在企業(yè)廣域網(wǎng)內(nèi)同時(shí)發(fā)布多個(gè)功能相同的Web服務(wù)，并對(duì)Web服務(wù)的存活情況、性能等狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，以便挑選出性能、可靠性最高的服務(wù)對(duì)異構(gòu)數(shù)據(jù)進(jìn)行抽取和組合。具體包括：1）SOAP消息攔截器（Message Interceptor，MI），其功能是對(duì)用戶請(qǐng)求消息進(jìn)行攔截，并把數(shù)據(jù)集成后的處理結(jié)果返回給用戶; 2）情境感知器（Context Detector，CD）負(fù)責(zé)探測(cè)遠(yuǎn)端Web服務(wù)的運(yùn)行時(shí)狀態(tài)，如執(zhí)行時(shí)間、性能、可靠性等指標(biāo);3）業(yè)務(wù)邏輯執(zhí)行器（Business Logic Actuator， BLA），數(shù)據(jù)集成業(yè)務(wù)通過(guò)Web服務(wù)組合來(lái)完成，BLA負(fù)責(zé)把用戶請(qǐng)求分解，調(diào)用相關(guān)的Web服務(wù)進(jìn)行數(shù)據(jù)抽取，并根據(jù)業(yè)務(wù)邏輯對(duì)數(shù)據(jù)進(jìn)行計(jì)算和集成;4）集成數(shù)據(jù)庫(kù)（Integrated? Database，ID）主要的作用是保存數(shù)據(jù)抽取的中間結(jié)果、運(yùn)算后的最終結(jié)果和Web服務(wù)評(píng)價(jià)結(jié)果，同時(shí)還保存集成業(yè)務(wù)系統(tǒng)的重要數(shù)據(jù);5）失效檢測(cè)器（Failure Detector，F(xiàn)D）負(fù)責(zé)定期向遠(yuǎn)端Web服務(wù)發(fā)送SOAP消息，以獲取其存活狀態(tài)。

Web服務(wù)應(yīng)用服務(wù)器群部署核心數(shù)據(jù)抽取Web 服務(wù)，負(fù)責(zé)對(duì)數(shù)據(jù)庫(kù)服務(wù)器（Database server）上的數(shù)據(jù)進(jìn)行抽取。為了提高數(shù)據(jù)集成的性能和可靠性，Web服務(wù)采用冗余的方式進(jìn)行部署，即在多臺(tái)服務(wù)器中部署功能相同的Web服務(wù)。圖1中的WS1表示數(shù)據(jù)庫(kù)1（Data Server 1）的數(shù)據(jù)抽取Web服務(wù)，WS2表示數(shù)據(jù)庫(kù)2的數(shù)據(jù)抽取Web服務(wù)，依此類推……核心Web服務(wù)發(fā)布到企業(yè)私有的UDDI服務(wù)器上，并以服務(wù)組（Service Group）的方式對(duì)功能相同的Web服務(wù)進(jìn)行管理，數(shù)據(jù)集成中介平臺(tái)與UDDI交換獲取服務(wù)組成員。

3.2 服務(wù)選擇算法和集成算法

關(guān)鍵業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)集成后所面臨的環(huán)境更加復(fù)雜、應(yīng)用動(dòng)態(tài)變化，為了提高數(shù)據(jù)集成的可靠性，在眾多功能相同的Web服務(wù)中尋找一個(gè)負(fù)載率、可靠性、集成速度最優(yōu)Web服務(wù)作為數(shù)據(jù)抽取服務(wù)是關(guān)鍵的，以下是Web服務(wù)選擇算法描述：

綜上數(shù)據(jù)集成框架和運(yùn)行時(shí)因素評(píng)估的Web服務(wù)選擇算法，提出了本文的基于多因素運(yùn)行時(shí)評(píng)估的異構(gòu)數(shù)據(jù)集成算法HDIRE（HeterogeneousData Integration algorithm based on Runtime factors Evaluation），其核心思想是在中介系統(tǒng)中記錄每個(gè)服務(wù)執(zhí)行任務(wù)所需的時(shí)間、可靠性等要素，并對(duì)這些要素進(jìn)行計(jì)算，最終選擇最優(yōu)的服務(wù)作為數(shù)據(jù)集成服務(wù)，算法的執(zhí)行過(guò)程是：1）用戶首先訪問(wèn)Web服務(wù)數(shù)據(jù)集成中介，集成中介的攔截器（MI）攔截用戶消息，業(yè)務(wù)邏輯執(zhí)行器（BLA）解釋用戶消息，對(duì)用戶消息進(jìn)行分解，分解后得到相應(yīng)所需的數(shù)據(jù)源;2）根據(jù)CD對(duì)運(yùn)行時(shí)Web服務(wù)的評(píng)估情況，選取性能、可靠性最高服務(wù)作為數(shù)據(jù)的抽取服務(wù);3）數(shù)據(jù)抽取完畢后BLA對(duì)業(yè)務(wù)邏輯進(jìn)行處理，并把處理結(jié)果返回給用戶。

4 異構(gòu)數(shù)據(jù)集成在石油行業(yè)中的應(yīng)用驗(yàn)證

我們把設(shè)計(jì)好的原型系統(tǒng)部署在石油企業(yè)的廣域網(wǎng)中進(jìn)行驗(yàn)證，選取兩個(gè)運(yùn)行環(huán)境差別很大的業(yè)務(wù)系統(tǒng)進(jìn)行異構(gòu)數(shù)據(jù)集成。中介系統(tǒng)部署在8核CPU、64G內(nèi)存、操作系統(tǒng)是Windows2008上;UDDI服務(wù)部署在另一個(gè)服務(wù)器上。本實(shí)驗(yàn)是對(duì)業(yè)務(wù)系統(tǒng)A的數(shù)據(jù)和業(yè)務(wù)系統(tǒng)B的數(shù)據(jù)進(jìn)行集成，自動(dòng)集成這兩個(gè)業(yè)務(wù)系統(tǒng)的銷售數(shù)據(jù)。業(yè)務(wù)系統(tǒng)A的數(shù)據(jù)庫(kù)是Sybase，運(yùn)行在AIX操作系統(tǒng)中;業(yè)務(wù)系統(tǒng)B的數(shù)據(jù)庫(kù)Oracle，操作系統(tǒng)是LINUX。每個(gè)系統(tǒng)的數(shù)據(jù)集成功能對(duì)應(yīng)一個(gè)Web服務(wù)，為提高Web服務(wù)的可靠性，每個(gè)Web服務(wù)部署2個(gè)副本，通過(guò)UDII進(jìn)行發(fā)布供中介系統(tǒng)調(diào)用，中介系統(tǒng)實(shí)時(shí)對(duì)這兩個(gè)副本進(jìn)行失效檢測(cè)和對(duì)其性能、負(fù)載、執(zhí)行時(shí)間等指標(biāo)進(jìn)行實(shí)時(shí)評(píng)估，選擇存活并且性能較好的Web服務(wù)作為數(shù)據(jù)集成服務(wù)。當(dāng)用戶點(diǎn)擊數(shù)據(jù)集成界面的銷售數(shù)據(jù)集成按鈕時(shí)，A業(yè)務(wù)系統(tǒng)和B業(yè)務(wù)系統(tǒng)的銷量便能顯示出來(lái)，達(dá)到了數(shù)據(jù)集成預(yù)期的效果。

為了測(cè)試本文HDIRE算法的性能，本文采用Loadrunner性能測(cè)試軟件模擬1000個(gè)用戶同時(shí)訪問(wèn)數(shù)據(jù)集成平臺(tái)，在實(shí)驗(yàn)中將統(tǒng)計(jì)用戶請(qǐng)求平均響應(yīng)時(shí)間，分別進(jìn)行兩種情形測(cè)試：1）不考慮運(yùn)行時(shí)因素的數(shù)據(jù)集成算法（標(biāo)記為Normal-DI）;2）本文的HDIRE算法。測(cè)試結(jié)果如圖2所示：

從實(shí)驗(yàn)結(jié)果看出，一方面，本文的數(shù)據(jù)集成研究可以對(duì)運(yùn)行在不同操作系統(tǒng)的異構(gòu)數(shù)據(jù)集進(jìn)行集成;另一方面，由于本文考慮了對(duì)運(yùn)行時(shí)的性能和可靠性進(jìn)行評(píng)估，即在服務(wù)組中挑選出一個(gè)可靠性、性能最高的Web服務(wù)進(jìn)行數(shù)據(jù)集成，所以減少了用戶請(qǐng)求的平均響應(yīng)時(shí)間。

5 結(jié)論

本文從XX石油公司的信息系統(tǒng)實(shí)際出發(fā)，研究現(xiàn)有系統(tǒng)的數(shù)據(jù)集成、共享等問(wèn)題。在研究過(guò)程中我們結(jié)合目前比較流行的Web服務(wù)技術(shù)和虛擬化視圖，提出了Web服務(wù)數(shù)據(jù)集成框架，在此框架基礎(chǔ)上給出了數(shù)據(jù)集成算法，該算法考慮了Web服務(wù)的可靠性、執(zhí)行時(shí)間和性能，目標(biāo)是提高數(shù)據(jù)集成的性能和可靠性。模擬實(shí)驗(yàn)表明，本文的解決方案一方面可對(duì)異構(gòu)數(shù)據(jù)進(jìn)行集成，另一面在數(shù)據(jù)集成質(zhì)量保障方面獲得較好的優(yōu)化效果。

參考文獻(xiàn)：

[1] Ab1teboul，Agrawal，Bernstein P， Carey M， Ceri S， Croft B. The Lowell Database Research Self-Assessment Meeting[C]. Lowell Massachusetts，2003.

[2]劉軍.IBM DB2 簡(jiǎn)介[EB/OL].http：//soft.chinabyte.com/23/8288023.shtml，2008-09-01/2010-3-10.

[3]Mark Rittman.實(shí)時(shí)數(shù)據(jù)集成簡(jiǎn)介[EB/OL].

http：//www.oracle.com/technology/global/cn/artieles/rittman-odi.html，2010-03-10/2010-3-10.

[4]Microsoft.概述（Integration Services）[EB/OL]. http：//msdn.microsoft.com/zh-cn/library/ms14126.aspx，2009-07/2010-3-10.

[5] 范小芹，蔣昌俊，王俊麗，等.隨機(jī)QoS感知的可靠Web服務(wù)組合[J].軟件學(xué)報(bào)，2009，20（3）：546-556.

[6] Wu W，Yu C，Doan A，Meng W.An Interactive Clustering-based Approach to Integrating Source Query Interfaces on the Deep Web. Porc. Of the ACM SIGMOD Intl Conf.on Management of Data（SIGMOD 2004）[C].ACM Press，2004：95-106.

【通聯(lián)編輯：代影】