摘 要：為了解決電力系統(tǒng)內(nèi)部異構(gòu)數(shù)據(jù)共享和集中管理的問題，提出基于“集成數(shù)據(jù)庫中間件”的四層電力數(shù)據(jù)集成平臺(tái)框架設(shè)計(jì)方案。該方案結(jié)合可擴(kuò)展標(biāo)記語言XML的優(yōu)勢(shì)定義數(shù)據(jù)交換格式，參考HSDA視圖的組織形式搭建集成數(shù)據(jù)庫，通過查詢轉(zhuǎn)換器、數(shù)據(jù)合法性驗(yàn)證工具以及數(shù)據(jù)轉(zhuǎn)換器實(shí)現(xiàn)對(duì)用戶請(qǐng)求的中間處理，最終將轉(zhuǎn)換得到的XML文件提供給Web服務(wù)器，實(shí)現(xiàn)電力數(shù)據(jù)集成平臺(tái)系統(tǒng)。實(shí)踐證明，該方案對(duì)異構(gòu)數(shù)據(jù)集成問題的解決提供了一個(gè)切實(shí)可行的模式和方法，具有較好的可擴(kuò)展性和適應(yīng)性。

關(guān)鍵詞：XML； 數(shù)據(jù)集成； 異構(gòu)數(shù)據(jù)； JDOM

中圖分類號(hào)：TN7934 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004373X（2012）22018003

0 引 言

隨著電力信息化的發(fā)展，國內(nèi)許多電力企業(yè)都構(gòu)建了大量不同類型、不同規(guī)模的應(yīng)用信息系統(tǒng)，如調(diào)度自動(dòng)化EMS、配網(wǎng)自動(dòng)化DMS、計(jì)量自動(dòng)化、主網(wǎng)生產(chǎn)管理系統(tǒng)、配網(wǎng)生產(chǎn)管理系統(tǒng)、電壓質(zhì)量監(jiān)測(cè)系統(tǒng)、電能質(zhì)量監(jiān)測(cè)系統(tǒng)等。由于各個(gè)系統(tǒng)在建設(shè)過程中存在“單獨(dú)開發(fā)，獨(dú)立運(yùn)行，分散管理，缺乏統(tǒng)一規(guī)劃”的情況，這使得這些系統(tǒng)在技術(shù)實(shí)現(xiàn)、應(yīng)用環(huán)境、數(shù)據(jù)庫平臺(tái)等方面表現(xiàn)出極大的異構(gòu)性，造成了各系統(tǒng)相互孤立，信息無法交流和集成，在企業(yè)內(nèi)部逐漸形成了“信息孤島”，給信息的共享和集中管理帶來了障礙。于是，針對(duì)這些異構(gòu)并自治的信息系統(tǒng)及其產(chǎn)生的數(shù)據(jù)進(jìn)行集成，構(gòu)建一個(gè)統(tǒng)一應(yīng)用框架的數(shù)據(jù)集成平臺(tái)，使得用戶可以透明地訪問各個(gè)系統(tǒng)的數(shù)據(jù)源，并且該平臺(tái)具有良好的可擴(kuò)充性和可伸縮性，以適應(yīng)不斷變化應(yīng)用需求和不斷涌現(xiàn)的數(shù)據(jù)源，就成為電力企業(yè)信息系統(tǒng)要解決的關(guān)鍵問題。

本文針對(duì)電力數(shù)據(jù)集成所存在的問題，利用XML技術(shù)的優(yōu)勢(shì)，提出一種解決異構(gòu)數(shù)據(jù)集成問題的模型，搭建電力異構(gòu)數(shù)據(jù)集成平臺(tái)，并針對(duì)該集成模型中的關(guān)鍵性技術(shù)問題進(jìn)行了闡述，從而解決異構(gòu)數(shù)據(jù)的共享問題。

1 異構(gòu)數(shù)據(jù)源集成方法

目前，開發(fā)異構(gòu)數(shù)據(jù)源集成系統(tǒng)采用的方法雖各不相同，但其基本的方法可分為兩類：物化方法（Materialized，也稱數(shù)據(jù)倉庫法）和虛擬方法（Virtual，也稱中間件法）。所謂物化方法，是在客戶端與數(shù)據(jù)源（服務(wù)器）之間增加一層數(shù)據(jù)倉庫，用于存儲(chǔ)來自各數(shù)據(jù)源要集成的數(shù)據(jù)，系統(tǒng)提供對(duì)數(shù)據(jù)倉庫的查詢機(jī)制。這種方法的查詢處理具有較好的性能，但數(shù)據(jù)更新不及時(shí)、數(shù)據(jù)重復(fù)存儲(chǔ)；另一種方法是虛擬方法，它提供給用戶一個(gè)虛擬的集成視圖（即全局模式）和對(duì)該集成視圖查詢的處理機(jī)制，數(shù)據(jù)仍保存在各數(shù)據(jù)源上。系統(tǒng)依賴于包裝器（Wrappers）和中間件（Mediators）兩類軟件組件，自動(dòng)地將用戶對(duì)全局模式的查詢請(qǐng)求轉(zhuǎn)換成對(duì)各異構(gòu)數(shù)據(jù)源的查詢。這種方法數(shù)據(jù)不需要重復(fù)存儲(chǔ)，并能保證查詢到最新的數(shù)據(jù)，因此比較適合于高度自治、集成數(shù)量多且更新變化快的異構(gòu)信息源集成［12］，缺點(diǎn)是每一次查詢都要訪問數(shù)據(jù)源本身，增加了網(wǎng)絡(luò)數(shù)據(jù)傳輸量，使查詢效率受到影響。

2 電力數(shù)據(jù)集成平臺(tái)框架設(shè)計(jì)

電力系統(tǒng)針對(duì)不同的業(yè)務(wù)需求，建立了不同的應(yīng)用系統(tǒng)。由于建設(shè)時(shí)間和開發(fā)商等各種因素的差異，系統(tǒng)間存在著底層技術(shù)實(shí)現(xiàn)、應(yīng)用架構(gòu)、數(shù)據(jù)庫平臺(tái)、數(shù)據(jù)編碼等方面的異構(gòu)性。隨著應(yīng)用系統(tǒng)數(shù)量的增加，信息孤島現(xiàn)象日益明顯，難以發(fā)揮應(yīng)用系統(tǒng)整體效能，跨專業(yè)的數(shù)據(jù)交互、信息共享不能通過應(yīng)用系統(tǒng)自動(dòng)完成，業(yè)務(wù)效率低下?；谶@些缺點(diǎn)，本文結(jié)合XML技術(shù)的優(yōu)勢(shì)，提出“集成數(shù)據(jù)庫中間件”的電力數(shù)據(jù)集成平臺(tái)框架設(shè)計(jì)方案。

電力數(shù)據(jù)集成平臺(tái)主要實(shí)現(xiàn)以下幾方面的功能［3］：

（1） 解決數(shù)據(jù)異構(gòu)和信息孤島問題，使不同格式、不同數(shù)據(jù)編碼、不同管理系統(tǒng)、不同數(shù)據(jù)庫平臺(tái)中的數(shù)據(jù)能夠相互交流和轉(zhuǎn)換。

（2） 同時(shí)實(shí)現(xiàn)多個(gè)不同應(yīng)用系統(tǒng)能夠統(tǒng)一、透明、高效地訪問和操縱網(wǎng)絡(luò)環(huán)境中各種分布、異構(gòu)的數(shù)據(jù)資源，使各部門可以像對(duì)待一個(gè)數(shù)據(jù)源那樣方便地管理和訪問位于不同硬件平臺(tái)、操作系統(tǒng)、網(wǎng)絡(luò)協(xié)議和數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)源，實(shí)現(xiàn)數(shù)據(jù)共享。

（3） 保持?jǐn)?shù)據(jù)源各自的獨(dú)立性和完整性，在進(jìn)行數(shù)據(jù)集成的同時(shí)不能影響己有系統(tǒng)的正常運(yùn)行。

（4） 具有較好的可擴(kuò)展性和適應(yīng)性，能夠適應(yīng)需求的不斷變化，實(shí)現(xiàn)數(shù)據(jù)源間的松耦合以及即插即用。

本文提出的基于XML的數(shù)據(jù)集成框架模型，如圖1所示。

圖1 電力數(shù)據(jù)集成平臺(tái)框架模型的架構(gòu)采用中間件架構(gòu)，由數(shù)據(jù)源層、集成層、Web服務(wù)器層和應(yīng)用層四層構(gòu)成。

（1） 數(shù)據(jù)源層。處于集成框架模型的最底層，是系統(tǒng)的數(shù)據(jù)來源，包括如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、實(shí)時(shí)數(shù)據(jù)庫等不同的類型的數(shù)據(jù)庫，文件，SVG圖等信息。

（2） 集成層。由集成數(shù)據(jù)庫和集成中間件兩部分構(gòu)成。其中，集成中間件是整個(gè)模型的核心，是實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成的關(guān)鍵。集成中間件接收到來自Web服務(wù)器層的請(qǐng)求后，將此請(qǐng)求轉(zhuǎn)換為對(duì)集成數(shù)據(jù)庫的操作，然后進(jìn)行合法性驗(yàn)證，再根據(jù)合法的操作訪問集成數(shù)據(jù)庫獲得請(qǐng)求的數(shù)據(jù)，最后將所得到的數(shù)據(jù)封裝成XML文件后提供給Web服務(wù)器。集成數(shù)據(jù)庫保存每個(gè)局部數(shù)據(jù)源的信息。在本模型中，采用XML Schema來描述每個(gè)局部數(shù)據(jù)源的模式信息以及全局模式信息，并定期將數(shù)據(jù)源層的數(shù)據(jù)以XML文件方式同步到集成數(shù)據(jù)庫。

（3） Web服務(wù)器層。負(fù)責(zé)接收應(yīng)用層的操作請(qǐng)求，并將查詢結(jié)果返回給應(yīng)用層。

（4） 應(yīng)用層。根據(jù)用戶具體的應(yīng)用需求，采用Web瀏覽器或?qū)Ｓ玫目蛻舳藨?yīng)用程序，由Web服務(wù)器層提供服務(wù)。

3 電力數(shù)據(jù)集成平臺(tái)的實(shí)現(xiàn)

3.1 數(shù)據(jù)交換格式的定義

可擴(kuò)展標(biāo)記語言XML（eXtensible Markup Language）現(xiàn)在已經(jīng)成為一種通用的數(shù)據(jù)交換格式，它的平臺(tái)無關(guān)性、語言無關(guān)性、系統(tǒng)無關(guān)性，給數(shù)據(jù)集成與交互帶來了極大的方便。它可以通過設(shè)置路由規(guī)則，非常簡單地把從一個(gè)數(shù)據(jù)庫中提取的數(shù)據(jù)加載到另一個(gè)數(shù)據(jù)庫。在使用XML時(shí)，必須遵從數(shù)據(jù)項(xiàng)名稱和邏輯結(jié)構(gòu)。通過使用開始和結(jié)束標(biāo)記，不需要把數(shù)據(jù)項(xiàng)精確的放在特定的位置。因此，該系統(tǒng)選擇XML作為數(shù)據(jù)交換格式的定義。

由于每個(gè)應(yīng)用系統(tǒng)都有自己的一套業(yè)務(wù)規(guī)則，對(duì)應(yīng)的數(shù)據(jù)格式也互不相同，因此，在各應(yīng)用系統(tǒng)間進(jìn)行數(shù)據(jù)傳輸和共享時(shí)，必須有一個(gè)通用的詞匯表以保證通信時(shí)各個(gè)系統(tǒng)能正確理解彼此的消息?？紤]到電力系統(tǒng)數(shù)據(jù)的復(fù)雜性，它需要如數(shù)據(jù)類型、復(fù)雜關(guān)系、主外鍵值和其它說明之類的擴(kuò)展定義，使用XML Schema定義XML文檔數(shù)據(jù)交換格式標(biāo)準(zhǔn)［4］。

另外，數(shù)據(jù)交換格式的定義中還需要定義數(shù)據(jù)的增加、修改和刪除格式，修改格式中最好能分別給出修改之前和之后的數(shù)據(jù)，以便于對(duì)修改的數(shù)據(jù)進(jìn)行合法性驗(yàn)證。

3.2 集成數(shù)據(jù)庫的建立

電力系統(tǒng)數(shù)據(jù)可分為臺(tái)賬數(shù)據(jù)、運(yùn)行數(shù)據(jù)和事件數(shù)據(jù)，它們對(duì)數(shù)據(jù)的準(zhǔn)確性、時(shí)效性以及客觀性的要求各不相同。臺(tái)賬數(shù)據(jù)，如經(jīng)營臺(tái)賬、生產(chǎn)臺(tái)賬等數(shù)據(jù)變化較少；運(yùn)行數(shù)據(jù)，如實(shí)時(shí)運(yùn)行數(shù)據(jù)、日運(yùn)行數(shù)據(jù)、周運(yùn)行數(shù)據(jù)等周期產(chǎn)生且數(shù)據(jù)量大；事件數(shù)據(jù)如停電數(shù)據(jù)、營銷數(shù)據(jù)、失壓數(shù)據(jù)等伴隨具體的業(yè)務(wù)需求隨機(jī)出現(xiàn)、需要及時(shí)獲得并分發(fā)。IEC61970404的HSDA（High Speed Data Access）標(biāo)準(zhǔn)在曝露CIM數(shù)據(jù)的同時(shí)，為實(shí)時(shí)、非實(shí)時(shí)數(shù)據(jù)提供了標(biāo)準(zhǔn)的訪問模式，并將臺(tái)帳、運(yùn)行、事件數(shù)據(jù)組織于同一視圖之下，以便層次化管理［5］。該系統(tǒng)采用HSDA標(biāo)準(zhǔn)接口作為核心數(shù)據(jù)服務(wù)，參考HSDA視圖的組織形式，構(gòu)建電力數(shù)據(jù)集成平臺(tái)系統(tǒng)的集成數(shù)據(jù)庫，使應(yīng)用層通過Web服務(wù)器層和集成層能夠?qū)崿F(xiàn)對(duì)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)訪問、查詢和協(xié)調(diào)各數(shù)據(jù)源之間的信息的功能。

由于底層各個(gè)異構(gòu)數(shù)據(jù)源之間存在模式匹配的差異，要實(shí)現(xiàn)這些數(shù)據(jù)的共享，需要將局部數(shù)據(jù)源統(tǒng)一到一個(gè)一致的全局模式，為用戶或應(yīng)用提供一個(gè)統(tǒng)一的數(shù)據(jù)訪問視圖，將這個(gè)統(tǒng)一視圖存放在集成數(shù)據(jù)庫中。集成數(shù)據(jù)庫中存放局部模式與全局模式之間的映射關(guān)系，以提高系統(tǒng)的可擴(kuò)展性，適應(yīng)數(shù)據(jù)源的變化。

集成數(shù)據(jù)庫初始化之后，需將各異構(gòu)數(shù)據(jù)源在運(yùn)行過程中產(chǎn)生的增量數(shù)據(jù)進(jìn)行同步。對(duì)實(shí)時(shí)性要求不高的增量數(shù)據(jù)，如臺(tái)賬數(shù)據(jù)，可以隔上一定的時(shí)間（如一個(gè)星期或一個(gè)月等）從各異構(gòu)數(shù)據(jù)源中抽取數(shù)據(jù)并同步到集成數(shù)據(jù)庫；對(duì)于事件數(shù)據(jù)，只要有數(shù)據(jù)變動(dòng)就要及時(shí)同步到集成數(shù)據(jù)庫中。

3.3 集成中間件技術(shù)

該系統(tǒng)負(fù)責(zé)接收來自Web服務(wù)器層的請(qǐng)求，這些請(qǐng)求是以XML文件的格式描述的，通過查詢轉(zhuǎn)換器將請(qǐng)求轉(zhuǎn)換為對(duì)集成數(shù)據(jù)庫的操作，然后進(jìn)行合法性驗(yàn)證，再根據(jù)合法的操作訪問集成數(shù)據(jù)庫獲得請(qǐng)求的數(shù)據(jù)，最后將所得到的數(shù)據(jù)封裝成XML文件提供給Web服務(wù)器。對(duì)XML文件的解析及封裝，該系統(tǒng)采用JDOM方式，它能夠減少DOM，SAX的編碼量。集成中間件技術(shù)分成三個(gè)部分：查詢換、合法性驗(yàn)證和數(shù)據(jù)轉(zhuǎn)換。

（1） 查詢轉(zhuǎn)換。由于集成數(shù)據(jù)庫存放了局部模式與全局模式之間的映射關(guān)系，因此，當(dāng)集成中間件接收到Web服務(wù)器層發(fā)送來的請(qǐng)求時(shí)，應(yīng)先將其轉(zhuǎn)換為集成數(shù)據(jù)庫可以理解的相關(guān)操作，根據(jù)通過合法性驗(yàn)證的合法操作訪問集成數(shù)據(jù)庫獲得查詢結(jié)果。

（2） 合法性驗(yàn)證。進(jìn)行數(shù)據(jù)類型有效性、主外鍵、數(shù)據(jù)業(yè)務(wù)邏輯合理性等合法性驗(yàn)證。例如，查詢一個(gè)集成數(shù)據(jù)庫中不存在的表會(huì)產(chǎn)生異常，查詢一個(gè)表中不存在的字段的值也會(huì)產(chǎn)生異常等。

（3） 數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換使用JDOM方式將查詢結(jié)果轉(zhuǎn)換成XML文件的形式返回給Web服務(wù)器。

4 結(jié) 語

本文結(jié)合XML技術(shù)的優(yōu)勢(shì)，提出“集成數(shù)據(jù)庫中間件”的電力數(shù)據(jù)集成平臺(tái)框架設(shè)計(jì)方案，構(gòu)建了電力數(shù)據(jù)集成平臺(tái)，并闡述了主要的技術(shù)及實(shí)現(xiàn)方法，對(duì)解決異構(gòu)數(shù)據(jù)集成問題提供了一個(gè)切實(shí)可行的模式和方法。當(dāng)然，本文的集成方案中還有一些細(xì)節(jié)問題需要更深入的研究，如：為了使電力系統(tǒng)異構(gòu)數(shù)據(jù)集成平臺(tái)能適應(yīng)多種不同數(shù)據(jù)源集成，滿足數(shù)據(jù)源模式的動(dòng)態(tài)變化，成為具有可擴(kuò)展性的電力信息集成平臺(tái)；怎樣處理查詢優(yōu)化問題；怎樣通過本體解決語義異構(gòu)問題等。

參 考 文 獻(xiàn)

［1］ MANOLESCU I， FLORESCU D， KOSSRNANN D. Answering XML queries on hterogeneous data sources ＼[C＼]// Proceedings of the 27th International Conference on Very Large Data Bases （VLDB2001）. ＼[S.l.＼]： ＼[s.n.＼]， 2001： 241250.

［2］ ZHOU G， HULL R， KING R， et al. Using object matching and materialization to integrate heterogeneous databases ＼[C＼]// Proc. of the 3rd Int Conf on Cooperative Information Systema（CoopIS'95）. ＼[S.l.＼]： ＼[s.n.＼]， 1995： 418.

［3］ 趙曉軍，胡國林，班曉娟，等.一種基于 XML的異構(gòu)數(shù)據(jù)集成平臺(tái)研究［J］.微計(jì)算機(jī)信息，2007，23（24）：236237.

［4］ AHMED K Z，UMRYSH C E.用J2EE 和UML 開發(fā)企業(yè)級(jí)應(yīng)用程序［M］.康博，譯.北京： 清華大學(xué)出版社，2002

［5］ 陶佳.電力企業(yè)生產(chǎn)信息集成理論及應(yīng)用研究［D］.杭州：浙江大學(xué)，2007.

［6］ 劉毅，劉軍，毛琛琳.基于中間件技術(shù)的電網(wǎng)在線監(jiān)測(cè)數(shù)據(jù)集成系統(tǒng)設(shè)計(jì)＼[J＼].電網(wǎng)與清潔能源，2012（5）：3945.

［7］ 段金長，吳志堅(jiān).基于ADO.NET數(shù)據(jù)庫技術(shù)在水情水調(diào)自動(dòng)化系統(tǒng)開發(fā)中的應(yīng)用＼[J＼].電網(wǎng)與清潔能源，2007（7）：69.

作者簡介： 劉 瓊 女，1984年出生，陜西西安人，碩士，助教。研究方向?yàn)檎Z義網(wǎng)、人工智能、數(shù)據(jù)庫等。2012年11月15日第35卷第22期