嵇可可

（江蘇食品職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)應(yīng)用技術(shù)系 江蘇 223003）

0 引言

隨著經(jīng)濟(jì)和IT技術(shù)的發(fā)展，企業(yè)/政府內(nèi)部、各單位之間的聯(lián)系日趨緊密，經(jīng)常需要在網(wǎng)絡(luò)上進(jìn)行數(shù)據(jù)的交換和互訪，如何能使不同地域、不同單位、不同類型的數(shù)據(jù)可以進(jìn)行方便的互訪，是目前IT技術(shù)里的重要研究問(wèn)題之一[1][2]。為提高異構(gòu)數(shù)據(jù)轉(zhuǎn)換的的效率，促進(jìn)企業(yè)、政府?dāng)?shù)據(jù)管理工作的規(guī)范化和信息化，必須建立起統(tǒng)一的數(shù)據(jù)交換平臺(tái)[3]，通過(guò)統(tǒng)一的數(shù)據(jù)服務(wù)層實(shí)現(xiàn)異構(gòu)系統(tǒng)的數(shù)據(jù)共享及同步，從而對(duì)交換數(shù)據(jù)進(jìn)行一致性控制[4]。

集成中間件平臺(tái)（Integration Middleware Platform,IMP），是包括一整套服務(wù)系統(tǒng)的集成，為不同的應(yīng)用提供基于數(shù)據(jù)同步要求的轉(zhuǎn)換與壓縮功能，以及智能發(fā)送數(shù)據(jù)到需要該數(shù)據(jù)的系統(tǒng)。

IMP平臺(tái)采用交換節(jié)點(diǎn)、交換代理的方式設(shè)計(jì)，通過(guò)簡(jiǎn)單的節(jié)點(diǎn)規(guī)劃、安裝、部署，為各類數(shù)據(jù)交換應(yīng)用提供技術(shù)方案。同時(shí)，提供完善的系統(tǒng)管理工具，系統(tǒng)管理員通過(guò)瀏覽器即可完成所有的系統(tǒng)監(jiān)控、管理工作。平臺(tái)集JAVA、XML、中間件、工作流等技術(shù)于大成，融合了模型驅(qū)動(dòng)、交換網(wǎng)絡(luò)、數(shù)據(jù)倉(cāng)庫(kù)等先進(jìn)思想，具有至強(qiáng)的系統(tǒng)適用性、擴(kuò)展性，能夠適應(yīng)Windows、Unix/Linux等平臺(tái)環(huán)境，能夠滿足Oracle、Sybase、MS SQL Server、MySql等異構(gòu)數(shù)據(jù)庫(kù)環(huán)境，能夠使用各類用戶自主開(kāi)發(fā)的各類企業(yè)級(jí)數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)，能夠跨越包括防火墻、VPN、物理隔離在內(nèi)的復(fù)雜網(wǎng)絡(luò)環(huán)境，同時(shí)，提供靈活的數(shù)據(jù)建模支持和二次開(kāi)發(fā)能力。

1 系統(tǒng)設(shè)計(jì)目標(biāo)

IMP平臺(tái)重點(diǎn)解決目前軟件系統(tǒng)之間由于數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范不統(tǒng)一，很難進(jìn)行有效的信息傳遞和數(shù)據(jù)共享的問(wèn)題，具體目標(biāo)如下：

（1）實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一性和關(guān)聯(lián)的有機(jī)性，確保系統(tǒng)間具有交錯(cuò)關(guān)系的信息保持一致。

（2）通過(guò)異構(gòu)數(shù)據(jù)的交換和格式處理以及跨系統(tǒng)和跨數(shù)據(jù)庫(kù)的數(shù)據(jù)協(xié)同，實(shí)現(xiàn)系統(tǒng)內(nèi)外間的信息及時(shí)互通。

（3）實(shí)現(xiàn)及時(shí)獲取各個(gè)不同應(yīng)用系統(tǒng)的信息變動(dòng)狀況并按統(tǒng)計(jì)匯總口徑集結(jié)所需要的各種初級(jí)信息，綜合反映各業(yè)務(wù)系統(tǒng)整體協(xié)作過(guò)程的狀態(tài)指標(biāo)。

2 系統(tǒng)架構(gòu)與功能設(shè)計(jì)

IMP平臺(tái)是在多年積累成熟的電子政務(wù)、電子商務(wù)及EDI軟件開(kāi)發(fā)包、數(shù)據(jù)模型驅(qū)動(dòng)及數(shù)據(jù)軟總線技術(shù)的基礎(chǔ)上構(gòu)建而成的。以中間件技術(shù)、工作流技術(shù)為核心，采用多層體系結(jié)構(gòu)，包括核心服務(wù)層、數(shù)據(jù)處理層、數(shù)據(jù)總線等三個(gè)層次和開(kāi)發(fā)工具、管理工具等兩大工具集，具有功能全面、接口靈活、信息共享、標(biāo)準(zhǔn)規(guī)范、安全高效的特點(diǎn)。系統(tǒng)架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

3 核心服務(wù)層

3.1 交換服務(wù)

通過(guò)SQL和XML標(biāo)準(zhǔn)，對(duì)各類數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行自動(dòng)轉(zhuǎn)換，由此可以支持?jǐn)?shù)據(jù)清洗和元數(shù)據(jù)交換等功能的實(shí)現(xiàn)。

定義了需要進(jìn)行傳輸?shù)臄?shù)據(jù)庫(kù)表字段與標(biāo)準(zhǔn)管理中定義好的相應(yīng)標(biāo)準(zhǔn)元素描述信息之間的映射關(guān)系，即以標(biāo)準(zhǔn)管理為“橋梁”，在多個(gè)不同數(shù)據(jù)庫(kù)的相應(yīng)表之間建立起數(shù)據(jù)交換的傳輸規(guī)則。最后生成一份XML文件作為數(shù)據(jù)交換的規(guī)則文件。

數(shù)據(jù)交換報(bào)文接口規(guī)范：采用XML報(bào)文格式，解決業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換。

3.2 流程服務(wù)

該服務(wù)對(duì)各個(gè)集成組件進(jìn)行聚合組織，使其組裝成一個(gè)新的業(yè)務(wù)功能。

（1）業(yè)務(wù)流程編排（Choreography）：用編排的方式來(lái)將各個(gè)集成組件組合成一個(gè)個(gè)業(yè)務(wù)流程，并使其能夠用來(lái)建立更為復(fù)雜的組合流程；

（2）事務(wù)處理（Transactions）：用來(lái)支持兩類事務(wù)的執(zhí)行，一是 ACID（Atomicity,Consistency,Isolation,Durability）事務(wù)型行為，同時(shí)也支持補(bǔ)償性流程的事務(wù)型行為；

（3）人機(jī)交互（Staff）：支持在業(yè)務(wù)流程中集成以“人”為導(dǎo)向的任務(wù)管理，提供對(duì)任務(wù)分配、任務(wù)授權(quán)等人機(jī)交互功能的支持，同時(shí)通過(guò)與“用戶交互服務(wù)”的集成，可以方便管理與工作流相關(guān)的各個(gè)業(yè)務(wù)接觸點(diǎn)。

3.3 路由服務(wù)

用來(lái)定義數(shù)據(jù)交換與傳輸?shù)穆酚尚畔ⅰＢ酚晒芾肀旧黻P(guān)聯(lián)的也是一個(gè)XML文件，此文件與用戶管理中的用戶文件相關(guān)聯(lián)。路由包括TCP模塊、FTP模塊、數(shù)據(jù)導(dǎo)出模塊、數(shù)據(jù)導(dǎo)入模塊和Excel導(dǎo)出模塊，要根據(jù)網(wǎng)絡(luò)的具體情況來(lái)設(shè)置數(shù)據(jù)交換的路由。定義完成后，數(shù)據(jù)交換引擎將根據(jù)用戶的路由信息進(jìn)行數(shù)據(jù)交換。

3.4 消息服務(wù)

通過(guò)消息，可以將一些公共信息發(fā)布到全部或者指定的部分集成客戶端，以在集成客戶端觸發(fā)相應(yīng)的業(yè)務(wù)流程；也可以將產(chǎn)生相關(guān)性的操作信息以消息的方式傳遞到相關(guān)聯(lián)集成客戶端的模塊觸發(fā)操作，以指示操作步驟、方便進(jìn)行相應(yīng)的操作。

3.5 數(shù)據(jù)處理層

該服務(wù)層提供對(duì)已有應(yīng)用及其數(shù)據(jù)進(jìn)行訪問(wèn)和操作的接口，支持事務(wù)型服務(wù)、數(shù)據(jù)庫(kù)連接服務(wù)、消息系統(tǒng)連接服務(wù)以及與其他數(shù)據(jù)源的連接服務(wù)。包括事務(wù)處理服務(wù)、格式轉(zhuǎn)換服務(wù)、異構(gòu)匹配服務(wù)、業(yè)務(wù)規(guī)則服務(wù)等四大功能。

3.6 數(shù)據(jù)總線

數(shù)據(jù)總線定義了一個(gè)虛擬化的層面，該層面使得構(gòu)建在其之上的業(yè)務(wù)集成架構(gòu)能夠運(yùn)行在任何包含了安全、目錄服務(wù)、存儲(chǔ)管理等底層的硬件平臺(tái)之上。

數(shù)據(jù)總線提供了以下支持：

(1)保證在一個(gè)異構(gòu)的環(huán)境中實(shí)現(xiàn)信息穩(wěn)定、可靠的傳輸，屏蔽掉硬件層、操作系統(tǒng)層、網(wǎng)絡(luò)層等相對(duì)復(fù)雜、煩瑣的界面，為用戶提供一個(gè)統(tǒng)一、標(biāo)準(zhǔn)的信息通道，保證用戶的邏輯應(yīng)用和這些底層平臺(tái)沒(méi)有任何關(guān)系，最大限度地提高財(cái)政業(yè)務(wù)應(yīng)用的可移植性、可擴(kuò)充性和可靠性；

(2)提供一個(gè)基于企業(yè)服務(wù)總線（Enterprise Services Bus）的先進(jìn)應(yīng)用整合理念，最大限度地減少應(yīng)用系統(tǒng)互聯(lián)所面臨的復(fù)雜性。系統(tǒng)的實(shí)現(xiàn)維護(hù)都相對(duì)簡(jiǎn)單，保證每一個(gè)應(yīng)用系統(tǒng)的更新和修改都能夠?qū)崟r(shí)地實(shí)現(xiàn)；同時(shí)當(dāng)新的應(yīng)用系統(tǒng)出現(xiàn)時(shí)能夠簡(jiǎn)便的納入到整個(gè)IT環(huán)境當(dāng)中，與其它的應(yīng)用系統(tǒng)相互協(xié)作，共同為用戶提供服務(wù)。

(3)提供全面的整合服務(wù)能力，為用戶提供完整的整合服務(wù)功能，可以涵蓋到整合的各個(gè)層面。

4 管理工具

管理工具包括元數(shù)據(jù)配置、系統(tǒng)監(jiān)控、定時(shí)服務(wù)、系統(tǒng)日志等管理配置工具。

(1)元數(shù)據(jù)配置：提供數(shù)據(jù)映射模板配置，傳輸服務(wù)監(jiān)控。

(2)系統(tǒng)監(jiān)控：提供系統(tǒng)連接池、系統(tǒng)運(yùn)行情況的監(jiān)控。

(3)定時(shí)服務(wù)：對(duì)系統(tǒng)定時(shí)執(zhí)行任務(wù)相關(guān)屬性進(jìn)行配置定義，系統(tǒng)定時(shí)服務(wù)引擎根據(jù)相關(guān)參數(shù)進(jìn)行定時(shí)任務(wù)執(zhí)行。

(4)系統(tǒng)日志：提供對(duì)系統(tǒng)日志、數(shù)據(jù)交換日志查詢、分析、統(tǒng)計(jì)功能。

5 開(kāi)發(fā)工具

為了實(shí)現(xiàn)源數(shù)據(jù)元格式與目的數(shù)據(jù)元格式的映射關(guān)系定義，我們定制開(kāi)發(fā)了一個(gè)基于圖形的操作界面來(lái)完成數(shù)據(jù)轉(zhuǎn)換，它內(nèi)嵌大量常用功能函數(shù)，同時(shí)提供強(qiáng)大的二次開(kāi)發(fā)功能。如圖2所示。

而對(duì)于目標(biāo)數(shù)據(jù)元為數(shù)據(jù)庫(kù)的映射，我們同時(shí)也提供了一個(gè)基于圖形的數(shù)據(jù)表模式操作模塊，它可以支持多種數(shù)據(jù)庫(kù)操作，包括 Oracle，MSsql，Sybase，DB2，Mysql，MSacess。它可以圖形映射數(shù)據(jù)對(duì)象和圖形定義數(shù)據(jù)操作。如圖3所示。

圖2 數(shù)據(jù)轉(zhuǎn)換工具

圖3 O/R Mapping工具

系統(tǒng)關(guān)鍵技術(shù)

6 數(shù)據(jù)適配器技術(shù)

采用XML為核心的數(shù)據(jù)處理機(jī)制，提供系統(tǒng)數(shù)據(jù)的異構(gòu)性。對(duì)于不同的數(shù)據(jù)源，采用統(tǒng)一的數(shù)據(jù)調(diào)用接口。數(shù)據(jù)交換基于 XML和 OMG EAI規(guī)范。

數(shù)據(jù)接口具備的功能：特定數(shù)據(jù)源參數(shù)的設(shè)置；數(shù)據(jù)源——》XML；XML——》數(shù)據(jù)源。

圖4 數(shù)據(jù)映射邏輯圖

對(duì)于連接(Connectivity)，其目標(biāo)就是將源應(yīng)用系統(tǒng)的數(shù)據(jù)傳送到目的應(yīng)用系統(tǒng)。我們?cè)诮⒛Ｐ蜁r(shí)，設(shè)立了兩種應(yīng)用適配器(Application Adapter)： SourceAdapter和TargetAdapter，SourceAdapter負(fù)責(zé)從源應(yīng)用系統(tǒng)讀取特定格式的數(shù)據(jù)，并轉(zhuǎn)換成IMP消息，然后發(fā)送到集成代理(Integration Broker)；集成代理再把消息傳送到TargetAdapter；TargetAdapter收到消息后，把消息再轉(zhuǎn)換成目的應(yīng)用系統(tǒng)特定格式的數(shù)據(jù)，寫(xiě)給目的應(yīng)用系統(tǒng)，完成數(shù)據(jù)從源到目的的傳輸。

圖5 基于連接的集成模式

7 構(gòu)件技術(shù)

系統(tǒng)核心采用以構(gòu)件為基礎(chǔ)的集成平臺(tái)的建立和運(yùn)行。

（1）構(gòu)件容器(Component Container)：構(gòu)件的運(yùn)行平臺(tái)。

（2）協(xié)同引擎(Collaboration Engine)：協(xié)同構(gòu)件之間的工作。

（3）構(gòu)件組裝器(Component Fittingshop)：負(fù)責(zé)對(duì)構(gòu)件協(xié)同編排創(chuàng)建模型，即XM文檔，進(jìn)行解釋，并加載相關(guān)的構(gòu)件到構(gòu)件容器中。

（4）模型映射 (Model Mapping)：EAI元模型到IMP模型的映射。

（5）XML解釋器(XML Parser)：將 XML文檔解釋成IMP消息格式，或反過(guò)來(lái)的解釋操作。

8 消息驅(qū)動(dòng)技術(shù)

在分布式應(yīng)用，消息是常用的一個(gè)概念。在分布式應(yīng)用中，不同的應(yīng)用進(jìn)程之間傳遞、交換的信息統(tǒng)稱為消息。消息由消息的內(nèi)容及消息的接收者名單組成。消息的內(nèi)容及格式由該消息的提供者及接收者協(xié)商而定。在形式上，消息可表現(xiàn)為一個(gè)小的數(shù)據(jù)包，亦可表現(xiàn)為一個(gè)很大的文件。

消息的提供者：是指產(chǎn)生該消息的實(shí)體，如應(yīng)用程序。

消息的接收者：是指某消息的指定接收實(shí)體。消息的接收者并不一定接收到該消息，它只是該消息的原定接收者。

消息的傳送者：是指負(fù)責(zé)從消息的提供者獲取消息，并將消息的內(nèi)容傳送到消息接收者的實(shí)體。消息的傳送者有時(shí)不只是一個(gè)實(shí)體，而是特定實(shí)體的集合。它們共同扮演消息傳送者角色。

9 系統(tǒng)應(yīng)用實(shí)踐

在某大型物流公司信息系統(tǒng)建設(shè)中，采用了IMP平臺(tái)作為各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采集及協(xié)同的工具。IMP平臺(tái)把多個(gè)系統(tǒng)中的數(shù)據(jù)進(jìn)行無(wú)縫集成，例如貨運(yùn)委托、業(yè)務(wù)接單、費(fèi)用結(jié)算、統(tǒng)計(jì)分析、信息采集發(fā)布等，它可以針對(duì)不同的系統(tǒng)之間的異構(gòu)數(shù)據(jù)元進(jìn)行采集與識(shí)別，通過(guò)后臺(tái)制定的規(guī)則進(jìn)行數(shù)據(jù)映射。它通過(guò)采用系統(tǒng)標(biāo)準(zhǔn)接口，實(shí)現(xiàn)了對(duì)委托書(shū)信息、發(fā)票和裝箱單等異構(gòu)數(shù)據(jù)的自動(dòng)導(dǎo)入、整理和分析。同時(shí)，該平臺(tái)具備與多類傳輸平臺(tái)系統(tǒng)的接口，可進(jìn)行多種方式的數(shù)據(jù)傳輸，例如MQ、XIB等平臺(tái)都可以進(jìn)行結(jié)合，為實(shí)現(xiàn)物流系統(tǒng)的快速實(shí)施以及安全穩(wěn)定的運(yùn)行奠定了良好的基礎(chǔ)。

在系統(tǒng)綜合考慮多個(gè)業(yè)務(wù)子系統(tǒng)之間數(shù)據(jù)整合的共性需求的同時(shí)，整個(gè)物流公司業(yè)務(wù)系統(tǒng)還借助IMP平臺(tái)實(shí)現(xiàn)了信息整合方面共性需求功能，如數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)整合和運(yùn)行監(jiān)控等，這些功能實(shí)現(xiàn)了從基礎(chǔ)數(shù)據(jù)整合、到數(shù)據(jù)控制和統(tǒng)計(jì)分析。本文提出的系統(tǒng)對(duì)異構(gòu)數(shù)據(jù)處理的實(shí)時(shí)性、正確性和有效性在項(xiàng)目中得到很好的驗(yàn)證。

10 結(jié)束語(yǔ)

異構(gòu)系統(tǒng)的數(shù)據(jù)共享及實(shí)時(shí)同步是一個(gè)很復(fù)雜的處理過(guò)程，要考慮的因素較多、模塊也較復(fù)雜，因此，在系統(tǒng)架構(gòu)方面要處理的內(nèi)容相當(dāng)多。IMP平臺(tái)實(shí)現(xiàn)了為不同的應(yīng)用提供基于數(shù)據(jù)同步要求的轉(zhuǎn)換與壓縮功能，智能發(fā)送數(shù)據(jù)到相應(yīng)系統(tǒng)；實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一性和關(guān)聯(lián)的有機(jī)性；實(shí)現(xiàn)了高效率和易管理；并在某大型物流公司信息系統(tǒng)建設(shè)中得到很好的驗(yàn)證。

[1]申利民，李衛(wèi)東.面向協(xié)同系統(tǒng)集成的數(shù)據(jù)同步模型[J].計(jì)算機(jī)應(yīng)用研究，2012，29(4)：1384-1386.

[2]邢華.異構(gòu)數(shù)據(jù)轉(zhuǎn)換系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].大連理工大學(xué)，2009.

[3]蔣溢，丁優(yōu)，熊安萍.基于EAI消息平臺(tái)的異構(gòu)系統(tǒng)數(shù)據(jù)同步[J].計(jì)算機(jī)工程，2011，37(21)：52-54.

[4]王博，李臘元，馮美來(lái).基于數(shù)據(jù)同步的增值業(yè)務(wù)的開(kāi)發(fā)[J].計(jì)算機(jī)工程，2009，35(3)：115-117.