張鵬

摘要：為了滿足面向中小型企業(yè)應用的B2B電子商務系統(tǒng)的平臺級信息化管理的需求，該文通過對數(shù)據(jù)集成技術的應用研究，結合B2B電子商務系統(tǒng)的實際業(yè)務環(huán)境，研究出了平臺級電子臺賬系統(tǒng)的設計方案，并對方案的實現(xiàn)給予部分展示。

關鍵詞：多數(shù)據(jù)庫；電子商務；數(shù)據(jù)集成

中圖分類號：TP391. 41 文獻標志碼：A 文章編號：1009-3044（2015）36-0141-02

隨著網(wǎng)絡信息技術的發(fā)展，業(yè)務復雜性的提高，用戶不在局限于本身存儲的數(shù)據(jù)，而是需要通過網(wǎng)獲取跨領域、跨服務器的數(shù)據(jù)，在這種背景下數(shù)據(jù)集成技術應運而生，總的來說，數(shù)據(jù)集成[2]是通過一些的技術手段，將分布式的、異構的獨立數(shù)據(jù)源按照一定的規(guī)則統(tǒng)一起來，為用戶提供統(tǒng)一的數(shù)據(jù)接口，用戶以透明的方式訪問這些數(shù)據(jù)，而不需要知道數(shù)據(jù)來自于哪個數(shù)據(jù)源。本文基于為中小企業(yè)開發(fā)的B2B電子商務系統(tǒng)，該系統(tǒng)建立于多數(shù)據(jù)庫環(huán)境[1]下，為多家企業(yè)提供集中的信息智能化服務，所有注冊企業(yè)共用一套應用軟件，每個企業(yè)及其下屬企業(yè)擁有一套獨立的數(shù)據(jù)庫。因此，為了綜合管理各企業(yè)，及其員工、銷售、倉庫等信息，需要采用數(shù)據(jù)集成技術為其設計開發(fā)一套平臺級電子臺賬系統(tǒng)。

1 數(shù)據(jù)集成技術介紹

傳統(tǒng)的數(shù)據(jù)集成技術主要分為兩大類，基于數(shù)據(jù)復制的數(shù)據(jù)集成技術和基于中間件的數(shù)據(jù)集成技術。

1.1 基于數(shù)據(jù)復制的數(shù)據(jù)集成技術

基于數(shù)據(jù)復制的數(shù)據(jù)集成技術需要設置一個集成數(shù)據(jù)庫，將來自不同數(shù)據(jù)源的數(shù)據(jù)復制到集成數(shù)據(jù)庫中，針對異構性的數(shù)據(jù)源還要經(jīng)過抽取、轉換、加載（Extract、Transform、Lode，ETL）[3]的過程來消除異構性，用戶訪問數(shù)據(jù)集成系統(tǒng)時直接從集成系統(tǒng)獲得數(shù)據(jù)而不需要再訪問各數(shù)據(jù)源。通常所說的數(shù)據(jù)倉庫方法就是基于數(shù)據(jù)復制的數(shù)據(jù)集成方式。此方法的缺點是數(shù)據(jù)更新不夠及時，時效性略差。

1.2 基于中間件的數(shù)據(jù)集成技術

此方法也叫虛擬視圖法，主要包括兩部分：中介器（Mediator）和包裝器（Wrapper），將來自不同數(shù)據(jù)源的異構性數(shù)據(jù)進行包裝，消除數(shù)據(jù)源的異構性[6]，向用戶提供一個虛擬的用戶視圖，基于中間件的數(shù)據(jù)集成系統(tǒng)本身不存儲任何實際的數(shù)據(jù)，用戶在虛擬視圖的基礎上向中介器發(fā)出數(shù)據(jù)查詢請求，中介器將查詢請求分解為面向各數(shù)據(jù)源的子查詢請求，包裝器執(zhí)行子查詢將經(jīng)過包裝的數(shù)據(jù)返回給中介器。由于數(shù)據(jù)集成系統(tǒng)中沒有存儲實際的數(shù)據(jù)，用戶查詢的數(shù)據(jù)都是最新的，所以相對于基于數(shù)據(jù)復制的數(shù)據(jù)集成方法此方法的時效性要好。

2 平臺級電子臺賬系統(tǒng)的設計與實現(xiàn)

2.1 系統(tǒng)體系結構

針對平臺用戶的需求分析，平臺級電子臺賬系統(tǒng)[4]擦用基于B/S體系Spring MVC框架設計模式的解決方案，B/S體系是隨著互聯(lián)網(wǎng)技術的發(fā)展采用互聯(lián)網(wǎng)模式構建的數(shù)據(jù)訪問系統(tǒng)，系統(tǒng)設計為三層模型，如圖1所示，數(shù)據(jù)層系統(tǒng)依托于B2B電子商務系統(tǒng)的基于Oracle的分布式多數(shù)據(jù)庫環(huán)境，有個數(shù)據(jù)庫分布在多個服務器上，存儲各個企業(yè)節(jié)點的業(yè)務數(shù)據(jù)，各數(shù)據(jù)庫服務器的鏈接采用DBLINK技術，次技術為分布式數(shù)據(jù)庫應用環(huán)境的兩臺數(shù)據(jù)庫實現(xiàn)跨數(shù)據(jù)庫訪問搭建通信橋梁，通過DBLINK本地數(shù)據(jù)庫可以像訪問本地數(shù)據(jù)庫一樣訪問遠程數(shù)據(jù)庫。中間層為系統(tǒng)核心功能層應用服務層，完成主要的數(shù)據(jù)集成工作以及數(shù)據(jù)集成完整性監(jiān)控工作。上層為應用顯示層主要為用戶提供集成數(shù)據(jù)的查詢與集成結果的展示工作。

本系統(tǒng)作為一個web應用運行在一個web服務器上，用戶只需通過瀏覽器即訪問系統(tǒng)的應用顯示層界面，當前流行的WEB開發(fā)有多種，例如C#，PHP，J2EE等，本系統(tǒng)采用基于JAVA的J2EE WEB開發(fā)技術，因為J2EE是面向企業(yè)級應用開發(fā)的平臺[5]，通過基于組件的程序模型為分布式應用提供統(tǒng)一的標準，具有可伸縮性、靈活性、易維護性等優(yōu)點。

2.2 系統(tǒng)集成數(shù)據(jù)模型設計

平臺級電子臺賬系統(tǒng)需要綜合反映出所有注冊企業(yè)的基本信息，如企業(yè)的銷售額統(tǒng)計、企業(yè)和倉庫的正常、注銷等情況，企業(yè)信息可直接取自各企業(yè)數(shù)據(jù)節(jié)點的企業(yè)信息表，而銷售額統(tǒng)計信息則需要統(tǒng)計過各個企業(yè)數(shù)據(jù)節(jié)點的訂單之后通過計算得到，因此臺賬表的數(shù)據(jù)直接或間接來源于企業(yè)數(shù)據(jù)節(jié)點的數(shù)據(jù)表，數(shù)據(jù)模型如圖2所示，依據(jù)該模型，為本系統(tǒng)設計了三張平臺級臺賬數(shù)據(jù)表，存儲各企業(yè)數(shù)據(jù)節(jié)點集成而來的數(shù)據(jù)，分別為企業(yè)銷售臺賬表，企業(yè)信息臺賬表和企業(yè)倉庫信息臺賬表。

2.3 數(shù)據(jù)集成策略選擇

B2B電子商務系統(tǒng)基于分布式多數(shù)據(jù)庫環(huán)境下，多個企業(yè)數(shù)據(jù)節(jié)點分布在不同的數(shù)據(jù)庫服務器上，因此存在兩種數(shù)據(jù)集成策略，一種是平臺級電子臺賬系統(tǒng)輪流調度節(jié)點拉取數(shù)據(jù)，一種是分布式企業(yè)數(shù)據(jù)節(jié)點主動向平臺級電子臺系統(tǒng)推送數(shù)據(jù)。采取第一種方式，平臺級電子臺賬系統(tǒng)按企業(yè)編號串行抽取數(shù)據(jù)獲得數(shù)據(jù)，此策略需要維護一張企業(yè)調度表，針對添加和注銷企業(yè)的情況，需要實時維護調度表，另外企業(yè)數(shù)據(jù)的傳輸量不固定，數(shù)據(jù)傳輸量的大小決定數(shù)據(jù)集成用時的長短，而且系統(tǒng)集成方式設計為定時集成策略，當企業(yè)節(jié)點規(guī)模擴大時采取此策略會導致等待調度的時間大大延長，消耗不必要的時間，同時由于時間點的錯位也可能導致集成數(shù)據(jù)的不準確。而分布式節(jié)點主動推送數(shù)據(jù)的策略不需要額外維護調度表，靈活性高，而且根據(jù)平臺級臺賬系統(tǒng)的實際需求企業(yè)節(jié)點推送的數(shù)據(jù)不會過大，同時企業(yè)節(jié)點定時準備數(shù)據(jù)、推送數(shù)據(jù)，可以保證數(shù)據(jù)的準確性。

因此，根據(jù)實際應用綜合比較后，采取企業(yè)數(shù)據(jù)節(jié)點定時主動推送的集成策略，并且依據(jù)數(shù)據(jù)更新的頻率，將企業(yè)信息和倉庫信息的推送設置為按月推送，企業(yè)銷售額信息則設計為按日定時推送，以便用戶及時掌握各企業(yè)的銷售情況。

2.4 集成數(shù)據(jù)完整性監(jiān)控

首先，為保證集成數(shù)據(jù)的準確性和完整性，需要設計一張集成日志信息表，當企業(yè)數(shù)據(jù)節(jié)點向平臺級電子臺賬系統(tǒng)表推送完數(shù)據(jù)后，向此數(shù)據(jù)表插入一條數(shù)據(jù)表明數(shù)據(jù)推送完畢，該條數(shù)據(jù)表示推送數(shù)據(jù)的數(shù)據(jù)庫實例，數(shù)據(jù)表空間，推送時間、數(shù)據(jù)推送數(shù)據(jù)量等推送日志信息。

然后，各企業(yè)數(shù)據(jù)節(jié)點推送完數(shù)據(jù)，啟動一個監(jiān)控進程，設置數(shù)據(jù)推送一個小時之后啟動，工作分為兩步，一是統(tǒng)計數(shù)據(jù)推送日志信息，對比日志信息和企業(yè)數(shù)據(jù)節(jié)點的數(shù)據(jù)量，二是判斷集成信息日志表是否包含所有企業(yè)數(shù)據(jù)節(jié)點，因為當出現(xiàn)網(wǎng)絡故障時，如一個企業(yè)節(jié)點失去聯(lián)系，則該數(shù)據(jù)節(jié)點數(shù)據(jù)不會推送成功，因此集成日志信息將沒有該節(jié)點的日志信息，當出現(xiàn)上述兩種情況時標明該企業(yè)節(jié)點數(shù)據(jù)集成失敗，監(jiān)控進程要對失敗的企業(yè)數(shù)據(jù)節(jié)點的數(shù)據(jù)重新集成，因為保證合理性，應對突發(fā)性網(wǎng)絡故障，監(jiān)控進程要執(zhí)行三次每個一小時啟動執(zhí)行一次，執(zhí)行完后對仍然數(shù)據(jù)集成失敗的企業(yè)數(shù)據(jù)節(jié)點要設置推送結果標志位字段，表明該企業(yè)數(shù)據(jù)節(jié)點數(shù)據(jù)集成失敗，平臺用戶根據(jù)集成日志信息表，排查原因，并設置對數(shù)據(jù)集成失敗的企業(yè)節(jié)點采用手動集成的方式重新集成數(shù)據(jù)功能。監(jiān)控工作流程圖3所示：

2.5 實驗結果部分展示

以企業(yè)銷售臺賬為例，企業(yè)銷售臺賬需要企業(yè)節(jié)點每日零點定時推送當日銷售額，以供平臺級用戶了解各企業(yè)節(jié)點的銷售情況，如圖4所示：

3 結束語

本文首先介紹了數(shù)據(jù)集成的概念，并介紹一些集成方法，接著基于B2B電子商務系的實際需求，設計了平臺級電子臺賬系統(tǒng)的系統(tǒng)結構，數(shù)據(jù)模型，提出了數(shù)據(jù)主動推送的數(shù)據(jù)集成策略，并對相關實驗結果給予展示。但是隨著企業(yè)節(jié)點的逐步增多，數(shù)據(jù)集成策略的優(yōu)化將是今后研究的重點。

參考文獻：

[1] 吳明禮， 張其麟. 基于Oracle實現(xiàn)多數(shù)據(jù)庫環(huán)境多級數(shù)據(jù)倉庫的ETL[J]. 現(xiàn)代計算機， 2014（5）： 54-57.

[2] 龔建華. 數(shù)據(jù)集成技術研究[J]. 辦公自動化雜志， 2012（5）： 52-53.

[3] 李軍， 孫蕾， 王澤芳. 基于ETL 的校園數(shù)據(jù)集成技術研究[J]. 電腦知識與技術， 2013（28）.

[4] 王家宏， 孫晉海， 尹超. 基于數(shù)據(jù)集成的水上項目國家隊數(shù)據(jù)庫網(wǎng)絡管理平臺的設計與開發(fā)[J]. 山東體育學院學報， 2015， 31（1）： 1-7.

[5] 劉雍， 陳振中. 基于J2EE和XML的數(shù)據(jù)集成技術研究[J]. 科技信息， 2013（5）.

[6] 張靜. 高校異構數(shù)據(jù)集成的分析與設計[J]. 科技經(jīng)濟市場， 2010（7）： 3-5.