劉傳堯，謝火木，施芝元

（1.廈門(mén)大學(xué)現(xiàn)代教育技術(shù)與實(shí)踐訓(xùn)練中心，2.廈門(mén)大學(xué)信息科學(xué)與技術(shù)學(xué)院，福建 廈門(mén)361005）

高校校園信息化在建設(shè)初期由于沒(méi)有進(jìn)行統(tǒng)籌規(guī)劃，各部門(mén)各自為陣，在全校范圍內(nèi)逐步建立了自己的信息系統(tǒng)，如教務(wù)系統(tǒng)、科研系統(tǒng)、人事系統(tǒng)等，經(jīng)過(guò)近20年的發(fā)展，系統(tǒng)功能已經(jīng)趨于完善，并已經(jīng)融入到日常工作中，但隨著校園信息化的基礎(chǔ)設(shè)施的完善，這些孤立的系統(tǒng)逐漸顯現(xiàn)出了它們的弊端，其中最主要的問(wèn)題就是這些系統(tǒng)之間無(wú)法實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)同步與信息共享而形成了所謂的“信息孤島”［1］.目前主要解決的辦法有2種：1）推翻原有系統(tǒng)，建立校級(jí)數(shù)據(jù)中心，由學(xué)校重新規(guī)劃建設(shè)各部門(mén)信息系統(tǒng)，但成本過(guò)高；2）對(duì)原有的系統(tǒng)進(jìn)行升級(jí)改造，然后實(shí)現(xiàn)跨部門(mén)之間的實(shí)時(shí)數(shù)據(jù)同步，讓“數(shù)據(jù)孤島”之間的基礎(chǔ)數(shù)據(jù)有效共享、合并冗余數(shù)據(jù)［2］，這是目前普遍采用的方法.

1 數(shù)字校園“信息孤島”簡(jiǎn)介

所謂“信息孤島”（information isolated island）指的是相對(duì)獨(dú)立的不同類(lèi)型的信息系統(tǒng)，由于相互封閉，無(wú)法進(jìn)行順暢的信息交流，猶如一個(gè)個(gè)分散、獨(dú)立的島嶼［3］.其本質(zhì)問(wèn)題就是這些獨(dú)立的系統(tǒng)之間所生成的數(shù)據(jù)無(wú)法相互共享、數(shù)據(jù)不一致，這不僅導(dǎo)致了不同的系統(tǒng)因獨(dú)立管理而產(chǎn)生大量冗余數(shù)據(jù)，而且由于系統(tǒng)與系統(tǒng)之間缺乏數(shù)據(jù)關(guān)聯(lián)，無(wú)法對(duì)數(shù)據(jù)進(jìn)行科學(xué)分析，特別在大數(shù)據(jù)時(shí)代學(xué)校無(wú)法使用這些數(shù)據(jù)進(jìn)行科學(xué)的管理與決策.高?！靶畔⒐聧u”產(chǎn)生的原因主要是在信息化建設(shè)初期，在認(rèn)識(shí)上，沒(méi)有充分理解信息化內(nèi)涵；在管理上，缺少統(tǒng)一規(guī)劃；在技術(shù)上，只注重硬件投入，而忽略軟件資源的建設(shè)［3］.

查閱文獻(xiàn)發(fā)現(xiàn)，目前在解決高校“信息孤島”問(wèn)題上，主要還是從政策理論上去避免“信息孤島”的產(chǎn)生，通過(guò)技術(shù)來(lái)解決現(xiàn)存的“信息孤島”的方案相關(guān)文獻(xiàn)比較缺乏.目前也有專(zhuān)家提出基于信息交換平臺(tái)的實(shí)現(xiàn)方法，比如，顏廷良［4］提出基于XML消息的安全數(shù)據(jù)交換平臺(tái)研究與應(yīng)用，郭向陽(yáng)［5］提出基于數(shù)據(jù)庫(kù)復(fù)制技術(shù)的云交換平臺(tái)研究與實(shí)現(xiàn)等.本文提出的是一種基于日志解析數(shù)據(jù)同步的“數(shù)據(jù)孤島”解決方案.該方案的優(yōu)勢(shì)在于操作方便，適合遠(yuǎn)程同步操作，可以實(shí)現(xiàn)記錄級(jí)、表一級(jí)以及異構(gòu)表間的數(shù)據(jù)同步等.

2 系統(tǒng)設(shè)計(jì)方案

2.1 系統(tǒng)設(shè)計(jì)的總體思想

本文提出的數(shù)字校園的數(shù)據(jù)同步方案，主要依靠分析Oracle數(shù)據(jù)庫(kù)Redo日志文件，解析日志中的SQL語(yǔ)句，進(jìn)而讓遠(yuǎn)程目標(biāo)服務(wù)器執(zhí)行同樣SQL語(yǔ)句來(lái)實(shí)現(xiàn)云同步.

Oracle數(shù)據(jù)庫(kù)的操作事務(wù)都記錄在Redo日志中，但是原始的Redo日志是加密存儲(chǔ)的非開(kāi)放二進(jìn)制數(shù)據(jù)，無(wú)法直接提取閱讀，要解析Oracle日志，目前比較好的方法就是使用Oracle公司提供的LogMiner工具.LogMiner工具是Oracle8i版本以后新增加的功能，通過(guò)使用LogMiner程序，可以對(duì)Oracle日志進(jìn)行解析，解析在線日志、離線日志以及數(shù)據(jù)庫(kù)的重作日志文件［6］，從而獲得相應(yīng)數(shù)據(jù)庫(kù)操作的DML語(yǔ)句，然后利用Flex詞法分析編譯工具，構(gòu)造針對(duì)SQL語(yǔ)句的解析器，并在解析以后重構(gòu)同步端需要的目標(biāo)語(yǔ)句.

在廣域網(wǎng)數(shù)字校園環(huán)境下開(kāi)發(fā)云同步系統(tǒng)，主要技術(shù)瓶頸還是增量事件和數(shù)據(jù)如何同步到云端以及云同步系統(tǒng)的效率問(wèn)題［7］.傳統(tǒng)的分布式數(shù)據(jù)庫(kù)環(huán)境中采用的靜態(tài)數(shù)據(jù)備份技術(shù)，由于傳輸數(shù)據(jù)文件容量巨大，導(dǎo)致效率很低［8－9］，不適用于今天的云技術(shù)發(fā)展，所以增量事務(wù)同步成為云同步方案中唯一可行的選擇［10－11］.在 Oracle數(shù)據(jù)庫(kù)中，增量事務(wù)同步需要解決Redo日志的解析以及增量事務(wù)和數(shù)據(jù)在云端計(jì)算機(jī)快速入庫(kù)的問(wèn)題.

2.2 語(yǔ)法解析器的構(gòu)造原理

快速詞法分析產(chǎn)生器（Flex）是一種詞法分析程序，它是LEX的開(kāi)放源代碼版本，以BSD許可證發(fā)布.本文使用的Flex版本為Flex2.5.2.Flex主要功能是依據(jù)用戶定義的正則表達(dá)式構(gòu)詞規(guī)則，生成掃描詞法結(jié)構(gòu)的自動(dòng)程序.與自己設(shè)計(jì)詞法解析程序相比，F(xiàn)lex的速度和準(zhǔn)確度高得多，并且采用它，可以減少書(shū)寫(xiě)大量的代碼.

2.2.1 SQL語(yǔ)句解析器

本文的SQL語(yǔ)句解析器的設(shè)計(jì)如下：

1）基本SQL關(guān)鍵字解析，采用依據(jù)正則表達(dá)式直接構(gòu)造關(guān)鍵詞的方法.

2）SQL中的 Where語(yǔ)句解析.以下適用于不帶like，in等結(jié)構(gòu)的簡(jiǎn)單where語(yǔ)句.

3）SQL語(yǔ)句中的insert的values值域解析.本文采用的構(gòu)造規(guī)則僅適用于標(biāo)準(zhǔn)SQL insert語(yǔ)句：

4）SQL語(yǔ)句中Set語(yǔ)句解析.舉例SQL結(jié)構(gòu)解析針對(duì)帶有to＿date類(lèi)型的SQL語(yǔ)句.

采用如下的SQL詞法構(gòu)造方法：

2.2.2 SQL語(yǔ)句解析類(lèi)的設(shè)計(jì)

利用Flex構(gòu)造的SQL語(yǔ)句解析規(guī)則后需要在云同步系統(tǒng)中調(diào)用，還需要設(shè)計(jì)可重用的C＋＋類(lèi)庫(kù).以下列舉本文云同步系統(tǒng)中采用的SQL語(yǔ)句解析類(lèi)的結(jié)構(gòu)說(shuō)明，其中FlexLexer.h為Flex類(lèi)庫(kù)中的標(biāo)準(zhǔn)頭文件.

3 數(shù)字校園云同步系統(tǒng)的實(shí)現(xiàn)

系統(tǒng)總體設(shè)計(jì)由3大模塊構(gòu)成，分別為云源端、云目的端和云控制端.云源端和云目的端以服務(wù)的方式運(yùn)行，云控制端為一個(gè)在Windows下運(yùn)行的32位應(yīng)用程序.云源端根據(jù)云控制端發(fā)送的要求，操縱地方各局?jǐn)?shù)據(jù)庫(kù)，然后提供系統(tǒng)所需的源數(shù)據(jù).目的端依據(jù)系統(tǒng)在云控制端的設(shè)置，在設(shè)定的周期內(nèi)，抽取云源端的數(shù)據(jù)，并進(jìn)行入庫(kù).云控制端操縱云源端和云目的端運(yùn)行，并提供圖形控制界面供用戶設(shè)置云同步系統(tǒng)運(yùn)行所需參數(shù).云同步系統(tǒng)各端定義如下：

1）云控制端：獲取云源端、云目的端數(shù)據(jù)庫(kù)的表信息和字段信息，并提供展示界面；提供云源端和云目的端對(duì)應(yīng)數(shù)據(jù)表和字段映射的圖形操作界面；提供ftp信息配置界面和同步時(shí)間設(shè)置界面，并提供ftp連接測(cè)試界面；反饋信息圖形展示界面；將相關(guān)云同步配置信息發(fā)送給云客戶端和云服務(wù)端的監(jiān)聽(tīng)端口.

2）云源端：捕獲指定監(jiān)聽(tīng)端口的云控制端表格映射信息、同步文件夾和同步信號(hào)；依據(jù)捕獲到的時(shí)間信號(hào)，調(diào)用LogMiner進(jìn)行解析入庫(kù)，并根據(jù)得到的表格映射信息，將入庫(kù)結(jié)果保存為.XML文件中；在云端同步時(shí)間到達(dá)時(shí)，將.XML文件上傳到指定的同步文件夾；周期捕獲云目的端的時(shí)間信號(hào).

3）云目的端：在指定的監(jiān)聽(tīng)端口捕捉來(lái)自云控制端的時(shí)間同步信號(hào)；在指定的時(shí)間同步信號(hào)內(nèi)讀取云源端上傳的語(yǔ)法構(gòu)造.XML文件，并依據(jù)語(yǔ)法規(guī)則構(gòu)造SQL語(yǔ)句執(zhí)行入庫(kù).

3.1 云源端的實(shí)現(xiàn)

云源端運(yùn)行數(shù)據(jù)存儲(chǔ)過(guò)程LOG＿DUMP，利用LogMiner對(duì)Oracle數(shù)據(jù)庫(kù)的Redo日志文件進(jìn)行解析，并將結(jié)果存入與Redo日志文件同名的表中.云源端程序（Cloud＿XS）將讀取的解析結(jié)果存入數(shù)據(jù)庫(kù)，并依據(jù)在云控制端配置的數(shù)據(jù)表映射關(guān)系將相關(guān)的SQL語(yǔ)句進(jìn)行轉(zhuǎn)換，保存為.XML格式的文件，在云交換時(shí)間到達(dá)時(shí)以ftp方式上傳到云目標(biāo)端.

云源端數(shù)據(jù)存儲(chǔ)過(guò)程主要功能包括SQL語(yǔ)句分析，通過(guò)Flex編寫(xiě)詞法解析器，解析并重構(gòu)符合OTL接口標(biāo)準(zhǔn)的SQL語(yǔ)句［12］；創(chuàng)建.XML文件，將構(gòu)造好的SQL語(yǔ)句依據(jù)云控制端的表項(xiàng)映射倒入到一個(gè).XML文件中；訪問(wèn)Oracle數(shù)據(jù)庫(kù)，從云控制端讀取同步參數(shù)（包括握手參數(shù)、時(shí)間參數(shù)和回滾參數(shù)等）；客戶端功能，向云目標(biāo)端上傳構(gòu)造好的含有SQL語(yǔ)句的.XML文件.云源端數(shù)據(jù)存儲(chǔ)過(guò)程業(yè)務(wù)邏輯詳見(jiàn)圖1.

云源端程序主要功能包括自動(dòng)歸檔Redo日志和調(diào)用LogMiner解析最新歸檔的Redo日志.云源端的輸入為經(jīng)過(guò)LogMiner所解析的Redo日志，表的字段為：SCN，TIMESTAMP，SEG ＿OWNER，SEG ＿NAME，ROW＿ID，SQL＿REDO.表名稱同其對(duì)應(yīng)的Redo日志名稱同名.云源端程序?qū)腞edo日志解析中獲取的結(jié)果，根據(jù)云控制端配置的表映射信息進(jìn)行轉(zhuǎn)換，將轉(zhuǎn)換結(jié)果以XML文件的形式輸出.云源端程序流程詳見(jiàn)圖2.

3.2 云目標(biāo)端的實(shí)現(xiàn)

云目標(biāo)端主要負(fù)責(zé)在云交換時(shí)間到達(dá)時(shí)，讀取云源端程序上傳的.XML文件，將提取內(nèi)部保存的SQL語(yǔ)句執(zhí)行入庫(kù).云目標(biāo)端的主要功能包括創(chuàng)建Cloud＿XD數(shù)據(jù)庫(kù)，解析.XML文件和執(zhí)行入庫(kù)操作.云目標(biāo)端輸入為Cloud＿XS程序上傳的.XML文件.云目標(biāo)端程序流程詳見(jiàn)圖3.

3.3 云控制端的實(shí)現(xiàn)

云控制端程序主要負(fù)責(zé)提供圖形化的云源端與云目標(biāo)端數(shù)據(jù)表映射關(guān)系，以及增刪改操作界面（由于云源端與云目標(biāo)端對(duì)應(yīng)表的字段可能不一致，可能在此過(guò)程中需要人工確定對(duì)應(yīng)表格映射關(guān)系）.

圖1 云源端數(shù)據(jù)存儲(chǔ)過(guò)程Fig.1 Cloud source client data storage process

云控制端的處理流程包括：通過(guò)用戶輸入獲取云目標(biāo)端數(shù)據(jù)庫(kù)的信息后，連接云目標(biāo)端數(shù)據(jù)庫(kù)，讀取Cloud＿XD.Source表獲取云源端的數(shù)據(jù)庫(kù)表信息.通過(guò)Cloud＿XD.Source表獲取源數(shù)據(jù)庫(kù)的信息可以訪問(wèn)云源端各個(gè)數(shù)據(jù)庫(kù)Cloud＿XS.Map和Cloud＿XS.Field獲取配置完成的數(shù)據(jù)表映射信息.

云控制端提供操作的數(shù)據(jù)表和字段如下：

1）云交換時(shí)間設(shè)置：設(shè)置云交換時(shí)間后，云控制端需要將Cloud＿XS.OM 和Cloud＿XD.OM 的Exe＿time＿tag設(shè)置為云系統(tǒng)的同步時(shí)間.

2）云交換立即執(zhí)行的觸發(fā)：當(dāng)用戶觸發(fā)界面上立即同步按鈕后，云控制端需要將Cloud＿XS.OM 和Cloud＿XD.OM 的 Next＿time＿tag設(shè)置為當(dāng)前時(shí)間.

3）云源端配置步驟：添加云源數(shù)據(jù)端后，需將相關(guān)信息填入Cloud＿XD.Source數(shù)據(jù)庫(kù)，和Cloud＿XS.OM的 Destination＿IP、Destination＿USER、Destination＿PASSWORD、FTP＿USER、FTP＿PASSWORD字段.

4）云控制端的映射信息增刪改：用戶在云控制端進(jìn)行映射信息的刪改操作時(shí)，將結(jié)果寫(xiě)入Cloud＿XS.Map和Cloud＿XS.Field，并且將Cloud＿XS.OM 表中的對(duì)應(yīng)行ID值進(jìn)行修改.

圖2 云源端程序流程Fig.2 Cloud source clien flow

圖3 云目標(biāo)端程序流程Fig.3 Cloud target client flow

5）云系統(tǒng)的日志顯示：通過(guò)讀取Cloud＿XS.OM和Cloud＿XD.OM可以獲取當(dāng)前云同步系統(tǒng)運(yùn)行的日志.

6）云系統(tǒng)的同步控制：通過(guò)判斷Cloud＿XD.OM的SYS＿STATUS字段可以判斷云系統(tǒng)是否正在進(jìn)行數(shù)據(jù)同步.

4 數(shù)據(jù)同步系統(tǒng)處理

本次云交換系統(tǒng)云源端與云目標(biāo)端程序均采用服務(wù)進(jìn)程的方式設(shè)置為系統(tǒng)服務(wù).云控制端程序負(fù)責(zé)遠(yuǎn)程初始化云源端程序的交換時(shí)間、交換數(shù)據(jù)的數(shù)據(jù)表映射關(guān)系設(shè)置和交換數(shù)據(jù)的有效起始時(shí)間等參數(shù).云同步系統(tǒng)的時(shí)序圖詳見(jiàn)圖4.

為了提高云同步系統(tǒng)運(yùn)行效率和性能，系統(tǒng)中的數(shù)據(jù)同步不是通過(guò)傳統(tǒng)的數(shù)據(jù)表復(fù)制來(lái)實(shí)現(xiàn)，而是通過(guò)在云源端每小時(shí)調(diào)用一次Oracle數(shù)據(jù)庫(kù)自帶的LogMiner進(jìn)行解析對(duì)應(yīng)同步時(shí)段的在線Redo日志，然后將得到的SQL語(yǔ)句入庫(kù).依據(jù)用戶在云控制端設(shè)置，將SQL語(yǔ)句中相關(guān)字段和數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以.XML文件保存，并在用戶指定云同步時(shí)間到達(dá)時(shí)，將.XML文件上傳至同步文件夾.云目的端程序?qū)?XML文件中的SQL語(yǔ)句存入數(shù)據(jù)庫(kù)指定表空間中.云源端再提取Redo日志存放表中事務(wù)操作內(nèi)容并執(zhí)行，達(dá)到云源端和云目標(biāo)端的數(shù)據(jù)同步的目的.

實(shí)驗(yàn)結(jié)果如表1所示，圖中顯示Redo日志文件規(guī)模直接影響到了云交換系統(tǒng)的交換頻率和交換時(shí)間長(zhǎng)度.在Redo日志文件規(guī)模較小時(shí)，交換頻率偏高會(huì)影響到服務(wù)器日常工作（LogMiner的運(yùn)行同時(shí)會(huì)影響數(shù)據(jù)庫(kù)效率），但是Redo日志文件規(guī)模設(shè)置較大時(shí)，又會(huì)導(dǎo)致云交換時(shí)間過(guò)長(zhǎng)（例如必須在晚上非工作時(shí)間運(yùn)行）.根據(jù)實(shí)驗(yàn)結(jié)果，日志文件設(shè)置約為50 MB是比較合理而且頻率和交換時(shí)間都處在可以接受的水平.

5 結(jié) 論

圖4 云同步系統(tǒng)的時(shí)序圖Fig.4 Cloud synchronization system sequence diagram

表1 數(shù)據(jù)交換系統(tǒng)實(shí)驗(yàn)結(jié)果Tab.1 The test result of exchange system

在數(shù)字校園中的多重?cái)?shù)據(jù)孤島環(huán)境下要開(kāi)發(fā)云交換系統(tǒng)，我們面對(duì)是數(shù)據(jù)庫(kù)中增量數(shù)據(jù)如何同步以及數(shù)據(jù)在同步時(shí)的效率這兩個(gè)主要問(wèn)題.現(xiàn)高校中由于存在跨地多個(gè)校區(qū)，這些校區(qū)之間要進(jìn)行數(shù)據(jù)實(shí)時(shí)同步時(shí)，不能采用在集中環(huán)境下的那種簡(jiǎn)單靜態(tài)數(shù)據(jù)備份技術(shù)，這種技術(shù)在傳輸時(shí)文件過(guò)大，并且效率很低.因此以數(shù)據(jù)庫(kù)中的增量數(shù)據(jù)同步就成為了唯一可行的方案.在基于Oracle數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)中，增量數(shù)據(jù)同步轉(zhuǎn)換成解決數(shù)據(jù)庫(kù)日志的解析以及增量產(chǎn)生的數(shù)據(jù)在目標(biāo)計(jì)算機(jī)快速入庫(kù)的問(wèn)題.利用LogMiner工具來(lái)解析Oracle系統(tǒng)的日志是實(shí)現(xiàn)分布式云交換系統(tǒng)所要解決前提條件之一.對(duì)LogMiner解析出的日志進(jìn)行SQL語(yǔ)句分析重構(gòu)（針對(duì)目標(biāo)數(shù)據(jù)庫(kù)的快速入庫(kù)接口重構(gòu)）是實(shí)現(xiàn)分布式數(shù)據(jù)同步系統(tǒng)要解決的另一個(gè)前提.本文實(shí)現(xiàn)了數(shù)字校園網(wǎng)數(shù)據(jù)同步系統(tǒng)的技術(shù)問(wèn)題及系統(tǒng)架構(gòu)問(wèn)題，并給出了系統(tǒng)實(shí)現(xiàn)方案.

［1］段宗曜，饒水林.信息化建設(shè)在高校校園中的實(shí)現(xiàn)模式研究［J］.計(jì)算機(jī)科學(xué)，2013，40（11A）：417－420.

［2］趙衛(wèi)，馮華麗.高校信息化平臺(tái)建設(shè)中“信息孤島”現(xiàn)象及對(duì)策［J］.中國(guó)科技信息，2014（24）：52－53.

［3］舒暢.高校數(shù)字化校園的壁壘－－信息孤島［J］.中國(guó)教育信息化，2011（5）：16－17.

［4］顏廷良.基于XML消息的安全數(shù)據(jù)交換平臺(tái)研究與應(yīng)用［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2013，23（2）：172－176.

［5］郭向陽(yáng).基于數(shù)據(jù)庫(kù)復(fù)制技術(shù)的云交換平臺(tái)研究與實(shí)現(xiàn)［J］.計(jì)算機(jī)與現(xiàn)代化，2011（8）：157－163.

［6］張立奎，閆子熙.基于LogMiner的Oracle數(shù)據(jù)庫(kù)日志分析［J］.計(jì)算機(jī)與網(wǎng)絡(luò)，2013（21）：145－147.

［7］張青鳳，張鳳琴，王磊.多數(shù)據(jù)中心的數(shù)據(jù)同步模型研究與設(shè)計(jì)［J］.微型機(jī)與應(yīng)用，2013（12）：60－66.

［8］趙榮.分布式數(shù)據(jù)庫(kù)系統(tǒng)的故障恢復(fù)方法［J］.科技信息，2013（11）：160－161.

［9］秦森，楊艷.基于Oracle日志分析的數(shù)據(jù)還原操作的設(shè)計(jì)及實(shí)現(xiàn)［J］.電腦知識(shí)與技術(shù)，2007（3）：626－628.

［10］王玉標(biāo)，饒錫如，何盼.異構(gòu)環(huán)境下數(shù)據(jù)庫(kù)增量同步更新機(jī)制［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（3）：948－951.

［11］楊德勇.遠(yuǎn)程數(shù)據(jù)同步的設(shè)計(jì)與實(shí)現(xiàn)［J］.信息與電腦，2012（3）：112－113.

［12］孫兆玉，朱鴻宇，黃宇光.Linux環(huán)境中使用Flex、Bison進(jìn)行SQL語(yǔ)法分析［J］.電腦編程技巧與維護(hù)，2007（2）：38－41.