張仕華，蔡 毅，劉志超，曹桂紅

(1.湖南工程學(xué)院 網(wǎng)絡(luò)信息中心，湘潭 411104；2.湖南工程學(xué)院 風(fēng)力發(fā)電機(jī)組及控制湖南省重點(diǎn)實(shí)驗(yàn)室，湘潭 411104)

校園輔助決策平臺中數(shù)據(jù)采集及同步方法研究*

張仕華，蔡 毅，劉志超，曹桂紅

(1.湖南工程學(xué)院 網(wǎng)絡(luò)信息中心，湘潭 411104；2.湖南工程學(xué)院 風(fēng)力發(fā)電機(jī)組及控制湖南省重點(diǎn)實(shí)驗(yàn)室，湘潭 411104)

分析了目前高校信息化發(fā)展需要的數(shù)據(jù)采集及數(shù)據(jù)同步需求，提出了根據(jù)高校數(shù)字校園的特點(diǎn)而設(shè)計(jì)的一種新穎的數(shù)據(jù)同步方法，該方法采用靈活的SQL語句設(shè)置數(shù)據(jù)來源，通過映射關(guān)系交換與同步數(shù)據(jù)，采用Quartz自動(dòng)調(diào)度任務(wù)實(shí)現(xiàn)自動(dòng)同步，并在實(shí)踐中證明了該方法的有效性和系統(tǒng)的可擴(kuò)展性.解決了在輔助決策平臺中數(shù)據(jù)采集及同步的實(shí)際需求.

數(shù)字校園；數(shù)據(jù)同步；Quartz

0 引言

隨著信息化技術(shù)的發(fā)展，高校信息化建設(shè)異?？焖?21世紀(jì)初我國大多數(shù)高校的校園網(wǎng)已經(jīng)建成，高校都在自行研發(fā)或采購信息化商業(yè)軟件應(yīng)用系統(tǒng)，如高校教務(wù)管理系統(tǒng)、財(cái)務(wù)系統(tǒng)、學(xué)生管理系統(tǒng)、一卡通系統(tǒng)等，這些系統(tǒng)的應(yīng)用在很大的程度提高了高校的信息化管理水平和工作效率，實(shí)現(xiàn)了校園的網(wǎng)上教學(xué)和管理，在有利的同時(shí)，也帶來了系統(tǒng)之間的管理問題.由于這些業(yè)務(wù)系統(tǒng)都是由學(xué)校各個(gè)職能部門在不同時(shí)期建設(shè)和完成的，他們的開發(fā)商、編程語言、數(shù)據(jù)庫等都沒有統(tǒng)一規(guī)劃，這就導(dǎo)致各個(gè)業(yè)務(wù)系統(tǒng)沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，系統(tǒng)之間沒有實(shí)現(xiàn)數(shù)據(jù)共享與同步，從而沒有形成一個(gè)有機(jī)的整體.

但隨著這些“信息孤島”系統(tǒng)的投入使用，信息共享問題便隨之而來，相同的信息在不同系統(tǒng)中需要重復(fù)采集與維護(hù)，不同系統(tǒng)之間信息不能共享，不同部門上報(bào)的信息不一致.因此，盡快建設(shè)統(tǒng)一標(biāo)準(zhǔn)的“數(shù)字化校園”是各高校面臨的一個(gè)迫切問題.

數(shù)字校園建設(shè)的一大難點(diǎn)就是如何在不同業(yè)務(wù)系統(tǒng)之間統(tǒng)一標(biāo)準(zhǔn)及在統(tǒng)一標(biāo)準(zhǔn)前提之下的數(shù)據(jù)共享及同步.目前一種公認(rèn)做法就是實(shí)現(xiàn)所有數(shù)據(jù)的集中管理，即建立一個(gè)“中心數(shù)據(jù)庫”，雖然這是一種徹底的做法，但是面對大量分散的業(yè)務(wù)應(yīng)用系統(tǒng)，這種方法實(shí)施難度和風(fēng)險(xiǎn)都很大，各個(gè)職能部門都持不同的觀點(diǎn)，目前國內(nèi)外基本上沒有高校采用.

另一種做法就是建立公共數(shù)據(jù)的“共享數(shù)據(jù)庫”，實(shí)現(xiàn)相關(guān)公共數(shù)據(jù)和代碼的共享，此法對已有應(yīng)用系統(tǒng)的改動(dòng)降到最低，從而可以快速實(shí)施和部署.

綜上所述，本文以Quartz和Java技術(shù)為基礎(chǔ)，提出了一種在數(shù)字校園中進(jìn)行數(shù)據(jù)采集和交換的實(shí)現(xiàn)方案，將多個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)按照來源方式和用途分別進(jìn)行歸類，應(yīng)用系統(tǒng)的數(shù)據(jù)為來源的設(shè)置為數(shù)據(jù)提供者，其將提供權(quán)威數(shù)據(jù)存放于中心數(shù)據(jù)庫，其他要使用中心數(shù)據(jù)庫數(shù)據(jù)的業(yè)務(wù)系統(tǒng)，將其歸類為數(shù)據(jù)使用者，數(shù)據(jù)提供者和數(shù)據(jù)使用者通過中心數(shù)據(jù)庫進(jìn)行數(shù)據(jù)交換，最后中心數(shù)據(jù)將保存一份所有應(yīng)用系統(tǒng)數(shù)據(jù)的完整歸檔數(shù)據(jù)，此完整數(shù)據(jù)即可以用于各應(yīng)用系統(tǒng)數(shù)據(jù)的完整映像，又可用于數(shù)據(jù)挖掘及決策分析使用.通過實(shí)際使用證明，該方案在數(shù)據(jù)交換的效率和數(shù)據(jù)傳輸?shù)陌踩缘确矫嬗休^大優(yōu)勢，并且該方案從根本上解決數(shù)字校園中業(yè)務(wù)系統(tǒng)間信息孤島的問題，讓各個(gè)業(yè)務(wù)系統(tǒng)的各種異構(gòu)數(shù)據(jù)源能夠通過該方案實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的互聯(lián)互通，避免數(shù)據(jù)的重復(fù)輸入和重復(fù)處理，實(shí)現(xiàn)不同數(shù)據(jù)庫之間數(shù)據(jù)信息的采集與同步，并且形成了校園信息化的中心數(shù)據(jù)庫.

1 數(shù)據(jù)采集與同步方法設(shè)計(jì)

1.1 數(shù)據(jù)采集與同步系統(tǒng)體系結(jié)構(gòu)

整個(gè)系統(tǒng)分為三個(gè)部分：首先是主數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)源及數(shù)據(jù)庫驅(qū)動(dòng)封裝，將主流的數(shù)據(jù)源，如Mysql，SQL SERVER，Oracle等數(shù)據(jù)源驅(qū)動(dòng)全部打包并調(diào)試好連接，以便系統(tǒng)能處理各種異構(gòu)的數(shù)據(jù)源；第二部分是設(shè)計(jì)數(shù)據(jù)采集，根據(jù)業(yè)務(wù)系統(tǒng)類型及需求，設(shè)計(jì)業(yè)務(wù)系統(tǒng)源數(shù)據(jù)錄入模塊及數(shù)據(jù)導(dǎo)入模塊，導(dǎo)入模塊有相應(yīng)的模板，根據(jù)模板整理好業(yè)務(wù)系統(tǒng)數(shù)據(jù)，再導(dǎo)入到系統(tǒng)中；第三部分是數(shù)據(jù)交換部分，也是系統(tǒng)的核心模塊，根據(jù)數(shù)據(jù)的來源和用途，將數(shù)據(jù)源分別命名為數(shù)據(jù)提供者和數(shù)據(jù)使用者，在數(shù)據(jù)提供者中創(chuàng)建一個(gè)原始提供源，為保持使用的靈活性，所提供的數(shù)據(jù)來源于創(chuàng)建數(shù)據(jù)的SQL語句，這樣的設(shè)計(jì)，在使用的難度上有所增加，但在數(shù)據(jù)交換的靈活性方面，幾乎可以滿足用戶或系統(tǒng)的所有需求，數(shù)據(jù)提供者創(chuàng)建后，下一步是創(chuàng)建數(shù)據(jù)使用者，數(shù)據(jù)使用者創(chuàng)建過程中選擇相應(yīng)的數(shù)據(jù)源及數(shù)據(jù)表，程序?qū)⒆詣?dòng)列出所有表項(xiàng)供管理員選擇要交換的數(shù)據(jù)列，并且可設(shè)置一列或多列為主鍵，第三步是設(shè)置數(shù)據(jù)提供者與數(shù)據(jù)使用者之間的數(shù)據(jù)映射關(guān)系，創(chuàng)建數(shù)據(jù)映射，選擇數(shù)據(jù)提供者和數(shù)據(jù)使用者，設(shè)置表列的數(shù)據(jù)對應(yīng)關(guān)系，數(shù)據(jù)提供者與數(shù)據(jù)使用者表列的關(guān)系可以是一對一關(guān)系，也可以是一對多的關(guān)系，可以設(shè)置僅插入的列，重復(fù)數(shù)據(jù)只更新，第四步是設(shè)置數(shù)據(jù)交換，程序設(shè)計(jì)中提供了兩種方式的實(shí)現(xiàn)，第一種是輔助數(shù)據(jù)交換，在輔助數(shù)據(jù)交換中，列出了所有的數(shù)據(jù)映射，選擇其中的一個(gè)點(diǎn)擊“數(shù)據(jù)交換”，此條映射的數(shù)據(jù)立即開始進(jìn)行數(shù)據(jù)的交換與同步，第二種是自動(dòng)數(shù)據(jù)交換，程序引入Quartz來實(shí)現(xiàn)數(shù)據(jù)映射的自動(dòng)同步，數(shù)據(jù)同步的間隔可以按分鐘、小時(shí)、天、月等，完全可以按需實(shí)現(xiàn)數(shù)據(jù)的交換與同步，Quartz是一個(gè)完全由java編寫的開源作業(yè)調(diào)度框架，在Job接口實(shí)現(xiàn)類里面，添加一些用戶邏輯到execute()方法.配置好Job實(shí)現(xiàn)類并設(shè)定好調(diào)度時(shí)間表，Quartz將密切注意剩余時(shí)間.當(dāng)調(diào)度程序確定是通知作業(yè)的時(shí)候，Quartz框架將調(diào)用Job實(shí)現(xiàn)類(作業(yè)類)上的execute()方法并允許做它該做的事情.無需報(bào)告任何東西給調(diào)度器或調(diào)用任何特定的系統(tǒng)調(diào)用.僅僅執(zhí)行任務(wù)和結(jié)束任務(wù).如果配置作業(yè)在隨后再次被調(diào)用，Quartz框架將在計(jì)劃調(diào)度的時(shí)間再次調(diào)用它.

1.2 數(shù)據(jù)采集及交換模型

數(shù)字校園中各個(gè)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交換最方便的辦法是通過數(shù)據(jù)采集及交換系統(tǒng)來實(shí)現(xiàn)，數(shù)據(jù)交換系統(tǒng)為異構(gòu)的數(shù)據(jù)庫、文件系統(tǒng)等數(shù)據(jù)源提供數(shù)據(jù)提取、轉(zhuǎn)換、傳輸和存儲等操作的數(shù)據(jù)服務(wù).設(shè)計(jì)的本系統(tǒng)基于程序的SQL及Quartz任務(wù)調(diào)度，實(shí)現(xiàn)自動(dòng)、方便、快捷地進(jìn)行數(shù)據(jù)的交換與同步，完成基于數(shù)據(jù)的交換應(yīng)用及集成.

數(shù)據(jù)采集系統(tǒng)主要用于業(yè)務(wù)部門目前還未使用網(wǎng)絡(luò)業(yè)務(wù)系統(tǒng)，其數(shù)據(jù)不能通過交換系統(tǒng)進(jìn)行數(shù)據(jù)交換獲取，只能由設(shè)計(jì)的前端Form頁面收集用戶數(shù)據(jù)，存儲于中心數(shù)據(jù)庫，或者由專門的數(shù)據(jù)采集模板，由用戶按模板進(jìn)行數(shù)據(jù)的收集，再由程序設(shè)計(jì)的專用數(shù)據(jù)導(dǎo)入模塊進(jìn)行數(shù)據(jù)的導(dǎo)入來采集.

數(shù)據(jù)交換模型主要由數(shù)據(jù)源、數(shù)據(jù)提供者、數(shù)據(jù)使用者、數(shù)據(jù)映射、輔助數(shù)據(jù)交換和自動(dòng)數(shù)據(jù)交換等組成.程序設(shè)計(jì)中包括數(shù)據(jù)源連接模塊、任務(wù)管理模塊、數(shù)據(jù)源管理模塊、任務(wù)處理模塊、調(diào)度管理模塊、日志管理模塊等部分組成.數(shù)據(jù)采集及交換系統(tǒng)中的任務(wù)處理支持?jǐn)?shù)據(jù)提取、轉(zhuǎn)換、傳輸和加載過程的操作，通過任務(wù)定義的方式定義數(shù)據(jù)處理流程，完成在各種網(wǎng)絡(luò)條件下的數(shù)據(jù)提取和傳送操作.任務(wù)可以通過輔助數(shù)據(jù)交換手工執(zhí)行和自動(dòng)數(shù)據(jù)交換自動(dòng)執(zhí)行，特別是可以靈活定義自動(dòng)執(zhí)行的條件，如確定時(shí)刻觸發(fā)、確定時(shí)間間隔觸發(fā)，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)交換.用戶一旦定義了自動(dòng)執(zhí)行的任務(wù)，就不再需要人工干預(yù)，系統(tǒng)會(huì)根據(jù)設(shè)定的條件自動(dòng)地根據(jù)數(shù)據(jù)映射將數(shù)據(jù)從數(shù)據(jù)提供者交換到數(shù)據(jù)使用者，并進(jìn)行自動(dòng)加載.數(shù)據(jù)交換完成之后，日志管理模塊會(huì)自動(dòng)將數(shù)據(jù)交換的結(jié)果存入數(shù)據(jù)庫表，包括數(shù)據(jù)交換的開始時(shí)間、結(jié)束時(shí)間、總記錄數(shù)據(jù)、完成的記錄數(shù)、交換的狀態(tài)，交換的狀態(tài)分為“成功”和“失敗”，如果為“失敗”，將包含一個(gè)導(dǎo)向包含失敗原因的超鏈接，點(diǎn)開可以查詢失敗的具體原因.

1.3 數(shù)據(jù)交換流程

1)設(shè)置數(shù)據(jù)源，配置連接的IP地址、端口、用戶名與密碼等，并點(diǎn)擊“測試”，如果成功則設(shè)置完成.

2)設(shè)置數(shù)據(jù)提供者，配置數(shù)據(jù)提供者的SQL查詢語句，設(shè)置表列及關(guān)鍵字等信息.

3)設(shè)置數(shù)據(jù)使用者，此為業(yè)務(wù)系統(tǒng)或中心數(shù)據(jù)庫要接受數(shù)據(jù)的表列的相關(guān)設(shè)置.

4)設(shè)置數(shù)據(jù)映射關(guān)系，也就是設(shè)置數(shù)據(jù)提供者與數(shù)據(jù)使用者表列的對應(yīng)關(guān)系，對于重復(fù)列，可以設(shè)置為更新或覆蓋等操作.

5)自動(dòng)數(shù)據(jù)交換設(shè)置，設(shè)置同步計(jì)劃，同步開始時(shí)間，結(jié)束時(shí)間，重復(fù)的頻率等.

其中的輔助數(shù)據(jù)交換為手動(dòng)同步，點(diǎn)擊“數(shù)據(jù)交換”立即進(jìn)行數(shù)據(jù)的交換與同步.

2 數(shù)據(jù)交換系統(tǒng)安全性分析

數(shù)據(jù)采集及交換系統(tǒng)在數(shù)據(jù)操作和傳輸過程中提供了完善的安全機(jī)制，系統(tǒng)提供用戶權(quán)限管理和身份認(rèn)證功能，只有合法的并且有權(quán)限的用戶才能通過系統(tǒng)進(jìn)行數(shù)據(jù)的采集及交換，并進(jìn)行與其權(quán)限相應(yīng)的操作.本系統(tǒng)必須保證數(shù)據(jù)的安全性，為了確保本系統(tǒng)重要數(shù)據(jù)的安全性，對重要數(shù)據(jù)的進(jìn)行加密處理.目前主要有兩種數(shù)據(jù)加密技術(shù)，分別為 “非對稱式”和 “對稱式”兩種.非對稱式加密技術(shù)即加密和解密使用的是不同的密鑰，這兩個(gè)密鑰分別稱為 “公鑰”和 “私鑰”，它們兩個(gè)只有配對使用才能打開加密文件. “公鑰”是指可以對外公布的，而 “私鑰”則不能，只能由持有人知道，這就是它安全的優(yōu)越性.本系統(tǒng)采用“非對稱式”加密方法，對交換系統(tǒng)的數(shù)據(jù)進(jìn)行加密傳輸，保證了系統(tǒng)的安全.

3 實(shí)驗(yàn)與分析

為了測試數(shù)據(jù)采集及交換系統(tǒng)在校園網(wǎng)中對不同的業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)的采集、同步及交換的準(zhǔn)確性及效率，采用該系統(tǒng)對學(xué)生教務(wù)管理系統(tǒng)、中心數(shù)據(jù)庫系統(tǒng)、一卡通系統(tǒng)和財(cái)務(wù)管理系統(tǒng)的業(yè)務(wù)流程中所涉及的業(yè)務(wù)數(shù)據(jù)交換和同步進(jìn)行驗(yàn)證，其中以上4個(gè)系統(tǒng)的數(shù)據(jù)庫均采用JAVA數(shù)據(jù)適配器，不同的數(shù)據(jù)連接源及驅(qū)動(dòng)來進(jìn)行連接與交換.學(xué)生教務(wù)管理系統(tǒng)為Sql server 2005，中心數(shù)據(jù)庫系統(tǒng)為Oracle 12c，一卡通系統(tǒng)為Oracle 11 g、財(cái)務(wù)管理系統(tǒng)為Sql Server 2000.數(shù)據(jù)交換系統(tǒng)主數(shù)據(jù)庫服務(wù)器的配置為Vmware5.0虛擬機(jī)：4核心CPU2.0，RAM6G，操作系統(tǒng)Windows server 2008R2，數(shù)據(jù)庫為Oracle 12c.實(shí)驗(yàn)提取了20000多條在校學(xué)生信息、專業(yè)、院系等進(jìn)行數(shù)據(jù)交換與同步處理，自動(dòng)同步設(shè)置每天同步一卡通消費(fèi)信息，學(xué)生住宿信息、學(xué)生異動(dòng)信息、同步財(cái)務(wù)繳費(fèi)信息，平均同步時(shí)間為5-6秒/萬條記錄，數(shù)據(jù)采集系統(tǒng)可以采集學(xué)校院系及部門基本信息、專業(yè)班級及教職工個(gè)人信息，也可實(shí)現(xiàn)導(dǎo)入功能，實(shí)驗(yàn)結(jié)果表明達(dá)到了設(shè)計(jì)的功能要求，響應(yīng)時(shí)間也達(dá)到了預(yù)期設(shè)計(jì)的性能要求.

4 結(jié)束語

針對校園網(wǎng)中不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行數(shù)據(jù)交換與同步及數(shù)據(jù)綜合分析的現(xiàn)實(shí)需求，提出了利用 程序設(shè)計(jì)方式及Quartz的任務(wù)調(diào)度功能，在校園網(wǎng)中的不同業(yè)務(wù)系統(tǒng)之間進(jìn)行數(shù)據(jù)同步與交換，并主要通過Quartz進(jìn)行數(shù)據(jù)自動(dòng)交換的方案，這樣既屏蔽了數(shù)據(jù)庫的異構(gòu)性問題，又解決了安全性的問題.同時(shí)該方案采用數(shù)據(jù)提供者和數(shù)據(jù)使用者進(jìn)行數(shù)據(jù)的提供和使用，保證了數(shù)據(jù)來源的權(quán)威性及使用的靈活性.實(shí)驗(yàn)結(jié)果表明新的數(shù)據(jù)采集與交換方案滿足了輔助決策平臺中數(shù)據(jù)的管理需求.

[1] Liu YL, Liu XM,Yang L. Analysis and Design of Heterogeneous Bioinformatics Database Integration System Based on Middleware[A]. Chengdu, China:IACSIT[C]. IEEE,2010:272-275.

[2] 丁 鋮，張新華．?dāng)?shù)字校園中數(shù)據(jù)同步方法的研究與實(shí)現(xiàn)[J]．計(jì)算機(jī)工程，2006，32(20)：270-272．

[3] Aji A, Wang F, Vo H, Lee R, Liu Q, Zhang X, Saltz J. Hadoop GIS: a High Performance Spatial Data Warehousing System Over Mapreduce, Proceedings of the VLDB Endowment, 2013, 6(11), 1009-1020.

[4] 張西山，連光耀．基于XML原生數(shù)據(jù)庫技術(shù)的維修保障信息存儲和交換研究[J]．計(jì)算機(jī)測量與控 制， 2011, 19(12):3099-3101.

[5] 任開銀，胡昊偉. 分布式數(shù)據(jù)交換平臺設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)與數(shù)字工程, 2013,40(11): 1850-1852.

Research on Data Collection and Synchronization in Campus
Auxiliary Decision-making Platform

ZHANG Shi-hua, CAI Yi, LIU Zhi-chao, CAO Gui-hong

(1. Network Information Center, Huan Institute of Engineering, Xiangtan 411104, China;2. Hunan Provincial Key Laboratory of Wind Generator and Its Control, Hunan Institure of Engineering, Xiangtan 411104, China)

This article analyzes the development requirements of the data collection and synchronization information technology needs. According to the characteristics of digital campus, a novel data synchronization method is proposed. The method adopts flexible SQL statements set the data source. Through the mapping relationship between exchanging and data synchronization, automatic scheduling of tasks are nealized to achieve automatic synchronization. Scalability of the system and effectiveness of the method are proved by using quartz in practice. The data and synchronization of the actual demand in the auxiliary decision-making platform are satisfied.

digital campus; data synchronization; quartz

2016-06-30

湖南省教育廳科研資助項(xiàng)目(15C0331).

張仕華(1976-)，男，碩士，工程師，研究方向：計(jì)算機(jī)科學(xué)及應(yīng)用技術(shù).

TP311.1

A

1671-119X(2016)04-0051-04