程洪斌，戴 月

（滁州職業(yè)技術(shù)學(xué)院信息工程系，安徽滁州239000）

基于數(shù)據(jù)庫組件的高校公共數(shù)據(jù)中心建設(shè)

程洪斌，戴 月

（滁州職業(yè)技術(shù)學(xué)院信息工程系，安徽滁州239000）

基于數(shù)據(jù)庫組件功能實現(xiàn)高校公共數(shù)據(jù)中心建設(shè)，不需二次開發(fā)就可實現(xiàn)各個業(yè)務(wù)數(shù)據(jù)庫之間共享數(shù)據(jù)的同步，并可以通過公共數(shù)據(jù)中心進行數(shù)據(jù)的分析與挖掘，既能滿足數(shù)據(jù)的一致性和基于數(shù)據(jù)挖掘的決策支持系統(tǒng)的要求，又可為學(xué)校節(jié)約研發(fā)費用。

公共數(shù)據(jù)中心；同步；數(shù)據(jù)庫組件

目前，因為各種管理系統(tǒng)的開發(fā)公司和開發(fā)時間不盡相同，所以大多數(shù)系統(tǒng)是互相獨立的，這導(dǎo)致在同一單位中存在如同一數(shù)據(jù)在不同系統(tǒng)中的數(shù)據(jù)分類、類型、名稱和長度不相同等問題。這些問題又導(dǎo)致學(xué)校日常工作中出現(xiàn)如下問題。

（1）數(shù)據(jù)的不一致性導(dǎo)致工作量增加。由于數(shù)據(jù)的來源不同，各管理系統(tǒng)會多次增加、刪除、修改或更新同一數(shù)據(jù)，這既增加了工作量，又容易造成信息錯誤，也使各管理系統(tǒng)中的數(shù)據(jù)難以同步。例如當有資產(chǎn)需要變更時，滁州職業(yè)技術(shù)學(xué)院（以下簡稱學(xué)院）的資產(chǎn)管理工作將涉及財務(wù)處的財務(wù)管理系統(tǒng)、總務(wù)處的資產(chǎn)管理系統(tǒng)和市財政局的資產(chǎn)管理系統(tǒng)，由于三個系統(tǒng)隸屬于不同的單位或部門，要將這三個系統(tǒng)中的數(shù)據(jù)同步且準確地變更是有困難的，這導(dǎo)致在年末資產(chǎn)報表制作過程中，需花費大量的人力、物力處理資產(chǎn)數(shù)據(jù)。

（2）數(shù)據(jù)同步性差導(dǎo)致日常工作出差錯。各系統(tǒng)缺乏數(shù)據(jù)的交換與共享，導(dǎo)致學(xué)校管理工作出現(xiàn)差錯，如某學(xué)生在大一時退學(xué)、休學(xué)或參軍，學(xué)生處相應(yīng)的學(xué)籍信息已經(jīng)變更，而由于教務(wù)處與學(xué)生處之間信息交流滯緩，該生在之后的幾個學(xué)期都出現(xiàn)在缺考和補考名單中。

（3）數(shù)據(jù)孤立導(dǎo)致難以做出基于數(shù)據(jù)挖掘的管理決策。基于數(shù)據(jù)挖掘的決策支持系統(tǒng)無論是在資產(chǎn)管理、人事管理還是在教學(xué)管理等方面都起著至關(guān)重要的作用，但由于數(shù)據(jù)孤立，無法進行跨部門、跨系統(tǒng)的數(shù)據(jù)處理，各類數(shù)據(jù)不能形成有價值的綜合信息，而局部信息又無法提升為管理知識，因而不能從整體上為學(xué)校決策層提供科學(xué)的管理依據(jù)。

解決上述問題可以采用數(shù)據(jù)庫同步手段，實現(xiàn)方法分為兩個層次：一是通過后臺程序編碼實現(xiàn)數(shù)據(jù)同步；二是直接作用于數(shù)據(jù)庫，在數(shù)據(jù)庫層面實現(xiàn)數(shù)據(jù)的同步。通過前者實現(xiàn)數(shù)據(jù)同步，需要請專門的軟件公司來開發(fā)，花費較高，動輒數(shù)萬元甚至數(shù)十萬元；而通過后者來實現(xiàn)數(shù)據(jù)同步可節(jié)約大量資金。因此，結(jié)合學(xué)院實際，我們采用建立公共數(shù)據(jù)中心的方式來實現(xiàn)各數(shù)據(jù)庫之間的同步，采用各數(shù)據(jù)庫組件實現(xiàn)各業(yè)務(wù)部門數(shù)據(jù)庫與公共數(shù)據(jù)中心的通信與同步。

1 公共數(shù)據(jù)中心的建設(shè)方案

公共數(shù)據(jù)中心采用Microsoft SQL Server 2008作為數(shù)據(jù)庫管理系統(tǒng)平臺。數(shù)據(jù)同步采用定時清空數(shù)據(jù)的方法來完成。公共數(shù)據(jù)中心的決策支持系統(tǒng)采用SSAS（Microsoft SQL Server 2008 Analysis Services）進行數(shù)據(jù)的分析和挖掘。

數(shù)據(jù)中心的數(shù)據(jù)來源于業(yè)務(wù)部門，而各部門也可從數(shù)據(jù)中心獲取所需的共享數(shù)據(jù)。為了保證共享數(shù)據(jù)的唯一性，應(yīng)確定各部門數(shù)據(jù)的來源與去向，確定每一數(shù)據(jù)的錄入權(quán)限、修改權(quán)限和刪除權(quán)限，如學(xué)生的學(xué)號僅來源于學(xué)生處的數(shù)據(jù)管理系統(tǒng)，教師的編號僅來源于人事處的人事管理系統(tǒng)等。

1.1 公共數(shù)據(jù)中心的數(shù)據(jù)通信方式

數(shù)據(jù)通信的難點在于異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)通信，可使用的方法有基于數(shù)據(jù)倉庫、基于聯(lián)邦數(shù)據(jù)庫系統(tǒng)、基于中間件、基于本體、基于網(wǎng)格和基于XML等［1–4］。本文通過數(shù)據(jù)庫組件來完成數(shù)據(jù)庫之間的通信與同步。

1.1.1 各業(yè)務(wù)部門數(shù)據(jù)導(dǎo)入到公共數(shù)據(jù)中心

常見的關(guān)系數(shù)據(jù)庫包括Oracle、Sybase、DB2、SQL Server和MySQL等。因?qū)W院的公共數(shù)據(jù)中心采用SQL Server 2008作為數(shù)據(jù)庫管理系統(tǒng)平臺，故本文考慮其他數(shù)據(jù)庫與SQL Server數(shù)據(jù)庫之間的數(shù)據(jù)導(dǎo)入和導(dǎo)出方法。

將其他數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到SQL Server數(shù)據(jù)庫中，可使用SQL Server 2008中的SSIS（Microsoft SQL Server 2008 Integration Services）來實現(xiàn)。SSIS是用于生成企業(yè)級數(shù)據(jù)集成和數(shù)據(jù)轉(zhuǎn)換解決方案的平臺，可以提取和轉(zhuǎn)換來自多種源（如XML數(shù)據(jù)文件、平面文件和關(guān)系數(shù)據(jù)源）的數(shù)據(jù)，然后將這些數(shù)據(jù)加載到一個或多個目標，用其圖形工具來創(chuàng)建解決方案，而無需編寫代碼。具體導(dǎo)入方式見表1。

表1 將業(yè)務(wù)部門數(shù)據(jù)導(dǎo)入到公共數(shù)據(jù)中心

實現(xiàn)表1中各種導(dǎo)入方式的具體方法如下。

（1）如業(yè)務(wù)部門的數(shù)據(jù)庫是SQL Server，可采用Microsoft SQL Server的對等事務(wù)復(fù)制來實現(xiàn)與公共數(shù)據(jù)中心的同步。

（2）用SSIS實現(xiàn)將數(shù)據(jù)從Oracle數(shù)據(jù)庫導(dǎo)入到SQL Server的過程是：首先在SQL Server 2008上創(chuàng)建相應(yīng)的數(shù)據(jù)庫表；然后在SSIS中新建“Integration Services”項目，在解決方案資源管理器中，選擇“SSIS包”，單擊右鍵，選擇“SSIS導(dǎo)入和導(dǎo)出向?qū)А?，在“選擇數(shù)據(jù)源”選項中選擇“Oracle Provider For OLE DB”，其他選項根據(jù)實際需要進行選擇；最后生成一個可執(zhí)行的SSIS包。

（3）將Sybase中的數(shù)據(jù)導(dǎo)入SQL Server 2008的過程是：1）在SQL Server 2008上創(chuàng)建相應(yīng)的數(shù)據(jù)庫表；2）在SSIS中新建“Integration Services”項目，在解決方案資源管理器中，選擇“SSIS包”，單擊右鍵，選擇“新建SSIS包”；3）在連接管理器或數(shù)據(jù)源中，新建鏈接，選擇“ADO.NET”，選擇 “.Net提供程序中的ODBC Data Provider”，在數(shù)據(jù)流任務(wù)中的數(shù)據(jù)源選擇“DataReader源”。如果需要轉(zhuǎn)換數(shù)據(jù)類型，則數(shù)據(jù)流目標選擇“OLE DB目標”，但這需要添加“數(shù)據(jù)轉(zhuǎn)換”組件。

（4）導(dǎo)入DB2中的數(shù)據(jù)需要使用Microsoft OLE DB Provider for DB2，它是隨 Microsoft Host Integration Server一起分發(fā)的，使用SQL Server分布式查詢可查詢DB2數(shù)據(jù)庫中的數(shù)據(jù)。其他使用SSIS的步驟和（2）中的步驟相同。

（5）導(dǎo)入 MySQL中的數(shù)據(jù)需要下載 MySQL Connector ODBC接口程序，使用SSIS的其他步驟和（3）相同。

1.1.2 將公共數(shù)據(jù)中心數(shù)據(jù)導(dǎo)入到各業(yè)務(wù)部門

表2中是針對不同的目標數(shù)據(jù)庫需要采用的不同導(dǎo)入方式，各方式具體步驟如下。

表2 公共數(shù)據(jù)中心數(shù)據(jù)導(dǎo)入到各業(yè)務(wù)部門

（1）如業(yè)務(wù)部門的數(shù)據(jù)庫是SQL Server，可采用MicrosoftSQLServer的對等事務(wù)復(fù)制功能實現(xiàn)數(shù)據(jù)導(dǎo)入。

（2）導(dǎo)入SQL Server 2008的數(shù)據(jù)可采用SSIS，步驟與1.1.1中（2）相同，僅需注意數(shù)據(jù)源與數(shù)據(jù)目標設(shè)置相反。這里需要解決兩種數(shù)據(jù)庫的字符集不匹配問題，如：Oracle中的字符串連接符是“||”，而SQL Server中是“+”；Oracle中取uuid的方法是“select sys_guid（）from dual”，而SQL Server中是“select newId（）”；Oracle中取當前時間是 “select sysdate from dual”，而SQL Server是“selectgetdate（）”等。

（3）將SQL Server 2008中的數(shù)據(jù)導(dǎo)入Sybase中時，由于存在Sybase與SQL Server的text字段類型不兼容的問題，無法使用SSIS的方式，故使用SQL Server和Sybase中的BCP進行數(shù)據(jù)導(dǎo)入和導(dǎo)出，具體過程如下。

1）從SQL Server中把數(shù)據(jù)庫里的每張表都用bcp工具導(dǎo)出成txt文本，如：

BCP"database.owner.table1"out"table1.txt"-CU"user"-P"password"-t"#|#"-r"#$#"

2）用Sybase的BCP工具把文本導(dǎo)入Sybase數(shù)據(jù)庫中，如：

BCP"database.owner.table1"in"table1.txt"-CU"user"-P"password"-t"#|#"-r"#$#"

如表的數(shù)量很多，可將BCP寫成動態(tài)語句：

set@sql='BCP"select*from dbname.. ［'+ @tbname+'］"queryout-C-S""-U""-P"

EXEC master..xp_cmdshell@sql

（4）將SQL Server 2008中的數(shù)據(jù)導(dǎo)入DB2，采用SSIS，步驟與1.1.1中（4）相同，但數(shù)據(jù)源與數(shù)據(jù)目標相反。

（5）從SQL Server導(dǎo)入數(shù)據(jù)到MySQL中的過程與1.1.1中（5）相同，但數(shù)據(jù)源與數(shù)據(jù)目標相反。數(shù)據(jù)導(dǎo)入也可以使用MySQL的Client的工具SQLyog。

1.2 公共數(shù)據(jù)中心的數(shù)據(jù)同步過程

在將數(shù)據(jù)從業(yè)務(wù)部門的數(shù)據(jù)庫中導(dǎo)入公共數(shù)據(jù)中心的過程中，需要解決數(shù)據(jù)導(dǎo)入的時間節(jié)點問題。在初次導(dǎo)入數(shù)據(jù)時，由于公共數(shù)據(jù)中心的表格為空，可將數(shù)據(jù)一次性導(dǎo)入；但如果是非首次導(dǎo)入數(shù)據(jù)，公共數(shù)據(jù)中心中已經(jīng)有了數(shù)據(jù)，就需要區(qū)分哪些數(shù)據(jù)已經(jīng)導(dǎo)入，哪些數(shù)據(jù)還沒有導(dǎo)入，而在SSIS中完成數(shù)據(jù)的導(dǎo)入工作時很難區(qū)分這些數(shù)據(jù)信息。要區(qū)分這些信息，就需要修改共享數(shù)據(jù)表的結(jié)構(gòu)，在修改數(shù)據(jù)表上加上標志列（值為false或true），還需要建立一系列的觸發(fā)器用來修改標志列的值，這額外增加了數(shù)據(jù)庫服務(wù)器的負擔和共享表的復(fù)雜性。一般來講，學(xué)校各業(yè)務(wù)部門數(shù)據(jù)的更新頻率較低，數(shù)據(jù)總量相對較小，因而可以采用定時數(shù)據(jù)庫同步的方式。本文采用定時清空公共數(shù)據(jù)中心中數(shù)據(jù)的方法，如將數(shù)據(jù)清空時間設(shè)置為每天0：00（采用SQL Server代理），將數(shù)據(jù)的導(dǎo)入時間設(shè)置為2：00。這種方式既簡單易行，無需復(fù)雜的技術(shù)手段，又不會增加工作時間內(nèi)數(shù)據(jù)庫服務(wù)器的負擔。需要注意的是，如果將數(shù)據(jù)庫中的數(shù)據(jù)清空后再導(dǎo)入數(shù)據(jù)會存在數(shù)據(jù)丟失的風險，因此，可以在數(shù)據(jù)導(dǎo)入前先做備份后再導(dǎo)入。數(shù)據(jù)同步過程如圖1所示。將公共數(shù)據(jù)中心中的數(shù)據(jù)導(dǎo)入業(yè)務(wù)部門數(shù)據(jù)庫中的過程，也采用上述方式。

定時操作有兩種方式，一種是操作系統(tǒng)的定時，一種是數(shù)據(jù)庫級的定時。操作系統(tǒng)的定時由操作系統(tǒng)的任務(wù)計劃（或叫計劃任務(wù)）來完成。不同的操作系統(tǒng)，制定計劃任務(wù)的方式也不一樣：在Windows操作系統(tǒng)中，利用系統(tǒng)的計劃任務(wù)來制定；而Linux、Solaris和Aix系統(tǒng)中的計劃任務(wù)制定都是利用cron。在這些系統(tǒng)中，cron是一個定時執(zhí)行工具，可以在無需人工干預(yù)的情況下運行作業(yè)［5］。

圖1 數(shù)據(jù)同步過程

1.3 公共數(shù)據(jù)中心的決策支持

建立公共數(shù)據(jù)中心除了保證各業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)的一致性以外，還可通過數(shù)據(jù)的分析和挖掘在學(xué)校的管理、科研和教學(xué)改革等方面發(fā)揮作用。進行數(shù)據(jù)的采集、處理和分析后，可以看到教育資源是否得到合理配置與均衡發(fā)展、學(xué)生行為特征、招生與就業(yè)情況、教育質(zhì)量以及輿情分析等，例如，通過一卡通消費數(shù)據(jù)來分析判斷學(xué)生的經(jīng)濟情況，通過學(xué)習成績變化和門禁記錄數(shù)據(jù)篩選需要進行心理干預(yù)的學(xué)生群體等。

公共數(shù)據(jù)中心采用SSAS進行數(shù)據(jù)的分析和挖掘。SSAS是Microsoft SQL Server 2008的一個組件，可以方便地創(chuàng)建復(fù)雜的聯(lián)機分析處理（OLAP）和數(shù)據(jù)挖掘解決方案。它所含的Analysis Services工具提供了設(shè)計、創(chuàng)建和管理來自數(shù)據(jù)庫的多維數(shù)據(jù)集和數(shù)據(jù)挖掘模型的功能，還提供對OLAP數(shù)據(jù)客戶端訪問。

2 實驗

考慮到公共數(shù)據(jù)中心的建設(shè)成功與否主要取決于數(shù)據(jù)庫之間能否實現(xiàn)同步，而數(shù)據(jù)庫同步的關(guān)鍵在于各種數(shù)據(jù)庫系統(tǒng)與SQL Server之間的數(shù)據(jù)交換能否順利實現(xiàn)，因此，實驗采用了Windows Server 2003操作系統(tǒng)搭配各種數(shù)據(jù)庫來模擬公共數(shù)據(jù)中心平臺環(huán)境，驗證數(shù)據(jù)交換。

（1）Microsoft SQL Server之間的對等事務(wù)復(fù)制

考慮到高版本對低版本的兼容性，為方便實驗，在Microsoft SQL Server 2005之間完成事務(wù)復(fù)制，如圖2和圖3所示，圖3中的警告消息不影響數(shù)據(jù)正確的導(dǎo)入和導(dǎo)出。

圖2 配置對等拓撲向?qū)瓿蓤D

圖3 實現(xiàn)對等事務(wù)復(fù)制

（2）將Oracle數(shù)據(jù)導(dǎo)入SQL Server

導(dǎo)入Oracle的數(shù)據(jù)采用SQL Server導(dǎo)入和導(dǎo)出向?qū)硗瓿?，如圖4和圖5所示。在SQL Server中，SSIS能夠完成同樣的任務(wù)，為了簡化實驗步驟，我們采用SQL Server導(dǎo)入和導(dǎo)出向?qū)瓿蓪嶒?。SQL Server數(shù)據(jù)導(dǎo)入Oracle的實驗過程與此相同，方向相反。

圖4 選擇Oracle為數(shù)據(jù)源

圖5 將Oracle中的數(shù)據(jù)導(dǎo)入SQLServer

（3）將Sybase中的數(shù)據(jù)導(dǎo)入SQL Server

將Sybase中的數(shù)據(jù)導(dǎo)入SQL Server采用DTS工具完成，如圖6和圖7所示。圖7中的三個表復(fù)制失敗是因數(shù)據(jù)格式不同引起的。DTS工具為SQL Server 2000中的導(dǎo)入和導(dǎo)出工具，可以單獨安裝，使用方便。這里，SSIS能夠完成與DTS工具向?qū)嗤娜蝿?wù)，但為了簡化實驗過程，我們采用DTS完成實驗。SQL Server數(shù)據(jù)導(dǎo)入Sybase的實驗過程與此相同，只是方向相反。

圖6 選擇Sybase為數(shù)據(jù)源

圖7 將Sybase中的數(shù)據(jù)導(dǎo)入SQLServer

（4）將SQL Server中的數(shù)據(jù)導(dǎo)入DB2

將SQL Server中的數(shù)據(jù)導(dǎo)入DB2采用DTS工具來完成，如圖8和圖9所示。DB2中的數(shù)據(jù)導(dǎo)入SQL Server的實驗過程與此相同，方向相反。

圖8 選擇DB2為數(shù)據(jù)目標

圖9 將SQLServer中的數(shù)據(jù)導(dǎo)入DB2

（5）將SQL Server中的數(shù)據(jù)導(dǎo)入MySQL

將SQL Server中的數(shù)據(jù)導(dǎo)入MySQL采用DTS工具來完成，如圖10和圖11所示。SQL Server數(shù)據(jù)導(dǎo)入Sybase的實驗過程與此相同，方向相反。

圖10 選擇SQL Server為數(shù)據(jù)源

圖11 將SQLServer中的數(shù)據(jù)導(dǎo)入MySQL

上述實驗表明，各種數(shù)據(jù)庫系統(tǒng)均可以與SQL Server之間進行數(shù)據(jù)的導(dǎo)入和導(dǎo)出，即可以由SQL Server數(shù)據(jù)庫充當公共數(shù)據(jù)中心與各業(yè)務(wù)部門進行數(shù)據(jù)交換，這證實了本文所設(shè)計的公共數(shù)據(jù)中心建設(shè)方案是可行的。由于實驗中的數(shù)據(jù)量不大，且各數(shù)據(jù)庫系統(tǒng)均在同一個實驗室安裝，因此在實際應(yīng)用中，對于大量數(shù)據(jù)的交換速度等問題還需做進一步的檢驗。

3 結(jié)束語

文中設(shè)計的公共數(shù)據(jù)中心能夠?qū)崿F(xiàn)各業(yè)務(wù)數(shù)據(jù)庫之間共享數(shù)據(jù)的同步，既解決了學(xué)校各管理系統(tǒng)之間的數(shù)據(jù)不一致、數(shù)據(jù)同步性差等問題，又能夠通過公共數(shù)據(jù)中心數(shù)據(jù)進行數(shù)據(jù)的分析與挖掘，從整體上為學(xué)校決策層提供科學(xué)的管理依據(jù)。公共數(shù)據(jù)中心的優(yōu)點是易于操作，對熟練掌握數(shù)據(jù)庫技術(shù)的技術(shù)人員來說是一個很好的選擇。

［1］ 張智，張正國.生物醫(yī)學(xué)異構(gòu)數(shù)據(jù)庫集成的研究進展［J］.中國生物醫(yī)學(xué)工程學(xué)報，2010（3）：454-463.

［2］ 張磊，夏士雄，牛強.基于本體的異構(gòu)數(shù)據(jù)庫集成方法［J］.計算機工程與設(shè)計，2007（14）：3299-3301.

［3］ 蔣雪書，戴劍偉，譚愛泉.OGSA-DAI和Flex開發(fā)數(shù)據(jù)網(wǎng)格應(yīng)用探討［J］.軟件導(dǎo)刊，2011（5）：94-95.

［4］ 于帆，王振鐸，王振輝.基于XML異構(gòu)數(shù)據(jù)庫集成中間件的設(shè)計與實現(xiàn)［J］.計算機應(yīng)用研究，2007（9）：185-188.

［5］ 戴月，陳波，羅霞.數(shù)字化校園建設(shè)中的異構(gòu)數(shù)據(jù)庫同步機制研究［J］.齊齊哈爾大學(xué)學(xué)報（自然科學(xué)版），2014（1）：9-14.

【責任編輯 梅欣麗】

The Construction of College Public Data Center Based on the Function of Database Com ponents

CHENG Hongbin，DAIYue
（Departmentof Information Engineering，Chuzhou Vocational and Technical College，Chuzhou 239000，China）

To realize the construction of college public data center based on the function of database components，there is no need to further develop.In this way，the synchronization of shared data between each business database can be achieved.Meanwhile，this technique can carry out data analysis and mining through public data center，not only keeping the consistency of the data and meeting the system requirements of datamining，butalso saving the development costs for the college.

public data center；synchronization；database components

TP393.08

A

2095-7726（2015）06-0039-06

2015-01-01

安徽高校省級自然科學(xué)研究項目（KJ2013Z251）

程洪斌（1966-），男，安徽滁州人，講師，研究方向：數(shù)據(jù)庫安全。戴月（1974-），男，安徽滁州人，講師，碩士，研究方向：分布式計算與信息安全。