錢喆敏 應(yīng)鑫迪 高煥江 丁浩然

摘? 要： 數(shù)據(jù)共享中心是系統(tǒng)間實現(xiàn)數(shù)據(jù)共享和交換的核心平臺。為了提高數(shù)據(jù)共享中心的效能和穩(wěn)定性，針對數(shù)據(jù)共享中心目前的現(xiàn)狀與不足，提出以數(shù)據(jù)交換層、共享數(shù)據(jù)庫、共享數(shù)據(jù)倉庫為模塊的數(shù)據(jù)共享中心架構(gòu)。分別從任務(wù)周期管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)規(guī)范建設(shè)、數(shù)據(jù)源頭管理、增量同步交換、數(shù)據(jù)資源目錄等六個角度來提升數(shù)據(jù)交換管理的水平和質(zhì)量。通過建設(shè)一個穩(wěn)定、高效的數(shù)據(jù)共享中心，高校內(nèi)的數(shù)據(jù)價值將能得到充分的發(fā)揮。

關(guān)鍵詞： 數(shù)據(jù)共享中心; 數(shù)據(jù)交換層; 共享數(shù)據(jù)庫; 數(shù)據(jù)倉庫; 數(shù)據(jù)交換管理

中圖分類號：TP311.5? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? 文章編號：1006-8228（2021）05-130-04

Analysis of data sharing center in colleges and universities

Qian Zhemin， Ying Xindi， Gao Huanjiang， Ding Haoran

（Information Technology Center of Zhejiang University， Hangzhou， Zhejiang 310012， China）

Abstract： Data sharing center is the core platform for data sharing and exchange between systems. In order to improve the efficiency and stability of data sharing center， aiming at the current situation and shortcomings of data sharing center， a data sharing center architecture with data exchange layer， shared database and shared data warehouse as modules is proposed. The level and quality of data exchange management is promoted by improving the task lifecycle management， data quality monitoring， data standard construction， data source management， incremental synchronous exchange and data resource directory etc. By building a stable and highly efficient data sharing center， the value of data in colleges and universities will be brought into full play.

Key words： data sharing center; data exchange layer; shared database; data warehouse; data exchange management

0 引言

近年來，隨著校園信息化的逐步深入，數(shù)據(jù)在高校中的作用越來越明顯。更多全校性數(shù)據(jù)以基礎(chǔ)性查詢服務(wù)的形式提供出來，在很大程度上提升了高校教學(xué)、科研和行政效率。同時，基于海量數(shù)據(jù)的智慧型應(yīng)用也在不斷推廣實踐到校園治理中。如何管理和利用好校園數(shù)據(jù)已經(jīng)成為高校信息化建設(shè)中無法忽視的重要課題。

在早期數(shù)字化發(fā)展過程中，各部門大多建立了自己的應(yīng)用系統(tǒng)，如教務(wù)系統(tǒng)、財務(wù)系統(tǒng)、人事系統(tǒng)等。這些應(yīng)用系統(tǒng)很好地滿足了當(dāng)時職能部門對業(yè)務(wù)開展的迫切需求。但是由于早期缺乏對學(xué)校信息化的頂層規(guī)劃和整體設(shè)計，各應(yīng)用系統(tǒng)獨立的垂直型“煙囪式”框架導(dǎo)致了數(shù)據(jù)只能在系統(tǒng)內(nèi)流轉(zhuǎn)而無法實現(xiàn)系統(tǒng)間的常態(tài)化互通與共享[1]。而信息化不斷發(fā)展，系統(tǒng)間業(yè)務(wù)的相互依賴性不斷增強(qiáng)，數(shù)據(jù)交互的場景與需求也越來越多。

以此為背景，數(shù)據(jù)共享中心[2]作為媒介平臺，其在高校信息化中的作用被凸顯出來。數(shù)據(jù)共享中心以實現(xiàn)高效、穩(wěn)定和可靠的數(shù)據(jù)交換與共享為核心，一方面保證了數(shù)據(jù)在各業(yè)務(wù)系統(tǒng)間常態(tài)化流轉(zhuǎn)與查詢，解決高校內(nèi)“信息孤島”[3]問題，另一方面也為智慧型數(shù)據(jù)應(yīng)用提供了支撐作用。

1 數(shù)據(jù)共享中心現(xiàn)狀與不足

在數(shù)據(jù)共享中心出現(xiàn)前，系統(tǒng)間發(fā)生業(yè)務(wù)交互時，數(shù)據(jù)只能通過點對點方式來進(jìn)行通信。這種交互方式在業(yè)務(wù)系統(tǒng)數(shù)量不斷增加后，會造成各系統(tǒng)間的耦合度逐漸變大，同時也給開發(fā)和運(yùn)維帶來很大負(fù)擔(dān)。

通過引入數(shù)據(jù)共享中心作為第三方平臺，所有的業(yè)務(wù)數(shù)據(jù)全部基于明確的數(shù)據(jù)標(biāo)準(zhǔn)和接口規(guī)范在該平臺中進(jìn)行采集和推送。如圖1所示，該模式有效地降低了異構(gòu)業(yè)務(wù)系統(tǒng)間數(shù)據(jù)交互的復(fù)雜度。此外，數(shù)據(jù)共享中心可以通過統(tǒng)一的安全管理策略來避免因各系統(tǒng)間松散且無標(biāo)準(zhǔn)的點對點交互所產(chǎn)生的數(shù)據(jù)安全隱患問題。

以此為背景，數(shù)據(jù)共享中心在高校范圍內(nèi)被廣泛應(yīng)用。然而，該平臺在應(yīng)用過程中依然暴露出一些問題。

⑴ 數(shù)據(jù)交換任務(wù)不穩(wěn)定。采集和推送任務(wù)因為資源不足或數(shù)據(jù)異常發(fā)生中斷，出現(xiàn)數(shù)據(jù)缺失或不同步問題。

⑵ 數(shù)據(jù)質(zhì)量問題不達(dá)標(biāo)。數(shù)據(jù)源頭常出現(xiàn)不滿足規(guī)范的問題數(shù)據(jù)，造成數(shù)據(jù)質(zhì)量的低下從而嚴(yán)重限制了平臺對外進(jìn)行數(shù)據(jù)服務(wù)的水平。

⑶ 數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行不規(guī)范。問題主要包括兩方面：①數(shù)據(jù)標(biāo)準(zhǔn)制定后未被嚴(yán)格執(zhí)行;②數(shù)據(jù)標(biāo)準(zhǔn)變更后在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)共享中心間未及時同步。

⑷ 數(shù)據(jù)源頭管理不到位。單源頭數(shù)據(jù)選取不合理造成共享庫數(shù)據(jù)不權(quán)威、多源頭數(shù)據(jù)采集混亂造成共享庫數(shù)據(jù)發(fā)生震蕩等現(xiàn)象的根本原因都是由該問題造成。

⑸ 數(shù)據(jù)同步方式單一化。目前，數(shù)據(jù)同步任務(wù)以全量同步來為主。該交換方式實現(xiàn)簡單，但任務(wù)耗時過長且占用大量平臺和網(wǎng)絡(luò)資源。

⑹ 數(shù)據(jù)資源目錄缺失化。數(shù)據(jù)資源目錄的缺失造成了平臺內(nèi)資源管理松散，同時也使得平臺對外暴露資源的能力不足。

2 數(shù)據(jù)共享中心架構(gòu)

本章首先闡述了數(shù)據(jù)共享中心在高校信息化建設(shè)框架中的位置與角色，然后對該平臺內(nèi)的數(shù)據(jù)交換層、共享數(shù)據(jù)庫和數(shù)據(jù)倉庫[4]等模塊進(jìn)行自下而上的介紹。

2.1 高校信息化建設(shè)框架

圖2展示了業(yè)務(wù)系統(tǒng)、數(shù)據(jù)共享中心、數(shù)據(jù)應(yīng)用在高校信息化架構(gòu)中的相對位置。從中可以發(fā)現(xiàn)，數(shù)據(jù)共享中心在全校性數(shù)據(jù)流轉(zhuǎn)和服務(wù)中起核心作用。

向下，數(shù)據(jù)共享中心承接了與各業(yè)務(wù)系統(tǒng)數(shù)據(jù)對接的功能。業(yè)務(wù)系統(tǒng)即高校各職能部門自建的應(yīng)用系統(tǒng)，包括教務(wù)系統(tǒng)、財務(wù)系統(tǒng)、科研系統(tǒng)、人事系統(tǒng)、設(shè)備系統(tǒng)、校園卡系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)等。業(yè)務(wù)系統(tǒng)是數(shù)據(jù)共享中心的數(shù)據(jù)來源，同樣也是其數(shù)據(jù)交換的主要服務(wù)對象。數(shù)據(jù)共享中心對各系統(tǒng)內(nèi)數(shù)據(jù)進(jìn)行采集，并將其經(jīng)過標(biāo)準(zhǔn)化處理后向上推送。

向上，數(shù)據(jù)共享中心為數(shù)據(jù)應(yīng)用提供支撐作用。數(shù)據(jù)應(yīng)用主要包括數(shù)據(jù)基礎(chǔ)服務(wù)和數(shù)據(jù)分析挖掘兩大類。數(shù)據(jù)基礎(chǔ)服務(wù)，依賴于平臺內(nèi)標(biāo)準(zhǔn)化數(shù)據(jù)，向全校師生提供綜合服務(wù)，包括統(tǒng)一身份認(rèn)證[5]、個人數(shù)字檔案[6]、信息綜合查詢、業(yè)務(wù)協(xié)同辦公等;數(shù)據(jù)分析挖掘應(yīng)用如校情分析決策、群體行為分析、流量分析預(yù)測、師生個性化服務(wù)等，則基于平臺內(nèi)海量相關(guān)性數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘。數(shù)據(jù)應(yīng)用依賴的關(guān)聯(lián)性數(shù)據(jù)往往來源于多個維度、多個領(lǐng)域。傳統(tǒng)單一業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)無法支持該類應(yīng)用。而數(shù)據(jù)共享中心通過對多業(yè)務(wù)系統(tǒng)數(shù)據(jù)的采集和聚合可以很好地解決數(shù)據(jù)應(yīng)用對多維度、多領(lǐng)域的數(shù)據(jù)需求。

2.2 數(shù)據(jù)共享中心建設(shè)方案

數(shù)據(jù)共享中心由數(shù)據(jù)交換層、共享數(shù)據(jù)庫和共享數(shù)據(jù)倉庫等三大模塊組成，如圖3所示。

數(shù)據(jù)交換層 該模塊作為共享數(shù)據(jù)庫與業(yè)務(wù)系統(tǒng)間數(shù)據(jù)雙向互通的橋梁，在數(shù)據(jù)流方向上主要分為數(shù)據(jù)上行流程與數(shù)據(jù)下行流程。

數(shù)據(jù)上行流程指源數(shù)據(jù)從業(yè)務(wù)系統(tǒng)中通過數(shù)據(jù)抽取[7]、數(shù)據(jù)清洗[8]、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)入庫等流程最后存儲至共享數(shù)據(jù)庫的過程。數(shù)據(jù)抽取是指數(shù)據(jù)通過定時請求同步或變更消息監(jiān)聽等方式被采集至數(shù)據(jù)中間庫的過程。定時請求同步可通過基于XML和Web-service[9]技術(shù)來實現(xiàn)對數(shù)據(jù)的周期性采集。變更消息監(jiān)聽則利用了消息隊列服務(wù)對數(shù)據(jù)變更消息進(jìn)行實時監(jiān)聽并寫入數(shù)據(jù)中間庫。數(shù)據(jù)中間庫的存在使得數(shù)據(jù)抽取過程與數(shù)據(jù)清洗和轉(zhuǎn)換完全解耦，降低ETL過程復(fù)雜性。數(shù)據(jù)清洗將數(shù)據(jù)中間庫中數(shù)據(jù)先后通過空值校驗、正確性和重復(fù)性驗證、格式匹配等規(guī)則進(jìn)行過濾。數(shù)據(jù)轉(zhuǎn)換根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)（包括國標(biāo)、行標(biāo)和校標(biāo)）將來源于不同系統(tǒng)、基于不同標(biāo)準(zhǔn)的數(shù)據(jù)進(jìn)行轉(zhuǎn)換。在完成數(shù)據(jù)清洗和轉(zhuǎn)換后，數(shù)據(jù)最終加載到共享數(shù)據(jù)庫中。

數(shù)據(jù)下行流程指數(shù)據(jù)從共享數(shù)據(jù)庫下發(fā)至業(yè)務(wù)系統(tǒng)的過程。一般地，數(shù)據(jù)可通過數(shù)據(jù)訪問接口或訂閱消息推送等方式進(jìn)行下發(fā)。數(shù)據(jù)訪問接口由業(yè)務(wù)系統(tǒng)主動發(fā)起遠(yuǎn)程過程調(diào)用。該方式實現(xiàn)簡單，但當(dāng)共享庫中數(shù)據(jù)發(fā)生變更時，業(yè)務(wù)系統(tǒng)無法及時感知而造成數(shù)據(jù)時效性低下。而訂閱消息推送利用消息中間件服務(wù)將數(shù)據(jù)變更消息推送至業(yè)務(wù)系統(tǒng)。該方式可使得數(shù)據(jù)同步時效性更強(qiáng)，但相應(yīng)的復(fù)雜度也更高。

此外，數(shù)據(jù)交換層還包括了平臺系統(tǒng)管理與數(shù)據(jù)交換管理。平臺系統(tǒng)管理從系統(tǒng)運(yùn)維管理、平臺安全管理、角色權(quán)限管理、消息隊列管理等方面提升系統(tǒng)平臺的安全性與穩(wěn)定性。

數(shù)據(jù)交換管理包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)源頭管理、數(shù)據(jù)質(zhì)量監(jiān)控、作業(yè)狀態(tài)監(jiān)控、作業(yè)調(diào)度管理、數(shù)據(jù)資源目錄、數(shù)據(jù)訪問管理、接口狀態(tài)監(jiān)控等，致力于提高數(shù)據(jù)交換任務(wù)的穩(wěn)定，保障數(shù)據(jù)采集質(zhì)量，提升數(shù)據(jù)服務(wù)水平。

共享數(shù)據(jù)庫 該模塊面向事務(wù)設(shè)計，以操作性數(shù)據(jù)庫為基礎(chǔ)，承載來自各業(yè)務(wù)系統(tǒng)的核心數(shù)據(jù)，遵循統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，結(jié)合元數(shù)據(jù)管理手段實現(xiàn)數(shù)據(jù)的高效管理。該庫以業(yè)務(wù)類型進(jìn)行數(shù)據(jù)劃分，包括教務(wù)庫、財務(wù)庫、科研庫等。區(qū)別于數(shù)據(jù)的簡單集中，該庫忽略原業(yè)務(wù)系統(tǒng)中非必要和邊緣化數(shù)據(jù)，只篩選存儲了需要實現(xiàn)共享的核心數(shù)據(jù)，且對數(shù)據(jù)完成標(biāo)準(zhǔn)化處理。各業(yè)務(wù)系統(tǒng)在請求跨系統(tǒng)數(shù)據(jù)時均通過數(shù)據(jù)交換層中的數(shù)據(jù)訪問接口或訂閱消息推送進(jìn)程實現(xiàn)對共享數(shù)據(jù)庫的數(shù)據(jù)讀取，因此共享數(shù)據(jù)庫在數(shù)據(jù)管理上具有權(quán)威性和唯一性。

共享數(shù)據(jù)倉庫 該模塊是面向主題設(shè)計的。區(qū)別于共享數(shù)據(jù)庫，數(shù)據(jù)以主題庫形式在共享數(shù)據(jù)倉庫中通過數(shù)據(jù)建模完成分類聚集。同一主題內(nèi)數(shù)據(jù)具有強(qiáng)相關(guān)性和高聚合度，著重提升平臺數(shù)據(jù)分析能力。數(shù)據(jù)根據(jù)相關(guān)性被構(gòu)建到同一個業(yè)務(wù)主題中，以此形成對同一對象的多維度數(shù)據(jù)描述。以“學(xué)生主題”為例的人員主題庫將所有與學(xué)生學(xué)號相關(guān)聯(lián)的核心數(shù)據(jù)聚合集中到同一個庫中，如學(xué)生基本信息、課程信息、成績信息、消費(fèi)信息等。這樣的聚合數(shù)據(jù)一方面可以快速實現(xiàn)學(xué)生綜合信息查詢，另一方面可以實現(xiàn)多維度的學(xué)生個體分析。共享數(shù)據(jù)倉庫的建立，將有效提高全校性數(shù)據(jù)綜合查詢水平，并可為數(shù)據(jù)分析挖掘服務(wù)提供支撐作用。

3 數(shù)據(jù)交換管理優(yōu)化

數(shù)據(jù)交換是數(shù)據(jù)共享中心中的核心功能。因此，本章提出針對數(shù)據(jù)交換層中數(shù)據(jù)交換管理的優(yōu)化措施，來解決數(shù)據(jù)共享中心中存在的問題。

⑴ 加強(qiáng)數(shù)據(jù)交換任務(wù)生命周期管理，提升任務(wù)穩(wěn)定性。通過作業(yè)調(diào)度管理加強(qiáng)對交換任務(wù)的調(diào)度編排管理，包括在任務(wù)優(yōu)先級、任務(wù)執(zhí)行周期、任務(wù)關(guān)系依賴等方面實現(xiàn)可配置化管理。同時實現(xiàn)對任務(wù)全周期的作業(yè)狀態(tài)監(jiān)控。對任務(wù)當(dāng)前流程節(jié)點和作業(yè)狀態(tài)的監(jiān)控可以在異常發(fā)生時實現(xiàn)對問題的快速定位與管控。

⑵ 以數(shù)據(jù)質(zhì)量監(jiān)控為手段形成閉環(huán)的數(shù)據(jù)維護(hù)模式。依據(jù)數(shù)據(jù)質(zhì)量監(jiān)控手段將數(shù)據(jù)清洗和轉(zhuǎn)換過程中過濾出的問題數(shù)據(jù)以線上流程的方式反饋至數(shù)據(jù)源頭部門進(jìn)行人工處理（修訂或刪除）后再提交，實現(xiàn)在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)共享中心之間形成閉環(huán)且常態(tài)化的數(shù)據(jù)維護(hù)模式，有效解決數(shù)據(jù)質(zhì)量問題。

⑶ 以數(shù)據(jù)規(guī)范為基礎(chǔ)，結(jié)合技術(shù)手段加強(qiáng)數(shù)據(jù)標(biāo)準(zhǔn)的嚴(yán)格執(zhí)行。通過制定和發(fā)布權(quán)威的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，建立數(shù)據(jù)“誰生產(chǎn)誰負(fù)責(zé)”的原則，由業(yè)務(wù)部門負(fù)責(zé)維護(hù)和更新系統(tǒng)內(nèi)數(shù)據(jù)編碼規(guī)則以及與數(shù)據(jù)標(biāo)準(zhǔn)間的轉(zhuǎn)換映射關(guān)系。結(jié)合技術(shù)手段建立全校性統(tǒng)一的數(shù)據(jù)規(guī)范維護(hù)更新入口，保證數(shù)據(jù)負(fù)責(zé)人對數(shù)據(jù)規(guī)范的維護(hù)和更新實現(xiàn)流程化、常態(tài)化、簡單化。

⑷ 嚴(yán)格控制數(shù)據(jù)共享中心中數(shù)據(jù)源頭的單一來源，以保證數(shù)據(jù)的權(quán)威性和正確性。以學(xué)校人事基本數(shù)據(jù)為例，人員基礎(chǔ)信息普遍存在于各職能部門的系統(tǒng)數(shù)據(jù)之中，而將人事處數(shù)據(jù)作為該類數(shù)據(jù)的唯一權(quán)威數(shù)據(jù)來源可以有效避免同業(yè)務(wù)類型數(shù)據(jù)從不同業(yè)務(wù)系統(tǒng)中被采集到數(shù)據(jù)共享中心后產(chǎn)生潛在的歧義性。

⑸ 實現(xiàn)數(shù)據(jù)增量同步，提升平臺內(nèi)交換任務(wù)的執(zhí)行效率。改造業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，增加時間戳字段記錄數(shù)據(jù)變更時間是實現(xiàn)增量同步的有效手段。此外利用消息中間件技術(shù)來監(jiān)聽數(shù)據(jù)變更情況也可以實現(xiàn)快速的增量同步。增量數(shù)據(jù)同步方式提升數(shù)據(jù)交換效率的同時，也對業(yè)務(wù)系統(tǒng)和數(shù)據(jù)共享中心間的系統(tǒng)協(xié)同性提出了更高要求。

⑹ 建設(shè)數(shù)據(jù)資源目錄，以目錄化方式管理和展現(xiàn)全校性數(shù)據(jù)資源。通過數(shù)據(jù)資源目錄的建設(shè)可以使得松散化的數(shù)據(jù)資源具有更好的條理性和組織性，一方面有利于提升管理員對數(shù)據(jù)資源的管理能力和效率，另一方面將數(shù)據(jù)資源以目錄化形式對外展現(xiàn)，可以進(jìn)一步推廣和應(yīng)用全校性共享數(shù)據(jù)。

4 結(jié)束語

數(shù)據(jù)共享中心是高校信息化中的核心工程，能夠起到消除高校信息化孤島、實現(xiàn)系統(tǒng)間數(shù)據(jù)共享的重要作用，同時也有助于實現(xiàn)校園智慧型數(shù)據(jù)應(yīng)用的快速發(fā)展。本文分析了數(shù)據(jù)共享中心的現(xiàn)狀與不足，描述了該平臺在高校信息化業(yè)務(wù)架構(gòu)中的位置與角色，并從數(shù)據(jù)交換層、共享數(shù)據(jù)庫、共享數(shù)據(jù)倉庫等三個模塊介紹了數(shù)據(jù)共享中心的建設(shè)方案。提出了數(shù)據(jù)共享中心中數(shù)據(jù)交換管理的優(yōu)化措施和建設(shè)方案，旨在提升數(shù)據(jù)共享中心的穩(wěn)定性、可靠性和高效性。

參考文獻(xiàn)（References）：

[1] 劉寶妹，陳美玲，白興瑞.智慧校園共享數(shù)據(jù)中心建設(shè)研究[J].中國教育信息化，2020.7：70-73

[2] 許鑫，蘇新寧，吳乃岡.高校共享數(shù)據(jù)中心平臺的設(shè)計與實現(xiàn)[J].現(xiàn)代圖書情報技術(shù)，2005.6：48-53

[3] 李希明，土麗艷，金科.從信息孤島的形成談數(shù)字資源整合的作用[J].圖書館論壇，2003.6：121-122，61

[4] 胡侃，夏紹瑋.基于大型數(shù)據(jù)倉庫的數(shù)據(jù)采掘：研究綜述[J].軟件學(xué)報，1998.1：3-5

[5] 常潘，沈富可.基于LDAP的校園網(wǎng)統(tǒng)一身份認(rèn)證的實現(xiàn)[J].計算機(jī)工程，2007.5：281-282，285

[6] 周耀林，趙躍.基于個人云存儲服務(wù)的數(shù)字存檔策略研究[J].圖書館建設(shè)，2014.6：21-24，30

[7] 徐俊剛，裴瑩.數(shù)據(jù)ETL研究綜述[J].計算機(jī)科學(xué)，2011.38（4）：15-20

[8] 郭志懋，周傲英.數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J].軟件學(xué)報，2002.11：2076-2082

[9] 尹兆冰，王加陽.Web Service及其關(guān)鍵技術(shù)研究綜述[J].軟件導(dǎo)刊，2010.9（2）：121-123

[10] 李艷春，李新，焦文彬.分布式信息系統(tǒng)中數(shù)據(jù)交換平臺設(shè)計與實現(xiàn)[J].計算機(jī)工程與設(shè)計，2012.33（7）：2640-2645