周曉瑋

(大連海事大學(xué) 網(wǎng)絡(luò)信息與綜合服務(wù)中心，遼寧 大連 116026)

一、高校數(shù)據(jù)集成工作現(xiàn)狀

隨著信息時代的來臨，我國教育信息化已經(jīng)上升到國家戰(zhàn)略層次，高校信息化已經(jīng)成為衡量學(xué)校辦學(xué)水平的重要指標(biāo)。在信息化建設(shè)過程中，業(yè)務(wù)系統(tǒng)越來越多，由于各系統(tǒng)功能不同，建設(shè)時期不同，沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，缺乏數(shù)據(jù)校驗(yàn)，使用不同的數(shù)據(jù)存儲方式和數(shù)據(jù)結(jié)構(gòu)，彼此之間相互獨(dú)立，形成數(shù)據(jù)孤島，為數(shù)據(jù)共享增加難度[1]。

當(dāng)前，國內(nèi)高校已經(jīng)完成了以人、財、物為核心的業(yè)務(wù)系統(tǒng)建設(shè)，從數(shù)字化校園逐步向智慧校園轉(zhuǎn)變。智慧校園建設(shè)的主要任務(wù)是以各種業(yè)務(wù)系統(tǒng)為載體，將教學(xué)、科研、管理和校園生活進(jìn)行充分融合，因此國內(nèi)高校積極推進(jìn)數(shù)據(jù)集成和數(shù)據(jù)交換工作，并取得了顯著成就。其中具有代表性的研究成果主要包括以下幾種：四川大學(xué)李帥等[2]提出的基于Neo4j的多源異構(gòu)數(shù)據(jù)庫集成方式，以圖結(jié)構(gòu)的形式集成異構(gòu)數(shù)據(jù)庫，不受數(shù)據(jù)格式影響，但Neo4j本身需要很高的開發(fā)和維護(hù)成本，操作復(fù)雜，學(xué)習(xí)成本較高，而且插入速度很慢，影響操作性能；北京理工大學(xué)周肖樹等[3]提出了基于XSL語言轉(zhuǎn)換的異構(gòu)數(shù)據(jù)集成方法，集成速度快，但需要大量XSL轉(zhuǎn)換工作，人力成本偏高；遼寧大學(xué)馮勇等[4]提出的元數(shù)據(jù)集成方法，采用先局部后整體的方式集成異構(gòu)數(shù)據(jù)避免大量數(shù)據(jù)的存儲和傳輸，但該方法缺乏對數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范的研究；內(nèi)蒙古農(nóng)業(yè)大學(xué)的程顯生等[5]提出的基于主題映射元數(shù)據(jù)的異構(gòu)數(shù)據(jù)庫集成方式，該方法相比傳統(tǒng)方法對綜合性能有一定提升，但欠缺關(guān)于元數(shù)據(jù)刪除方面的研究。

二、高校數(shù)據(jù)集成工作建設(shè)思路

從上述研究成果中可以看出，基于異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)集成工作主要集中在兩種方式：利用現(xiàn)有技術(shù)工具開發(fā)方式和基于元數(shù)據(jù)的數(shù)據(jù)交換方式。利用現(xiàn)有技術(shù)工具開發(fā)方式存在開發(fā)維護(hù)成本和人力成本較高、操作性能較低、對相關(guān)人員技術(shù)要求較高等問題；基于元數(shù)據(jù)的數(shù)據(jù)交換方式，存在缺乏數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)刪除方面的研究不足等問題[6]。針對上述問題，本文以大連海事大學(xué)為例，提出了一種符合學(xué)校實(shí)際情況的基于異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)集成方案，既避免過高的開發(fā)成本，又解決了元數(shù)據(jù)缺乏數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)刪除能力不足的問題。方案系統(tǒng)架構(gòu)如圖1所示。

圖1 基于異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)集成系統(tǒng)總體架構(gòu)

建設(shè)思路分以下幾步：

第一步：統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，建設(shè)數(shù)據(jù)模型。在前期數(shù)字化校園建設(shè)時期，學(xué)校已建成眾多業(yè)務(wù)系統(tǒng)，如人事系統(tǒng)、教務(wù)系統(tǒng)、研究生系統(tǒng)、學(xué)工系統(tǒng)、科研系統(tǒng)等。這些單獨(dú)的系統(tǒng)已經(jīng)投入使用了一段時間，非常成熟，但各自有自己的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)結(jié)構(gòu)，集成時標(biāo)準(zhǔn)不統(tǒng)一，數(shù)據(jù)交換難度大。為保證數(shù)據(jù)在采集、處理、交換、傳輸?shù)倪^程中有科學(xué)、統(tǒng)一、規(guī)范的分類和描述，首先進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)工作，再根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建數(shù)據(jù)模型。這是數(shù)據(jù)集成和共享的基礎(chǔ)。

第二步：梳理各類數(shù)據(jù)產(chǎn)生的權(quán)威數(shù)據(jù)源，確保一數(shù)一源。例如人事人員基本信息數(shù)據(jù)來源于人事系統(tǒng)，本科學(xué)生基本數(shù)據(jù)來源于教務(wù)系統(tǒng)等，遵守“誰生成誰負(fù)責(zé)”的基本原則，責(zé)權(quán)到位，確保每條數(shù)據(jù)和字段都能找到生產(chǎn)者和所有者。

第三步：明確哪些數(shù)據(jù)需要集成到數(shù)據(jù)中心。每個業(yè)務(wù)系統(tǒng)都有大量的數(shù)據(jù)，其中大部分是業(yè)務(wù)系統(tǒng)內(nèi)部流程產(chǎn)生的過程數(shù)據(jù)，對其他業(yè)務(wù)系統(tǒng)沒有價值，有價值的是各個流程產(chǎn)生的結(jié)果數(shù)據(jù)，數(shù)據(jù)集成工作只針對這部分結(jié)果數(shù)據(jù)。第二、三步和第一步工作實(shí)際上要同時進(jìn)行，制定標(biāo)準(zhǔn)的同時要梳理出源頭，并將需要集成的數(shù)據(jù)確認(rèn)工作詳細(xì)到字段信息，作為數(shù)據(jù)標(biāo)準(zhǔn)的制定依據(jù)。

第四步：數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載。數(shù)據(jù)在抽取過程中，要根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)對不規(guī)范數(shù)據(jù)進(jìn)行轉(zhuǎn)換、清洗，去除冗余數(shù)據(jù)，然后加載到數(shù)據(jù)中心，作為數(shù)據(jù)共享和數(shù)據(jù)沉淀的基礎(chǔ)。在數(shù)據(jù)進(jìn)行轉(zhuǎn)換時，創(chuàng)建刪除標(biāo)記字段和時間戳字段方法，解決元數(shù)據(jù)刪除和業(yè)務(wù)系統(tǒng)共享數(shù)據(jù)時同步全量數(shù)據(jù)時間過長的問題。

第五步：對外提供共享數(shù)據(jù)。數(shù)據(jù)中心以服務(wù)接口的方式，實(shí)時提供共享數(shù)據(jù)[3]，并以數(shù)據(jù)為基礎(chǔ)，根據(jù)學(xué)校教職工的任職生涯和學(xué)生的學(xué)習(xí)生涯，提出全生命周期數(shù)據(jù)管理概念：即以身份證件號為基準(zhǔn)，對教職工的報到、入職、在職、離退休或離職等階段，以及學(xué)生的本科生、碩士生、博士生、留校成為教職工或畢業(yè)后成為校友的各個階段，進(jìn)行全生命周期數(shù)據(jù)管理。

三、高校數(shù)據(jù)集成工作建設(shè)方案

(一)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)

制定并創(chuàng)建合理的數(shù)據(jù)標(biāo)準(zhǔn)，需要綜合考慮國家、行業(yè)的標(biāo)準(zhǔn)規(guī)范，并結(jié)合學(xué)校實(shí)際業(yè)務(wù)情況。經(jīng)過持續(xù)的研究分析，從編制、查詢、實(shí)施和維護(hù)角度考慮，并多次與數(shù)據(jù)源部門進(jìn)行溝通和確認(rèn)后，學(xué)校將數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)分為兩部分：代碼標(biāo)準(zhǔn)和元數(shù)據(jù)標(biāo)準(zhǔn)。

1.代碼標(biāo)準(zhǔn)

代碼是各業(yè)務(wù)系統(tǒng)都需要用到的代碼類數(shù)據(jù)，例如政治面貌代碼、籍貫代碼等。基于國家教育部發(fā)布的《中華人民共和國教育行業(yè)標(biāo)準(zhǔn)JY/T 1001-2012標(biāo)準(zhǔn)》，參考國際上通行的軟件開發(fā)標(biāo)準(zhǔn)和規(guī)范，同時結(jié)合學(xué)校實(shí)際情況，制定代碼標(biāo)準(zhǔn)，并保證代碼標(biāo)準(zhǔn)符合規(guī)范性、全面性、可擴(kuò)展性、簡單性的要求。

代碼標(biāo)準(zhǔn)分為代碼參考標(biāo)準(zhǔn)和代碼執(zhí)行標(biāo)準(zhǔn)。代碼參考標(biāo)準(zhǔn)主要構(gòu)建各種二類代碼，制定標(biāo)準(zhǔn)代碼需要參考的現(xiàn)行標(biāo)準(zhǔn)包括國標(biāo)、行標(biāo)和校標(biāo)。

(1)國標(biāo)：政治面貌代碼、籍貫代碼、專業(yè)技術(shù)職務(wù)代碼、干部職務(wù)職級代碼等一系列國家標(biāo)準(zhǔn)代碼集。

(2)行標(biāo)：培養(yǎng)方式代碼、二級學(xué)科代碼等一系列行業(yè)標(biāo)準(zhǔn)代碼集。

(3)校標(biāo)：根據(jù)學(xué)校情況，自定義的校內(nèi)相關(guān)標(biāo)準(zhǔn)代碼，如校區(qū)代碼、教學(xué)樓代碼等。校標(biāo)的制定要以源頭部門代碼作為基準(zhǔn)，以人事人員狀態(tài)代碼為例：該代碼的唯一產(chǎn)生源頭是人事系統(tǒng)，其他業(yè)務(wù)系統(tǒng)只使用不更改。為了保證代碼建設(shè)的時效性，直接使用人事系統(tǒng)中人員狀態(tài)代碼作為校標(biāo)代碼。

代碼執(zhí)行標(biāo)準(zhǔn)是根據(jù)代碼參考標(biāo)準(zhǔn)按照學(xué)校實(shí)際數(shù)據(jù)形成的，用于業(yè)務(wù)系統(tǒng)設(shè)計代碼時的參考依據(jù)，以及數(shù)據(jù)集成時的轉(zhuǎn)碼依據(jù)。根據(jù)應(yīng)用場景和業(yè)務(wù)分類，將代碼執(zhí)行標(biāo)準(zhǔn)劃分見表1。

表1 代碼執(zhí)行標(biāo)準(zhǔn)

2.元數(shù)據(jù)標(biāo)準(zhǔn)

元數(shù)據(jù)是對數(shù)據(jù)特征、彼此關(guān)系、有關(guān)操作進(jìn)行描述與規(guī)定的一種數(shù)據(jù)集合，是關(guān)于數(shù)據(jù)的數(shù)據(jù)，是數(shù)據(jù)管理活動的基礎(chǔ)，用于記錄數(shù)據(jù)庫中數(shù)據(jù)的分布情況[4]。制定元數(shù)據(jù)標(biāo)準(zhǔn)，用于對異構(gòu)數(shù)據(jù)源進(jìn)行統(tǒng)一的邏輯表示，為數(shù)據(jù)集成提供統(tǒng)一基礎(chǔ)結(jié)構(gòu)，描述集成數(shù)據(jù)及數(shù)據(jù)來源[4]。

元數(shù)據(jù)標(biāo)準(zhǔn)要遵循嚴(yán)謹(jǐn)性和規(guī)范性，即元數(shù)據(jù)的互操作性和易轉(zhuǎn)換性，以減少操作過程中的信息損失。制定元數(shù)據(jù)標(biāo)準(zhǔn)之前，首先要明確每條元數(shù)據(jù)的來源，確定元數(shù)據(jù)的具體屬性。本文依據(jù)國家教育部發(fā)布的《高等學(xué)校管理信息標(biāo)準(zhǔn)》(以下簡稱《信息標(biāo)準(zhǔn)》)，結(jié)合學(xué)校實(shí)際業(yè)務(wù)情況，制定并建立學(xué)校的元數(shù)據(jù)標(biāo)準(zhǔn)?！缎畔?biāo)準(zhǔn)》中涵蓋了通用性的元數(shù)據(jù)標(biāo)準(zhǔn)，在此基礎(chǔ)上，擴(kuò)展了符合學(xué)校具體資源特性部分。

以人事人員基本信息的元數(shù)據(jù)標(biāo)準(zhǔn)為例，《信息標(biāo)準(zhǔn)》定義了大部分具有普遍適用性的元數(shù)據(jù)標(biāo)準(zhǔn)，如ZGH(職工號)、XM(姓名)、XB(性別)等。結(jié)合學(xué)校實(shí)際情況，在該項(xiàng)元數(shù)據(jù)標(biāo)準(zhǔn)中增加了SFHHJS(是否航海教師)等，其中代碼字段直接映射到執(zhí)行代碼表，見表2。

表2 人事人員基本信息元素?fù)?jù)標(biāo)準(zhǔn)

此外，元數(shù)據(jù)標(biāo)準(zhǔn)中還定義了數(shù)據(jù)表命名規(guī)范、字段命名規(guī)范、字段屬性定義規(guī)范、編碼規(guī)范、字段關(guān)聯(lián)代碼表，還需要制定合理的字段類型及長度。各類元數(shù)據(jù)表間有一定的邏輯數(shù)據(jù)獨(dú)立性，減少連接運(yùn)算。同時還要避免命名沖突、概念沖突、域沖突等，并識別出實(shí)體、原子屬性及實(shí)體之間的聯(lián)系，根據(jù)需要定義必要的索引，包括字段索引、多字段索引、簇集索引等，用于提高檢索效率。

在數(shù)據(jù)集成建設(shè)中，以代碼標(biāo)準(zhǔn)和元數(shù)據(jù)標(biāo)準(zhǔn)為基礎(chǔ)，要求對于已經(jīng)存在系統(tǒng)的非標(biāo)準(zhǔn)數(shù)據(jù)資源，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行轉(zhuǎn)換后集成到數(shù)據(jù)中心作為標(biāo)準(zhǔn)的信息資源；對于新開發(fā)的業(yè)務(wù)系統(tǒng)，在整個建設(shè)過程中，要遵循學(xué)校的數(shù)據(jù)標(biāo)準(zhǔn)。

(二)建設(shè)數(shù)據(jù)中心

依據(jù)代碼標(biāo)準(zhǔn)和元數(shù)據(jù)標(biāo)準(zhǔn)，創(chuàng)建出標(biāo)準(zhǔn)代碼數(shù)據(jù)模型和元數(shù)據(jù)模型后，開始數(shù)據(jù)抽取、清洗和加載工作。本文以學(xué)校人事系統(tǒng)中教職工基本數(shù)據(jù)為例，數(shù)據(jù)集成過程如圖2所示。

圖2 教職工基本信息數(shù)據(jù)集成過程

1.數(shù)據(jù)抽取

由于不同業(yè)務(wù)系統(tǒng)使用異構(gòu)數(shù)據(jù)庫，甚至某些老舊業(yè)務(wù)系統(tǒng)已經(jīng)沒有技術(shù)維護(hù)人員，因此在進(jìn)行數(shù)據(jù)抽取工作時，采取兩種方式進(jìn)行。

(1)使用接口

優(yōu)點(diǎn)：不用直接訪問數(shù)據(jù)庫，安全性高；在開發(fā)接口時，可以提前完成數(shù)據(jù)清洗和格式、代碼轉(zhuǎn)換工作，也可以在數(shù)據(jù)轉(zhuǎn)換和清洗過程中完成。

缺點(diǎn)：需要業(yè)務(wù)系統(tǒng)技術(shù)維護(hù)人員進(jìn)行開發(fā)；當(dāng)字段發(fā)生變化時，需要維護(hù)人員進(jìn)行額外開發(fā)工作更新接口。

適用于仍在維護(hù)，可以快速提供或更新接口的業(yè)務(wù)系統(tǒng)。

(2)直接訪問數(shù)據(jù)庫

優(yōu)點(diǎn)：訪問數(shù)據(jù)庫直接讀取數(shù)據(jù)表或視圖，沒有中間過程，不需要進(jìn)行額外開發(fā)工作。

缺點(diǎn)：直接訪問數(shù)據(jù)庫安全性低；當(dāng)字段屬性發(fā)生變化時，會導(dǎo)致視圖失效，需要數(shù)據(jù)庫管理員進(jìn)行干預(yù)。

適用于無技術(shù)人員維護(hù)的老舊業(yè)務(wù)系統(tǒng)。

圖2教職工基本信息使用接口方式抽取數(shù)據(jù)。

2.數(shù)據(jù)轉(zhuǎn)換和清洗

在進(jìn)行數(shù)據(jù)抽取過程中，發(fā)現(xiàn)很多數(shù)據(jù)存在質(zhì)量問題，主要是殘缺數(shù)據(jù)、錯誤數(shù)據(jù)、重復(fù)數(shù)據(jù)等。這部分?jǐn)?shù)據(jù)需要進(jìn)行轉(zhuǎn)換和清洗，基本方法有：非空檢查、主鍵重復(fù)、代碼轉(zhuǎn)換、格式內(nèi)容清洗、邏輯錯誤清洗。圖2教職工基本信息進(jìn)行數(shù)據(jù)轉(zhuǎn)換時，因?yàn)閿?shù)據(jù)源中存在代碼不符合標(biāo)準(zhǔn)問題，需要進(jìn)行職務(wù)級別碼、當(dāng)前狀態(tài)碼、健康狀況碼、婚姻狀態(tài)碼和國籍地區(qū)碼的轉(zhuǎn)碼操作。

3.數(shù)據(jù)加載

數(shù)據(jù)轉(zhuǎn)換清洗結(jié)束之后，經(jīng)過字段選擇和排序，將源頭數(shù)據(jù)和數(shù)據(jù)中心進(jìn)行對比。如果數(shù)據(jù)源里有某條記錄，而數(shù)據(jù)中心沒有，進(jìn)行新增操作；如果數(shù)據(jù)源和數(shù)據(jù)中心都有某條記錄，并且數(shù)據(jù)不一致，則進(jìn)行更新操作[7]。

4.元數(shù)據(jù)刪除及超長同步時間解決方案

基于數(shù)據(jù)完整性考慮，數(shù)據(jù)中心的數(shù)據(jù)不會進(jìn)行刪除操作。那么當(dāng)數(shù)據(jù)源記錄刪除時，數(shù)據(jù)中心該如何與數(shù)據(jù)源保持一致呢？為此本文提出邏輯刪除方案，即在每個數(shù)據(jù)表中增設(shè)邏輯刪除(SCBJ)字段。當(dāng)檢測到某條記錄在數(shù)據(jù)源被刪除時，加載數(shù)據(jù)時將該條記錄邏輯刪除字段設(shè)置為1，其他記錄邏輯刪除字段默認(rèn)為0。對外提供同步服務(wù)接口時，通過該字段值進(jìn)行過濾，防止已刪除記錄進(jìn)入其他業(yè)務(wù)系統(tǒng)。同時這種方案解決了數(shù)據(jù)源刪除記錄后，很多歷史數(shù)據(jù)出現(xiàn)字段值無效導(dǎo)致記錄顯示錯誤的問題。

某些業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量非常大，導(dǎo)致其他業(yè)務(wù)系統(tǒng)共享時同步時間過長。例如40多萬條記錄如果全量同步，耗時100分鐘以上，同時非常消耗服務(wù)器性能，導(dǎo)致用戶操作體驗(yàn)差。為解決這個問題，本文提出時間戳字段方案，即在每個數(shù)據(jù)表中增設(shè)一個時間戳(SJC)字段。每條記錄加載到數(shù)據(jù)中心時，如果監(jiān)測到變化，就將當(dāng)前時間賦予時間戳字段。業(yè)務(wù)系統(tǒng)在同步數(shù)據(jù)時，只需在初始化階段進(jìn)行一次全量同步，此后每次同步，通過對比當(dāng)前記錄和歷史記錄時間戳字段值的方法，判斷是否需要同步該條記錄，實(shí)現(xiàn)增量同步。在具體實(shí)踐中，以數(shù)據(jù)量最大的門戶系統(tǒng)為例，使用時間戳字段后，最長同步時長從112分鐘縮短為43秒，極大節(jié)省了同步時間，提高系統(tǒng)運(yùn)行效率。

邏輯刪除字段和時間戳字段結(jié)合起來，還可以解決歷史數(shù)據(jù)存儲問題。每條記錄都保存在數(shù)據(jù)中心，不會被刪除；同時根據(jù)時間戳字段，可以判斷該條記錄的最后更新時間，方便業(yè)務(wù)系統(tǒng)查詢歷史數(shù)據(jù)。

5.全生命周期概念

完成數(shù)據(jù)集成的數(shù)據(jù)中心，涵蓋了學(xué)校教職工從入職開始，經(jīng)歷調(diào)換部門、職務(wù)升遷、職稱評審、退休離職等各個階段的數(shù)據(jù)，還涵蓋了學(xué)生從本科生入學(xué)、經(jīng)歷轉(zhuǎn)專業(yè)、學(xué)籍變動、畢業(yè)答辯及離校到升級成碩士生、本科生，最后變成本校教職工或離校成為校友等階段的所有數(shù)據(jù)。以此為基礎(chǔ)，本文提出全生命周期概念。無論人員信息如何變化，通過唯一的身份證件號，都能智能識別用戶當(dāng)前狀態(tài)和身份。由于歷史記錄不會被刪除，教職工和學(xué)生入校后所有身份和變動過程都可以追溯，由此對所有在校人員進(jìn)行全生命周期管理。同時根據(jù)每個用戶對應(yīng)的不同狀態(tài)和身份，在學(xué)校身份平臺管理系統(tǒng)中設(shè)置不同的權(quán)限范圍，實(shí)現(xiàn)對業(yè)務(wù)系統(tǒng)的精準(zhǔn)訪問權(quán)限和角色權(quán)限控制。

四、結(jié)語

本文主要討論了不同業(yè)務(wù)系統(tǒng)異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)集成工作，包括數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)，數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載工作，解決元數(shù)據(jù)刪除問題和數(shù)據(jù)共享全量同步時間長的問題，提出全生命周期概念，精準(zhǔn)控制用戶對業(yè)務(wù)系統(tǒng)的訪問權(quán)限。目前共集成學(xué)校6個主要業(yè)務(wù)系統(tǒng)的重要數(shù)據(jù)，同時為其他業(yè)務(wù)系統(tǒng)提供服務(wù)接口實(shí)現(xiàn)數(shù)據(jù)共享，已創(chuàng)建接口76個，包括通用接口48個，個性化接口28個。下一步工作，需要在此基礎(chǔ)上進(jìn)行數(shù)據(jù)治理，保證數(shù)據(jù)的可用性和完整性，同時注重數(shù)據(jù)安全管理，實(shí)現(xiàn)對隱私數(shù)據(jù)的加密、脫敏、模糊化處理，全方位保障數(shù)據(jù)的安全運(yùn)作。