黃健榮，鄒木春，黃玉健

（1.2.3.梧州學院現代教育技術中心，廣西梧州543002）

一種基于共享數據平臺的高校數據集成方法

黃健榮1，鄒木春2，黃玉健3

（1.2.3.梧州學院現代教育技術中心，廣西梧州543002）

闡述共享數據平臺的基本工作原理，根據梧州學院實際需求對共享數據平臺的概念模型、數據源選擇和數據抽取進行研究分析，提出一個實現高校數據集成的方法。

信息孤島；共享數據平臺；數據集成；數據抽取

1 引言

隨著計算機技術和校園網絡的發(fā)展，高校信息化管理也有了很大的發(fā)展。以梧州學院為例，梧州學院現有教務管理系統(tǒng)、學生繳費管理系統(tǒng)、圖書管理系統(tǒng)和針對教職工用戶的院內信息管理系統(tǒng)等，這些系統(tǒng)除了院內信息系統(tǒng)是自行開發(fā)的之外，其他應用系統(tǒng)都是由不同廠商開發(fā)的商業(yè)軟件，經過數年的運行，這些系統(tǒng)已經積累了寶貴的數據資源。但是，由于各個應用系統(tǒng)運行在不同的環(huán)境中，使用不同的數據庫，彼此間沒有數據訪問接口，無法自行實現數據交換，各系統(tǒng)彼此獨立運行，形成了一個個“信息孤島”。隨著學校的發(fā)展，新的需求不斷提出，“信息孤島”所引發(fā)的矛盾日益突出，嚴重制約了學校信息化建設。信息系統(tǒng)集成是解決現存信息孤島問題的一個有效方式，而數據集成是信息系統(tǒng)集成的核心問題[1]，本文通過構建共享數據平臺在梧州學院實現了數據集成。

2 共享數據平臺

2.1 共享數據平臺模型

共享數據平臺是對信息管理系統(tǒng)數據進行組織、存儲、查詢、通信等管理服務的數據庫系統(tǒng)，其目標是為學校提供一個統(tǒng)一的數據存儲模式[2]，建立跨系統(tǒng)異構數據庫的數據交換平臺，使全校各信息系統(tǒng)的基礎數據保持一致，避免數據的重復錄入，同時對學校跨部門的數據統(tǒng)計分析提供數據支持，結構如圖1所示。

圖1 共享數據平臺結構圖

2.2 共享數據庫

共享數據庫主要保存各信息系統(tǒng)中重復使用率比較高和對學校管理決策有影響的公共數據，共享數據的目的就是與其他信息系統(tǒng)進行數據交互，因此共享數據庫應采用統(tǒng)一的數據格式，格式符合《國家經濟信息系統(tǒng)設計與應用標準化規(guī)范》和《高等學校管理基本信息集》等規(guī)范[3]。共享數據庫概念模型和數據來源有以下幾個方面。

2.2.1 用戶角色信息集：用戶角色信息集用于保存統(tǒng)一用戶認證登錄所需的用戶名、密碼以及原有應用系統(tǒng)中的用戶、密碼和系統(tǒng)名稱。

2.2.2 學生信息集：學生是高校信息管理中最大的主體之一，高校信息管理系統(tǒng)很大一部分功能是對學生的管理，如學工管理、教務管理、校園一卡通等等，學生信息是重復使用率最高的信息之一，學生信息集主要是學生的學籍信息。學生信息的來源可以是學工管理系統(tǒng)或者教務管理系統(tǒng)，由于梧州學院當前沒有學工管理系統(tǒng)，因此學生信息來源從教務系統(tǒng)中抽取。

2.2.3 教職工信息集：教職工是高校信息管理中最大兩個主體的另一個，教職工信息也是重復使用率最高的信息之一，如教務管理、科研管理、人事管理等都與教職工相關。教工信息主要包含教職工的職工號、專業(yè)、學歷、職稱、職務等基本信息。梧州學院教職工信息集的來源由院內信息系統(tǒng)和教務系統(tǒng)聯(lián)合生成。

2.2.4 教學信息集：教學工作是學校最大的活動，教學信息是教學質量監(jiān)督的重要數據來源，對學校決策有重要的影響作用，教學信息包含學生選課記錄、教師教學任務、課程表信息、學生成績信息，調停課信息等；教學信息的主要來源是教務管理系統(tǒng)。

2.2.5 科研信息集：科研工作是學校除了教學活動之外的最大活動，科研工作是高校教師的主要工作之一，科研信息也影響著學校的決策，科研信息主要為教師的論文發(fā)表信息、項目信息、獲獎信息等，但由于梧州學院還沒有科研管理系統(tǒng)，科研信息集為預留項目。

2.2.6 財務信息集：財務信息主要為學生學費繳費信息，學生欠費是各高校都存在的問題，其數據對學校決策有著重要的作用，財務信息集的數據來源為學生繳費系統(tǒng)。財務信息的另一重要內容是學校的財政數據和教職工的工資數據。

2.2.7 其他。

2.3 數據交換中心

數據交換中心是共享數據平臺的核心部件，其主要任務是協(xié)調各數據源使其基礎數據統(tǒng)一，即對數據源進行數據抽取、清洗、加載（ETL）和數據訂閱工作。數據交換中心位于異構數據源系統(tǒng)和共享數據庫之間，向下對異構數據源進行抽取，向上將抽取到的數據清洗后加載到共享數據庫，或者通過數據訂閱的方式將共享數據庫的數據按需要轉換后加載到需要用到的數據庫中。數據交換中心對數據源系統(tǒng)和接受數據的系統(tǒng)來說是透明的，數據的獲取和訂閱工作不影響原有系統(tǒng)的正常運行。

2.3.1 數據的抽取清洗加載實質是對連接數據源、讀取源數據、根據規(guī)范轉換數據、寫入目標數據庫的過程，其難點是對數據源的抽取。抽取數據源或數據訂閱前都需要做大量的調研工作，調研工作需要了解哪些表格是存儲所需數據，是否存在非結構化數據等問題。共享數據平臺的數據來自不同的系統(tǒng)，不同的數據源有不同的抽取方法，對數據源的抽取通常有全量抽取和增量抽取兩種方式。全量抽取是將數據源讀取后按照規(guī)定格式寫入到共享數據庫中，數據量不大或者更新頻率較小的數據，或者是非結構化的數據都可以使用全量抽取，例如機構設置表就可以使用全量抽取，全量抽取前應刪除共享數據庫中相應的數據。增量抽取是抽取上一次抽取后發(fā)生改變的數據，增量數據包括新增、修改和刪除過的數據，數據源數據量較大，而且更新頻率較大時可以使用增量抽取。獲取發(fā)生改變的數據是增量抽取的關鍵，獲取增量數據常用的方法有以下4種[4]。

第一種是掃描時間截數據法：對含有更新時間的數據源，可以通過對比上次更新時間來判斷哪些數據是新增數據，比如教務信息的調停課申請表可以按照審批時間進行增量判斷。

第二種是觸發(fā)器及數據的復制法：通過在數據源的表上建立觸發(fā)器，將發(fā)生改變的記錄保存到臨時表上，再從臨時表上定期抽取數據，觸發(fā)器及數據的復制法是比較有效和常用的數據抽取方法，如用戶角色集、學生信息集、教師信息集等均用此方法抽取數據，但對數據源系統(tǒng)會有一定的性能影響。

第三種是日志對比法：日志對比法是通過對源數據庫日志文件分析獲取增量數據。

第四種是全表對比法：全表對比法是源數據表與目標數據表的記錄逐條對比判斷發(fā)生變化的記錄。

對數據的抽取工作可根據數據的性質采取定期自動抽取和手工抽取模式進行，對更新頻率大或者更新頻率無章可循的數據采用定期自動抽取，對數據更新周期較長的數據采用手工抽取，如用戶角色信息和教務信息中的調停課信息可以每2小時左右抽取一次，學生信息集和教工信息集可以每7天左右抽取一次，而教務信息中的教師教學任務和學生成績等信息則可以3個月或6個月才抽取，對自動抽取周期較長的數據同時提供手動抽取模式。

2.3.2 數據的訂閱是將共享數據庫中的數據按使用數據的系統(tǒng)要求格式轉換后加載到其數據庫中，是數據抽取的逆向過程，各系統(tǒng)通過數據訂閱實現數據的統(tǒng)一。數據訂閱對共享數據的抽取使用時間截方式獲取更新數據源。

3 總結

“信息孤島”是各高校普遍存在的現象，本文描述的方法已在梧州學院實現了數據共享和集成，為學校信息管理系統(tǒng)的集成奠定了基礎，也為新的業(yè)務系統(tǒng)的開發(fā)提供基礎數據支持。本方法具有建設周期短、開發(fā)成本低的特點，既保存了原有信息系統(tǒng)的獨立性，又實現了數據資源共享，為高校解決信息孤島問題、實現數據集成提供參考方案。

[1]龔尚福,席曼,李雅玲.信息系統(tǒng)集成與數據集成策略[J].西安科技大學學報,2008(6).

[2]裘慧奇,陳世平.數字校園共享數據平臺模型探討[J].科技信息，2008(11).

[3]徐榮.復旦大學共享數據平臺的分析與設計[D].復旦大學碩士學位論文,2005.

[4]王天亮,陳剛,徐宏炳.基于共享數據庫的數據共享技術[J].計算機工程與設計,2007(4).

A University Data Integration M ethod Based on Shared Data Platform

Huang Jianrong1,Zou M uchun2,Huang Yujian3
(1.2.3.M odern Educational Technology Center,W uzhou University,W uzhou 543002,China)

Expounding the basic working principle of shared data platform,researching and analyzing the conceptualmodel of the shared data platform,data source selection and data extraction according to the actual needs of Wuzhou University,this paper proposes a university data integrationmethod.

islands of information;shared data platform;data integration;data extraction

TP393.09

A

1673-8535(2013)03-0020-04

黃健榮（1978-），男，廣西桂平人，梧州學院工程師，研究方向：軟件工程與計算機網絡。

鄒木春（1969-），男，廣西蒼梧人，梧州學院副教授，研究方向：無損檢測。

（責任編輯：覃華巧）

2013-04-23

黃玉?。?975-），男，廣西藤縣人，梧州學院講師，研究方向：軟件工程。