錢 濤
(浙江農(nóng)業(yè)商貿(mào)職業(yè)學(xué)院,浙江 紹興 312000)
高職院校在教育信息化的發(fā)展過程中,基本上都已建成基于三大平臺的校園綜合信息服務(wù)平臺,同時平臺也集成了教務(wù)、科研、OA、一卡通等多個業(yè)務(wù)系統(tǒng),積累了體量較大的業(yè)務(wù)數(shù)據(jù)、師生行為數(shù)據(jù)以及訪問日志數(shù)據(jù)等。與此同時也存在數(shù)據(jù)多頭管理,數(shù)據(jù)多源異構(gòu)以及數(shù)據(jù)全生命周期不完整等一系列問題,這些問題已嚴(yán)重制約了高職院校的信息化管理及信息化教學(xué)水平的提升,如何對其進(jìn)行有效的治理進(jìn)而為師生提供有效的數(shù)據(jù)服務(wù),是下一階段高職院校教育信息化發(fā)展的方向[1]。
數(shù)字化校園建設(shè)的初期階段,業(yè)務(wù)系統(tǒng)由相關(guān)部門各自牽頭建設(shè),缺乏統(tǒng)一管理,使得雖然積累海量數(shù)據(jù)但無法將它轉(zhuǎn)換為真正的數(shù)據(jù)資產(chǎn),主要存在著以下問題:
(1)數(shù)據(jù)多源異構(gòu)。由于業(yè)務(wù)系統(tǒng)由部門分散管理,缺乏全局規(guī)劃。因早期系統(tǒng)建設(shè)通常以業(yè)務(wù)邏輯為導(dǎo)向,底層數(shù)據(jù)結(jié)構(gòu)設(shè)計不統(tǒng)一,導(dǎo)致系統(tǒng)間數(shù)據(jù)共享交換的深度、維度和效率都不高。
(2)數(shù)據(jù)管理缺失。業(yè)務(wù)系統(tǒng)管理人職責(zé)不明確,部分管理人員習(xí)慣以紙質(zhì)或Excel文檔的方式進(jìn)行數(shù)據(jù)管理,當(dāng)業(yè)務(wù)系統(tǒng)升級或相關(guān)廠商停止維護(hù)后,歷史數(shù)據(jù)無法與新建系統(tǒng)整合,導(dǎo)致學(xué)校數(shù)據(jù)資產(chǎn)的大量流失。
(3)缺乏數(shù)據(jù)整合能力。校園大數(shù)據(jù)主要包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩類。傳統(tǒng)的數(shù)據(jù)中心無法應(yīng)對海量結(jié)構(gòu)化數(shù)據(jù)的實時抽取、加工和轉(zhuǎn)換,同時也缺乏對文檔、音視頻等非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)整合能力。
數(shù)據(jù)治理進(jìn)程中,將依托大數(shù)據(jù)、虛擬化技術(shù),構(gòu)建一個滿足高職院校數(shù)據(jù)發(fā)展現(xiàn)狀的共享數(shù)據(jù)平臺,對高校數(shù)據(jù)層面進(jìn)行全生命周期的管理[2]。由于數(shù)據(jù)治理不僅是技術(shù)問題,還包含著管理屬性,因此在治理階段還需推進(jìn)數(shù)據(jù)治理管理體系和數(shù)據(jù)安全管理體系等制度的建設(shè)。數(shù)據(jù)治理平臺總體架構(gòu)(見圖 1)從下而上包括數(shù)據(jù)來源層、治理層、服務(wù)層3個層面。數(shù)據(jù)治理遵循學(xué)校數(shù)據(jù)字典和信息編碼標(biāo)準(zhǔn),建立統(tǒng)一的數(shù)據(jù)交換體系,規(guī)范數(shù)據(jù)從采集、處理、交換到綜合利用的全過程,實現(xiàn)全校資源數(shù)據(jù)的有效存儲與管理,完成全校范圍的數(shù)據(jù)的統(tǒng)一、集中和共享,為學(xué)校提供各種數(shù)據(jù)應(yīng)用服務(wù)。
圖1 數(shù)據(jù)治理框架
信息標(biāo)準(zhǔn)在信息化建設(shè)中是至關(guān)重要的。無論是業(yè)務(wù)系統(tǒng)還是數(shù)據(jù)中心平臺的上層應(yīng)用,在業(yè)務(wù)活動、數(shù)據(jù)上報、數(shù)據(jù)統(tǒng)計分析的過程中都需要統(tǒng)一的信息標(biāo)準(zhǔn)來支撐。信息標(biāo)準(zhǔn)在全校范圍內(nèi)為數(shù)據(jù)庫設(shè)計提供了類似數(shù)據(jù)字典的作用,為信息交換、數(shù)據(jù)共享提供了基礎(chǔ)性條件。
我校已啟動智慧校園數(shù)據(jù)治理相關(guān)工作,在信息標(biāo)準(zhǔn)建設(shè)方面進(jìn)行了一定研究和探索,秉持“循序漸進(jìn),逐步完善”原則,基于國家標(biāo)準(zhǔn)、教育部標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)進(jìn)行本院校數(shù)據(jù)標(biāo)準(zhǔn)的編制,我校信息標(biāo)準(zhǔn)包括系統(tǒng)子集信息標(biāo)準(zhǔn)、信息交互標(biāo)準(zhǔn)、身份認(rèn)證標(biāo)準(zhǔn)等,其中系統(tǒng)子集信息標(biāo)準(zhǔn)包括數(shù)據(jù)集和代碼集兩方面。在數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)工作中,實現(xiàn)通過圖形化界面進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的日常管理,支持對數(shù)據(jù)標(biāo)準(zhǔn)的歷史版本溯源和新版本的發(fā)布。
學(xué)校內(nèi)部應(yīng)用系統(tǒng)需要共享數(shù)據(jù)的現(xiàn)象非常普遍,建立數(shù)據(jù)中心不僅能避免各應(yīng)用系統(tǒng)相互共享數(shù)據(jù)形成網(wǎng)狀結(jié)構(gòu),同時能夠保證對外提供準(zhǔn)確、一致的數(shù)據(jù)。將分散在各部門業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集中到數(shù)據(jù)中心平臺統(tǒng)一存放,以師、生角色為主線,提供跨部門的人事、教學(xué)、科研、信息服務(wù)等綜合數(shù)據(jù),從而為教職工、學(xué)生提供全方位的信息服務(wù),并實現(xiàn)“誰產(chǎn)生、誰維護(hù)、誰負(fù)責(zé)”的權(quán)威數(shù)據(jù)源。
以我校數(shù)據(jù)中心建設(shè)為例,由于我校主要業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主要以O(shè)racle 11G為主,出于系統(tǒng)對接的可用性、成熟度方面的考量,集群數(shù)據(jù)庫的解決方案。Oracle RAC[3]是當(dāng)前比較成熟的數(shù)據(jù)庫集群技術(shù),具有容錯性高、并發(fā)性好和較強(qiáng)的負(fù)載均衡能力。(1)容錯性:當(dāng)集群中某個節(jié)點(diǎn)或進(jìn)程失效時,RAC的容錯機(jī)制能夠?qū)?shù)據(jù)庫的訪問遷移到其他節(jié)點(diǎn)運(yùn)行。(2)并發(fā)性:RAC支持多機(jī)并行處理一條或多條SQL指令,在海量數(shù)據(jù)查詢和讀寫的場景下大大縮短數(shù)據(jù)查詢與處理的時間,且對于用戶而言是透明的。(3)負(fù)載均衡:處于不同節(jié)點(diǎn)的Oracle實例同時訪問同一個Oracle數(shù)據(jù)庫, 節(jié)點(diǎn)之間通過內(nèi)部網(wǎng)絡(luò)共享所有的控制文件、聯(lián)機(jī)日志和數(shù)據(jù)文件, 實現(xiàn)負(fù)載均衡。
通過Oracle RAC雙機(jī)集群的構(gòu)建與負(fù)載均衡方案的部署,保證了數(shù)據(jù)中心的高效運(yùn)行。目前學(xué)校校園數(shù)據(jù)中心已經(jīng)初步建設(shè)完成,并對教務(wù)系統(tǒng)、認(rèn)證平臺、一卡通系統(tǒng)、圖書系統(tǒng)等多異構(gòu)業(yè)務(wù)系統(tǒng)進(jìn)行一定程度的整合。
數(shù)據(jù)集成和共享之前,需要對全校各部門進(jìn)行初步的流程梳理和業(yè)務(wù)調(diào)研,大致確定學(xué)校的數(shù)據(jù)總體情況之后,通過數(shù)據(jù)集成工具將分散在各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)抽取出來,進(jìn)入數(shù)據(jù)中心數(shù)據(jù)庫,形成整個學(xué)校內(nèi)唯一的、權(quán)威的數(shù)據(jù)集,從而實現(xiàn)數(shù)據(jù)的統(tǒng)一集成和標(biāo)準(zhǔn)化,解決業(yè)務(wù)系統(tǒng)間交互數(shù)據(jù)的問題。
數(shù)據(jù)集成方式一般有兩種。方法1:采用面向服務(wù)(SOA)體系架構(gòu),封裝成WebService 接口,優(yōu)點(diǎn)是減少業(yè)務(wù)系統(tǒng)對數(shù)據(jù)中心的直接訪問,降低數(shù)據(jù)中心整體負(fù)載水平,而且由于SOA架構(gòu)的跨平臺的特點(diǎn),該方式有較好的兼容性。方法2:通過中間庫方式,將數(shù)據(jù)推送至中間表或相應(yīng)視圖,業(yè)務(wù)系統(tǒng)按需取數(shù)據(jù),根據(jù)數(shù)據(jù)庫請求生成并返回每條數(shù)據(jù)資源的語義信息,便于數(shù)據(jù)庫對數(shù)據(jù)檢索的集成、集中搜索與展示,降低數(shù)據(jù)庫中讀寫數(shù)據(jù)的獲取難度。
我校數(shù)據(jù)中心采用 ODI(Oracle Data Integrator)工具創(chuàng)建接口,與其他ETL(Extract Transform Load)工具相比,ODI 突出表現(xiàn)為:(1)Oracle ODI支持多種異構(gòu)數(shù)據(jù)庫, 且當(dāng)數(shù)據(jù)源或者目的庫非Oracle數(shù)據(jù)庫時,ODI自動生成針對當(dāng)前數(shù)據(jù)庫的操縱語句。(2)當(dāng)檢測到一個事件發(fā)生時將觸發(fā)相應(yīng)接口流程,ODI 通過日志記錄僅需加載這些變化的數(shù)據(jù)即可,實現(xiàn)對實時數(shù)據(jù)的集成。(3)ODI數(shù)據(jù)抽取的模塊接口, 涵蓋普通應(yīng)用所涉及的場景。通過Oracle ODI實現(xiàn)數(shù)據(jù)I/O接口的配置,采用定時全量采集、實時增量采集、手工數(shù)據(jù)補(bǔ)錄等多種同步方式集成不同存儲方式的數(shù)據(jù)源。若業(yè)務(wù)系統(tǒng)需要從數(shù)據(jù)中心進(jìn)行抽取數(shù)據(jù),管理人員根據(jù)系統(tǒng)所需要字段設(shè)計相關(guān)數(shù)據(jù)庫視圖,并同步至相應(yīng)系統(tǒng)的中間庫中。
經(jīng)過本次學(xué)校層面的數(shù)據(jù)治理,數(shù)據(jù)中心已實現(xiàn)與教務(wù)管理、一卡通、圖書管理、OA等系統(tǒng)在數(shù)據(jù)層面的整合,將部門級數(shù)據(jù)上升為校級數(shù)據(jù),初步形成學(xué)校數(shù)據(jù)資產(chǎn)。然而,數(shù)據(jù)治理是一個長遠(yuǎn)、漸進(jìn)的過程,需結(jié)合自身的現(xiàn)狀和需求,明確治理方向,逐步實現(xiàn)對數(shù)據(jù)資產(chǎn)整合,為學(xué)校教學(xué)、科研、管理以及持續(xù)發(fā)展提供有效、精確、權(quán)威的數(shù)據(jù)與信息服務(wù)。