文/王漢文 李云春 張建華 楊秀梅
智慧校園數(shù)據(jù)共享平臺的設(shè)計與實現(xiàn)
文/王漢文 李云春 張建華 楊秀梅
針對業(yè)務(wù)數(shù)據(jù)的集成與共享存在的問題,通過數(shù)據(jù)共享平臺的實施,將高校中各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)、院系數(shù)據(jù)和各類實時的服務(wù)數(shù)據(jù),按照學(xué)校統(tǒng)一的執(zhí)行標(biāo)準(zhǔn)進行有效的集成、交換和共享。
近年國家對教育信息化要求不斷加強,投入不斷增大,將信息化帶動教育現(xiàn)代化作為我國教育事業(yè)科學(xué)發(fā)展的重要手段。同時“智慧校園”的提出為學(xué)校信息化發(fā)展,提出了更加明確的目標(biāo)和要求。如何利用云計算、物聯(lián)網(wǎng)、移動計算以及大數(shù)據(jù)等先進技術(shù)手段為學(xué)校師生提供更加便捷的服務(wù),將學(xué)校教學(xué)、科研、管理與校園資源進行有機的整合,進一步提高教育教學(xué)水平、科學(xué)管理水平和工作服務(wù)效率,最終實現(xiàn)校園服務(wù)和管理模式的智慧化。
在各大高校的信息化建設(shè)中,數(shù)據(jù)作為一種戰(zhàn)略性資源,體現(xiàn)出越來越重要的作用。通過對數(shù)據(jù)的分析和應(yīng)用,實現(xiàn)由數(shù)據(jù)向信息,由信息向知識,由知識向智慧的轉(zhuǎn)變。高校的數(shù)據(jù)共享平臺建設(shè)是學(xué)校信息化建設(shè)的基礎(chǔ),只有將學(xué)校數(shù)據(jù)有機的整合和管理,才能進一步為學(xué)校信息化建設(shè)提供強有力的支持。以全局?jǐn)?shù)據(jù)為基礎(chǔ)的共享數(shù)據(jù)平臺建設(shè)已經(jīng)成為必然趨勢,數(shù)據(jù)共享平臺各個職能部處可以通過該平臺訪問學(xué)校的全局?jǐn)?shù)據(jù),節(jié)省了大量的人力、物力、財力,提高了工作效率。在此平臺上,將學(xué)校的人、財、物、教學(xué)、科研數(shù)據(jù)有機地結(jié)合起來,通過數(shù)據(jù)的交換、共享,以及在全局?jǐn)?shù)據(jù)的基礎(chǔ)上進行數(shù)據(jù)的分析與挖掘,為廣大師生提供更加完善的服務(wù),為學(xué)校建設(shè)以及科學(xué)管理提供重要的依據(jù),同時基于全局?jǐn)?shù)據(jù),進行科學(xué)的分析,開發(fā)智慧應(yīng)用。
目前各大高校已經(jīng)建成了以“人、財、物以及教學(xué)科研”為管理核心的各大業(yè)務(wù)系統(tǒng),但是在打破信息壁壘,實現(xiàn)數(shù)據(jù)共享的過程中,卻存在大量的問題。
業(yè)務(wù)系統(tǒng)建設(shè)的數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一
在學(xué)校信息化過程中,信息化建設(shè)部門缺少對全校信息系統(tǒng)建設(shè)的統(tǒng)一規(guī)劃,在建設(shè)初期,未能制定統(tǒng)一的信息系統(tǒng)建設(shè)標(biāo)準(zhǔn)以及信息系統(tǒng)元數(shù)據(jù)標(biāo)準(zhǔn)。所以在學(xué)校制定統(tǒng)一標(biāo)準(zhǔn)之前,部分部處和院系,依據(jù)各自的業(yè)務(wù)需求,設(shè)計信息系統(tǒng)建設(shè)標(biāo)準(zhǔn)和數(shù)據(jù)標(biāo)準(zhǔn),所以造成了各個單位信息化建設(shè)中,數(shù)據(jù)標(biāo)準(zhǔn)的不一致,存在數(shù)據(jù)項表示不統(tǒng)一、缺乏可選項以及數(shù)據(jù)字典丟失等現(xiàn)象,導(dǎo)致在數(shù)據(jù)共享平臺建設(shè)中,不能有效地分析各數(shù)據(jù)庫的表結(jié)構(gòu),以及在數(shù)據(jù)傳輸過程中出現(xiàn)匹配錯誤等現(xiàn)象。
存在數(shù)據(jù)孤島問題
在數(shù)字化校園建設(shè)階段,各個業(yè)務(wù)系統(tǒng)依據(jù)各自需求,建設(shè)業(yè)務(wù)應(yīng)用系統(tǒng),可以支撐本單位的實際需求和部門應(yīng)用。但從數(shù)據(jù)共享的角度來看,由于各個業(yè)務(wù)系統(tǒng)之間缺少統(tǒng)一的數(shù)據(jù)格式和交換接口,導(dǎo)致各業(yè)務(wù)信息系統(tǒng)變成了部門級的數(shù)據(jù)孤島,雖然部分?jǐn)?shù)據(jù),可以通過直接傳輸或者拷貝的形式實現(xiàn)業(yè)務(wù)數(shù)據(jù)與其他業(yè)務(wù)系統(tǒng)的交換和共享,但是仍然不能實現(xiàn)數(shù)據(jù)的及時共享,部分?jǐn)?shù)據(jù)由于建設(shè)標(biāo)準(zhǔn)不一致或者缺乏數(shù)據(jù)標(biāo)準(zhǔn)的原因,根本不能實現(xiàn)和其他業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)共享,突顯了業(yè)務(wù)數(shù)據(jù)的孤島問題。
信息化隊伍建設(shè)不足
目前學(xué)校在信息化隊伍建設(shè)中存在較多問題,從學(xué)校層面上,可能存在信息化管理委員會,制定學(xué)??傮w的信息化發(fā)展方針,但卻沒有將信息化提升到學(xué)校管理的層面,目前學(xué)校仍以傳統(tǒng)的業(yè)務(wù)部處為主,導(dǎo)致信息化建設(shè)的相對缺失;同時在人才隊伍的配備上,業(yè)務(wù)部處沒有設(shè)立專門的信息化管理崗位,導(dǎo)致業(yè)務(wù)部處信息化建設(shè)和管理能力較弱。
建設(shè)全校規(guī)模的數(shù)據(jù)共享平臺,需要堅實的統(tǒng)一領(lǐng)導(dǎo)貫徹實施,需要龐大的資金支持,同時需要各個部門的積極響應(yīng)和有力配合。以下將從信息建設(shè)的數(shù)據(jù)標(biāo)準(zhǔn)、平臺建設(shè)以及信息化隊伍建設(shè)上分析應(yīng)對措施。
統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)
建立數(shù)據(jù)標(biāo)準(zhǔn),主要的依據(jù)有:國家標(biāo)準(zhǔn)、省教育廳校準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、學(xué)校已有標(biāo)準(zhǔn)以及自定義標(biāo)準(zhǔn)。執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)以教育部《教育管理信息化標(biāo)準(zhǔn)(2002年)》(第1部分:學(xué)校管理信息標(biāo)準(zhǔn))中有關(guān)高等學(xué)校的部分以及《20075620-T-469 高等學(xué)校管理信息》(CELTS-33)為主要基礎(chǔ)制訂,并結(jié)合北京航空航天大學(xué)的具體需求進行補充和修訂。例如:將學(xué)工主題數(shù)據(jù),存儲在學(xué)生相關(guān)的表空間中,將教職工主題數(shù)據(jù),存儲在人事相關(guān)的表空間中,將學(xué)校的財務(wù)、資產(chǎn)數(shù)據(jù),分別進行分類別存儲。
統(tǒng)一建設(shè)共享平臺
分析各個業(yè)務(wù)部門的數(shù)據(jù)字典,了解其數(shù)據(jù)庫結(jié)構(gòu),根據(jù)現(xiàn)有數(shù)據(jù)表的基本構(gòu)成和學(xué)校執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn),得出各個信息系統(tǒng)的數(shù)據(jù)表結(jié)構(gòu)以及與中心數(shù)據(jù)庫的關(guān)聯(lián)互換關(guān)系。通過數(shù)據(jù)轉(zhuǎn)換機制,使用ODI等工具將各個業(yè)務(wù)數(shù)據(jù)庫的字段統(tǒng)一轉(zhuǎn)換并存儲為數(shù)據(jù)中心的共享數(shù)據(jù),通過打通業(yè)務(wù)數(shù)據(jù)庫與共享數(shù)據(jù)之間的數(shù)據(jù)鴻溝,消除各業(yè)務(wù)系統(tǒng)的信息孤島問題,最終構(gòu)建統(tǒng)一的數(shù)據(jù)共享平臺。
提升業(yè)務(wù)人員的信息化素質(zhì)
在國家信息化建設(shè)總綱要中,信息化人才隊伍建設(shè)是其核心問題,同樣在學(xué)校的信息化建設(shè)任務(wù)重,優(yōu)秀的信息化隊伍建設(shè)也是非常重要的。隨著職能部處的日常工作逐漸實現(xiàn)信息化,逐步將信息化工作作為日常工作和考核的重要組成部分。加強工作隊伍的信息化培訓(xùn)。通過建立有效的培養(yǎng)機制,建設(shè)學(xué)校自己的信息化隊伍,培養(yǎng)出既懂業(yè)務(wù),又懂信息化的專業(yè)人才。同時建立有效的信息化隊伍管理機制,形成以學(xué)校信息專家小組為核心,建立以各個部處和院系的信息員為主力,對學(xué)校信息主管領(lǐng)導(dǎo)負(fù)責(zé)的管理隊伍。
數(shù)據(jù)建設(shè)原則
數(shù)據(jù)的權(quán)威性在數(shù)據(jù)來源方面,確定權(quán)威數(shù)據(jù)來源,當(dāng)其中數(shù)據(jù)發(fā)生變化時,主動向共享數(shù)據(jù)庫發(fā)出修改請求,同時由權(quán)威數(shù)據(jù)庫或者共享數(shù)據(jù)庫向其他需要該數(shù)據(jù)的數(shù)據(jù)庫發(fā)出修改命令。
數(shù)據(jù)的及時性當(dāng)某個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫中數(shù)據(jù)發(fā)生變化時,數(shù)據(jù)能及時的體現(xiàn),并產(chǎn)生相應(yīng)的作用。
數(shù)據(jù)的準(zhǔn)確性保證中心數(shù)據(jù)庫從其他業(yè)務(wù)數(shù)據(jù)庫中,抽取數(shù)據(jù)的準(zhǔn)確性,對于新建的數(shù)據(jù)庫,完全按照數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行;對于已經(jīng)存在的數(shù)據(jù)庫,如果存在沒有按照標(biāo)準(zhǔn)建設(shè)的情況,首先分析其數(shù)據(jù)字典,再完成數(shù)據(jù)項之間的準(zhǔn)確對應(yīng)。
圖1 系統(tǒng)建設(shè)架構(gòu)
數(shù)據(jù)的安全性在數(shù)據(jù)的抽取,轉(zhuǎn)換和加載過程中,保證數(shù)據(jù)的安全,通過相應(yīng)的加密等安全手段,保證整個過程的安全。
數(shù)據(jù)的可靠性對數(shù)據(jù)的抽取和使用過程,進行全面的監(jiān)控,當(dāng)數(shù)據(jù)轉(zhuǎn)換過程出現(xiàn)問題時,能及時報錯,并自動或者手動完成回滾等,保證數(shù)據(jù)流程的可靠性。
總體架構(gòu)
系統(tǒng)建設(shè)架構(gòu)如圖1所示。
數(shù)據(jù)中心主要包括以下幾個層次:業(yè)務(wù)數(shù)據(jù)源層、數(shù)據(jù)集成與存儲層、數(shù)據(jù)服務(wù)接口層以及數(shù)據(jù)應(yīng)用層,在各層的數(shù)據(jù)存儲與維護中,嚴(yán)格遵循統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。
圖2 數(shù)據(jù)平臺部署結(jié)構(gòu)
圖3 數(shù)據(jù)交換模式
業(yè)務(wù)數(shù)據(jù)源層包括學(xué)校各個部處的信息化業(yè)務(wù)數(shù)據(jù),囊括所有需要集成到數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng)數(shù)據(jù)。數(shù)據(jù)集成與存儲層通過數(shù)據(jù)集成工具,按照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),進行數(shù)據(jù)的抽取、清洗與轉(zhuǎn)換,支持?jǐn)?shù)據(jù)的觸發(fā)式更新、增量更新、定時抽取等多種同步和異步的數(shù)據(jù)維護方案,在多種主流異構(gòu)的數(shù)據(jù)庫和數(shù)據(jù)源之間完成數(shù)據(jù)的集成與存儲,該層主要建有共享數(shù)據(jù)庫、歸檔數(shù)據(jù)庫以及數(shù)據(jù)倉庫。數(shù)據(jù)服務(wù)接口層主要通過建立多類統(tǒng)一的數(shù)據(jù)接口,對外提供對共享數(shù)據(jù)的訪問和功能的調(diào)用,主要提供以下幾類數(shù)據(jù)接口:人事數(shù)據(jù)接口、財務(wù)數(shù)據(jù)接口、教學(xué)數(shù)據(jù)接口、科研數(shù)據(jù)接口、資產(chǎn)數(shù)據(jù)接口、后勤數(shù)據(jù)接口等。數(shù)據(jù)應(yīng)用層在數(shù)據(jù)接口層提供數(shù)據(jù)的基礎(chǔ)上,提供教師服務(wù)、學(xué)生服務(wù)、領(lǐng)導(dǎo)決策和數(shù)據(jù)審計管理等應(yīng)用,完成相關(guān)應(yīng)用服務(wù)的建設(shè)與開發(fā)。
1.數(shù)據(jù)平臺部署結(jié)構(gòu)
數(shù)據(jù)共享庫采用Oracle數(shù)據(jù)庫,使用RAC技術(shù)將兩臺服務(wù)器搭建成數(shù)據(jù)庫集群,后端連接網(wǎng)絡(luò)存儲,前端通過內(nèi)網(wǎng)交換機與數(shù)據(jù)交換服務(wù)器、數(shù)據(jù)標(biāo)書服務(wù)器以及其他應(yīng)用系統(tǒng)服務(wù)器連接。
2.交換模式
數(shù)據(jù)共享平臺中的數(shù)據(jù)交互模式,采用如圖3方式,在業(yè)務(wù)數(shù)據(jù)庫與數(shù)據(jù)中心庫間,建立中間過程庫。如果業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)符合執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn),直接將相關(guān)數(shù)據(jù)用ODI或者Web Server等方式交換到中心庫中,如果業(yè)務(wù)部處數(shù)據(jù)中的數(shù)據(jù)和執(zhí)行標(biāo)準(zhǔn)存在不一致的現(xiàn)象,將業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)經(jīng)過中間庫,使用ODI等工具進行數(shù)據(jù)的清洗和轉(zhuǎn)換,最后交換到共享數(shù)據(jù)中心中。
3.交換模塊實現(xiàn)原理
數(shù)據(jù)交換模塊的實現(xiàn)機制,如下:數(shù)據(jù)處理平臺,提供數(shù)據(jù)處理一系列功能,包括ETL(數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換與數(shù)據(jù)加載)功能,數(shù)據(jù)傳輸功能,該模塊實現(xiàn)數(shù)據(jù)的清洗、轉(zhuǎn)換、同步、遷移等業(yè)務(wù)需求,是構(gòu)建數(shù)據(jù)集成與存儲層的基礎(chǔ)。建設(shè)中主要采取以下幾種數(shù)據(jù)加載方式:實時性加載,對于數(shù)據(jù)實時性要求較高的交換數(shù)據(jù),采用實時性加載策略,ODI加載數(shù)據(jù)時采用較小的時間間隔輪詢監(jiān)視業(yè)務(wù)系統(tǒng)相關(guān)數(shù)據(jù)變化,對于數(shù)據(jù)的實時更新,解決方案有兩種:全表掃描方式,在業(yè)務(wù)系統(tǒng)中對需要同步的表進行全表掃描,識別差異數(shù)據(jù),更新到數(shù)據(jù)交換中心;觸發(fā)器方式,在業(yè)務(wù)系統(tǒng)中對需要同步的表創(chuàng)建觸發(fā)器,當(dāng)業(yè)務(wù)表數(shù)據(jù)有更新、修改、新增、刪除操作時,通過觸發(fā)器同步到數(shù)據(jù)交換中心,以上方案會對業(yè)務(wù)系統(tǒng)產(chǎn)生較大的壓力,不會大面積使用;準(zhǔn)實時性加載,此種方式采用T-1時間方式處理,即每天晚上12點以后進行加載,加載今天以前的數(shù)據(jù),在數(shù)據(jù)實時性上會有一天的延時,但降低了業(yè)務(wù)系統(tǒng)的壓力。
圖4 結(jié)果監(jiān)控
4.交換過程與結(jié)果監(jiān)控
數(shù)據(jù)的監(jiān)控平臺完成對系統(tǒng)總體的運行監(jiān)管,提供對數(shù)據(jù)交換、更新以及數(shù)據(jù)應(yīng)用層服務(wù)的監(jiān)控,完成對用戶行為、訪問日志、數(shù)據(jù)安全等方面的監(jiān)控功能。其主要作用有:發(fā)現(xiàn)在數(shù)據(jù)抽取、數(shù)據(jù)加載和數(shù)據(jù)轉(zhuǎn)換時發(fā)生的錯誤,及時發(fā)出報警,并采取相應(yīng)的措施;同時提供對數(shù)據(jù)應(yīng)用層服務(wù)的監(jiān)控,反應(yīng)各種應(yīng)用的進展情況,推進相關(guān)流程的正確執(zhí)行 ;對用戶的行為,訪問記錄以及進程信息進行有效的監(jiān)控,對有關(guān)數(shù)據(jù)進行審計,發(fā)現(xiàn)系統(tǒng)運行中的問題,及時采取有效的應(yīng)對措施,保障系統(tǒng)的安全運行。
數(shù)據(jù)同步監(jiān)控:監(jiān)控數(shù)據(jù)同步的健康狀況,數(shù)據(jù)同步的數(shù)據(jù)當(dāng)量,數(shù)據(jù)同步的周期與處理時間,數(shù)據(jù)同步的執(zhí)行結(jié)果等。同時產(chǎn)生數(shù)據(jù)運行情況的審計報告。
完善數(shù)據(jù)共享中心
從深度和廣度兩方面,完善對數(shù)據(jù)共享中心的建設(shè)。一方面,擴充業(yè)務(wù)數(shù)據(jù)范圍,將各個職能部門和學(xué)院的業(yè)務(wù)數(shù)據(jù)融入數(shù)據(jù)中心,保證數(shù)據(jù)的全面性;另一方面,進一步建設(shè)應(yīng)用性數(shù)據(jù)倉庫,積累數(shù)據(jù)資源,充分發(fā)揮數(shù)據(jù)資產(chǎn)的價值,盤活數(shù)據(jù)資產(chǎn),從數(shù)據(jù)中挖掘有用信息,為學(xué)校領(lǐng)導(dǎo)決策和發(fā)展,給出建設(shè)依據(jù)和方向。
依據(jù)共享數(shù)據(jù)中心,開發(fā)智慧應(yīng)用
學(xué)生成績預(yù)警、學(xué)生經(jīng)濟狀況分析、空閑教室查詢、食堂就餐情況統(tǒng)計;以數(shù)據(jù)為中心,優(yōu)化相關(guān)部處業(yè)務(wù)流程;以師生體驗為中心,提供更加便捷的“一站式”服務(wù);以共享的數(shù)據(jù)平臺為基礎(chǔ),充分利用已知數(shù)據(jù)信息,為廣大師生提供“一張表”服務(wù)。
(作者單位為北京航空航天大學(xué)網(wǎng)絡(luò)信息中心)