摘要:伴隨大數(shù)據(jù)的應(yīng)用,高校在信息化建設(shè)方面對(duì)于多源異構(gòu)的問(wèn)題亟待解決。高校應(yīng)用系統(tǒng)多,導(dǎo)致異構(gòu)數(shù)據(jù)存放分散,缺點(diǎn)是側(cè)重具體業(yè)務(wù)、分散建設(shè)、集成性差及可用性低?;谝陨蠁?wèn)題,以及主數(shù)據(jù)建設(shè)關(guān)鍵性和長(zhǎng)期有效的特征,提出建設(shè)主數(shù)據(jù)平臺(tái),通過(guò)建設(shè)符合高校信息規(guī)范的數(shù)據(jù)管理體系和主數(shù)據(jù)平臺(tái),提供標(biāo)準(zhǔn)化統(tǒng)一的數(shù)據(jù)管理,解決數(shù)據(jù)冗余和各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)不一致問(wèn)題,實(shí)現(xiàn)系統(tǒng)的集成及數(shù)據(jù)在系統(tǒng)之間的共享,以此促進(jìn)大數(shù)據(jù)技術(shù)在教育行業(yè)的應(yīng)用及研究。
關(guān)鍵詞:主數(shù)據(jù);數(shù)據(jù)交換;數(shù)據(jù)集成;服務(wù)接口;編碼標(biāo)準(zhǔn);數(shù)據(jù)庫(kù)注冊(cè)
中圖分類號(hào):TN302.7文獻(xiàn)標(biāo)志碼:A文章編號(hào):1008-1739(2019)18-70-4
0引言
數(shù)據(jù)已經(jīng)是企業(yè)的一種資產(chǎn),主數(shù)據(jù)建設(shè)屬于數(shù)據(jù)治理的內(nèi)容之一,國(guó)內(nèi)數(shù)據(jù)治理方面先后印發(fā)了《政務(wù)信息資源共享管理暫行辦法》《政務(wù)信息系統(tǒng)整合共享實(shí)施方案》。數(shù)據(jù)是信息的載體,信息和數(shù)據(jù)互相依存,信息技術(shù)是新型高等學(xué)校的支撐。主數(shù)據(jù)管理概念于21世紀(jì)初在國(guó)外被提出,國(guó)外在ERP系統(tǒng)中提出主數(shù)據(jù)管理,旨在實(shí)現(xiàn)企業(yè)業(yè)務(wù)系統(tǒng)互聯(lián)互通[1],打破信息孤島[2-3]。文獻(xiàn)[4-6]在企業(yè)和高校主數(shù)據(jù)的建設(shè)及應(yīng)用可以通過(guò)面向服務(wù)的架構(gòu)(SoA)和企業(yè)服務(wù)總線(ESB)技術(shù)實(shí)現(xiàn),主數(shù)據(jù)平臺(tái)建設(shè)是實(shí)現(xiàn)數(shù)據(jù)共享、規(guī)范化和流程化管理的基礎(chǔ)。為了確保系統(tǒng)數(shù)據(jù)正確、一致和可控,保證數(shù)據(jù)分析結(jié)果和質(zhì)量,高校數(shù)據(jù)治理和主數(shù)據(jù)平臺(tái)建設(shè)方面的工作將大有可為[7]。
1編碼
1.1編碼原則、標(biāo)準(zhǔn)和集成方案
編碼是主數(shù)據(jù)平臺(tái)建設(shè)的一項(xiàng)基礎(chǔ)工作,編碼要具有唯一性、可擴(kuò)展性、簡(jiǎn)單性、規(guī)范性、實(shí)用性及合理性,結(jié)構(gòu)、類型以及編寫格式必須統(tǒng)一,要盡可能地反映分類對(duì)象的特點(diǎn),便于記憶。另外,編碼結(jié)構(gòu)要與分類體系相適應(yīng)。
數(shù)據(jù)標(biāo)準(zhǔn)管理是數(shù)據(jù)治理范疇的一個(gè)重要環(huán)節(jié),依據(jù)標(biāo)準(zhǔn)及相應(yīng)數(shù)據(jù)管理技術(shù)實(shí)現(xiàn)數(shù)據(jù)治理的過(guò)程。為了規(guī)范定義業(yè)務(wù)系統(tǒng)元數(shù)據(jù),使高校在信息建模、信息加工采集、資源共享等信息化建設(shè)方面具有統(tǒng)一的標(biāo)準(zhǔn),需研究信息標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn)體系的建設(shè)。西安某高校在利用主數(shù)據(jù)平臺(tái)建設(shè)解決多源融合的問(wèn)題,實(shí)現(xiàn)數(shù)據(jù)編碼規(guī)范化方面取得了良好成效[8]。
編碼標(biāo)準(zhǔn)總體維護(hù)方案及編碼標(biāo)準(zhǔn)集成共享方案如圖1所示,編碼規(guī)范體系如圖2所示。
1.2編碼集成
以學(xué)工系統(tǒng)為例闡述信息標(biāo)準(zhǔn)編碼規(guī)范,編碼規(guī)范分為2部分:第1部分是學(xué)工管理自定義編碼規(guī)范,為業(yè)務(wù)系統(tǒng)建設(shè)過(guò)程中應(yīng)用到的自定義部分的編碼;第2部分是引用代碼規(guī)范,為學(xué)工系統(tǒng)建設(shè)過(guò)程中會(huì)引用到的國(guó)家標(biāo)準(zhǔn)編碼。此部分不需要編碼,后期在使用到相關(guān)編碼時(shí)作為標(biāo)準(zhǔn)直接引用。編碼標(biāo)準(zhǔn)集成及共享方案如圖3所示。
2主數(shù)據(jù)管理平臺(tái)設(shè)計(jì)
2.1數(shù)據(jù)拓?fù)湓O(shè)計(jì)
有文獻(xiàn)提及主數(shù)據(jù)建設(shè)支撐大數(shù)據(jù)分析,主數(shù)據(jù)標(biāo)準(zhǔn)化是行業(yè)展開(kāi)大數(shù)據(jù)應(yīng)用的基礎(chǔ)和前提[9-11]。主數(shù)據(jù)管理平臺(tái)建設(shè)以學(xué)校信息化建設(shè)業(yè)務(wù)和主數(shù)據(jù)編碼的需求為起點(diǎn),遵循應(yīng)用驅(qū)動(dòng)原則,在學(xué)校解決具體教育教學(xué)管理的問(wèn)題,實(shí)現(xiàn)信息化建設(shè)的低投入高產(chǎn)出。
主數(shù)據(jù)管理平臺(tái)對(duì)學(xué)校的學(xué)生、老師和組織機(jī)構(gòu)等基礎(chǔ)數(shù)據(jù)及主數(shù)據(jù)的產(chǎn)生和發(fā)布進(jìn)行管理。主數(shù)據(jù)管理平臺(tái)具體負(fù)責(zé)學(xué)校辦公系統(tǒng)、學(xué)工系統(tǒng)、人事系統(tǒng)、教務(wù)系統(tǒng)和科研系統(tǒng)等編碼的維護(hù)和管理,提供數(shù)據(jù)集成接口,實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成,為各業(yè)務(wù)系統(tǒng)提供高質(zhì)量的主數(shù)據(jù)服務(wù)。提供定制功能實(shí)現(xiàn)主數(shù)據(jù)編碼規(guī)則及流程的支持。
主數(shù)據(jù)管理控制臺(tái)主要是校內(nèi)管理員使用,不對(duì)外開(kāi)放。主數(shù)據(jù)平臺(tái)建設(shè)對(duì)數(shù)據(jù)庫(kù)環(huán)境、服務(wù)器的軟硬件及數(shù)據(jù)集成服務(wù)器有一定要求。數(shù)據(jù)庫(kù)類型建設(shè)要求為Oracle RDBMS。依據(jù)實(shí)際需求,設(shè)計(jì)的系統(tǒng)數(shù)據(jù)拓?fù)淙鐖D4所示。
2.2服務(wù)器資源規(guī)劃
基礎(chǔ)平臺(tái)是主數(shù)據(jù)建設(shè)的基礎(chǔ)[12],主數(shù)據(jù)管理平臺(tái)基于SOA實(shí)現(xiàn)和其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)共享,依據(jù)需求部分資源規(guī)劃如表1所示。
2.3 WebLogic Server構(gòu)建
開(kāi)發(fā)過(guò)程運(yùn)用Web Service技術(shù),依據(jù)Web Service技術(shù)規(guī)范實(shí)施開(kāi)發(fā),使應(yīng)用之間的數(shù)據(jù)交換得以實(shí)現(xiàn)。構(gòu)建WebLogic Server管理控制臺(tái),實(shí)現(xiàn)對(duì)WebLogic Server域的管理。通過(guò)管理控制臺(tái)的Web應(yīng)用程序執(zhí)行的主要操作有8項(xiàng):①配置、啟動(dòng)和停止WebLogic Server實(shí)例;②配置WebLogic Server集群;③配置WebLogic Server服務(wù);④如數(shù)據(jù)庫(kù)連接(JDBC)和消息傳送(JMS);⑤配置安全參數(shù);⑥包括管理用戶、組和角色;⑦編輯選定的運(yùn)行時(shí)應(yīng)用程序;⑧描述符元素、配置和部署應(yīng)用程序。
2.4數(shù)據(jù)源管理
主數(shù)據(jù)管理平臺(tái)數(shù)據(jù)源的管理需要實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源注冊(cè)。注冊(cè)信息有:系統(tǒng)名、Oracle的數(shù)據(jù)集成類工具(ODI)數(shù)據(jù)源名稱、數(shù)據(jù)庫(kù)管理系統(tǒng)類型(SQL Server 2008,Sybase,Oracal,Infornix,DB2等)、數(shù)據(jù)庫(kù)驅(qū)動(dòng)、數(shù)據(jù)庫(kù)連接字符串、數(shù)據(jù)庫(kù)連接用戶名、數(shù)據(jù)庫(kù)連接用戶密碼、數(shù)據(jù)庫(kù)對(duì)象所有者和注冊(cè)系統(tǒng)描述信息。
2.5數(shù)據(jù)采集樣表及表的設(shè)計(jì)
主數(shù)據(jù)平臺(tái)數(shù)據(jù)對(duì)象管理實(shí)現(xiàn)對(duì)數(shù)據(jù)對(duì)象基本信息、字段屬性、引用關(guān)系和實(shí)體關(guān)系ER圖的操作。數(shù)據(jù)對(duì)象基本信息包含的操作:數(shù)據(jù)對(duì)象命名、修改人、修改時(shí)間和數(shù)據(jù)對(duì)象描述等信息。字段屬性包含的操作:字段名、中文簡(jiǎn)稱、字段類型、是否主鍵和是否唯一等操作。引用關(guān)系包含:引用對(duì)象、引用對(duì)象中文簡(jiǎn)稱和引用代碼表字段等信息。ER圖實(shí)現(xiàn)實(shí)體之間的關(guān)系模型,實(shí)現(xiàn)一對(duì)一關(guān)系、一對(duì)多關(guān)系、多對(duì)多關(guān)系及無(wú)任何約束的表的關(guān)系。
依據(jù)實(shí)際對(duì)系統(tǒng)表和業(yè)務(wù)表設(shè)計(jì),系統(tǒng)表設(shè)計(jì)為綜合服務(wù)提供相關(guān)的接口服務(wù)數(shù)據(jù)表,數(shù)據(jù)通過(guò)接口調(diào)用自動(dòng)寫入。設(shè)計(jì)的系統(tǒng)表和業(yè)務(wù)表如表2和表3所示。
建成學(xué)工系統(tǒng)測(cè)試庫(kù)如圖5所示。
2.6數(shù)據(jù)庫(kù)注冊(cè)及注冊(cè)實(shí)例
開(kāi)發(fā)Web Service服務(wù)接口通過(guò)搭建Web Service服務(wù),獲取工廠實(shí)例,生成針對(duì)指定服務(wù)接口(URL)的客戶端,調(diào)用指定的方法實(shí)現(xiàn)。服務(wù)總線提供服務(wù)的注冊(cè)與申請(qǐng)授權(quán)流程、服務(wù)的查詢與分類功能、方便快捷的線上流量控制與緩存設(shè)置功能。將建好的數(shù)據(jù)庫(kù)注冊(cè),注冊(cè)的主數(shù)據(jù)管理平臺(tái)信息如表4所示。
3應(yīng)用及網(wǎng)絡(luò)安全
學(xué)工方面應(yīng)用服務(wù)情況是解決對(duì)所有在籍在校學(xué)生基礎(chǔ)信息的收集,通過(guò)已掌握的學(xué)生基礎(chǔ)信息可進(jìn)一步統(tǒng)計(jì)出有效數(shù)據(jù),作為學(xué)校開(kāi)展全校策略和規(guī)劃工作的依據(jù)。學(xué)校管理老師可以設(shè)置基礎(chǔ)信息批次,設(shè)置開(kāi)放時(shí)間、學(xué)生范圍、修改范圍以及審核流程等。學(xué)生在修改時(shí)間的范圍內(nèi)對(duì)個(gè)人基本信息進(jìn)行完善或修改。按照審核流程,由班主任或輔導(dǎo)員進(jìn)行學(xué)生基礎(chǔ)信息初審,再由院系負(fù)責(zé)人進(jìn)行復(fù)審,最后由學(xué)校管理老師進(jìn)行最終審核。班級(jí)信息與學(xué)生基礎(chǔ)信息從教務(wù)系統(tǒng)中獲取,并一起初始化到基礎(chǔ)信息中。接入應(yīng)用程序(APP)時(shí),云端通過(guò)HTTP協(xié)議調(diào)用校內(nèi)應(yīng)用管理平臺(tái)的接口寫入應(yīng)用APP的注冊(cè)信息,同時(shí)生成應(yīng)用APP的安裝包,安裝包只能在本校使用。
整個(gè)平臺(tái)只有相關(guān)應(yīng)用服務(wù)器對(duì)公網(wǎng)開(kāi)放某些端口,其他服務(wù)器公網(wǎng)都不能直接訪問(wèn),應(yīng)用程序統(tǒng)一通過(guò)代理出去。每臺(tái)服務(wù)器都開(kāi)啟防火墻并在防火墻上限制開(kāi)放的端口及限定訪問(wèn)的IP,所有軟件安裝采用非root用戶,并限制root用戶直接連接服務(wù)器。定期修改服務(wù)器密碼確保安全。應(yīng)用程序安全采用Web應(yīng)用防火墻,做安全防護(hù)數(shù)據(jù)庫(kù)安全采用數(shù)據(jù)庫(kù)防火墻。平臺(tái)上線運(yùn)行前做漏洞安全掃描。在網(wǎng)絡(luò)安全方面,應(yīng)用程序采用HTTPS。SSL VPN保證管理員遠(yuǎn)程接入,出口采用核心防火墻。
4結(jié)束語(yǔ)
高校主數(shù)據(jù)平臺(tái)建設(shè)解決各個(gè)業(yè)務(wù)部門信息不一致問(wèn)題,以主數(shù)據(jù)的編碼原則及其規(guī)范進(jìn)行編碼設(shè)計(jì)。通過(guò)對(duì)服務(wù)器資源規(guī)劃部署,對(duì)WebLogic Server的構(gòu)建,對(duì)基礎(chǔ)數(shù)據(jù)的采集、整理及清洗工作,對(duì)業(yè)務(wù)系統(tǒng)表的設(shè)計(jì),對(duì)整個(gè)平臺(tái)應(yīng)用安全的設(shè)置等工作,實(shí)現(xiàn)學(xué)校元數(shù)據(jù)管理、代碼標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理和數(shù)據(jù)集成等。針對(duì)應(yīng)用實(shí)現(xiàn)了教務(wù)系統(tǒng)、學(xué)工系統(tǒng)、一卡通系統(tǒng)和招就系統(tǒng)等異構(gòu)數(shù)據(jù)源的整合。接下來(lái)將要完善各業(yè)務(wù)部門業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)的采集及數(shù)據(jù)的深度融合,以此確保平臺(tái)建設(shè)的有效性和持續(xù)性,也為大數(shù)據(jù)應(yīng)用打下良好基礎(chǔ)。
參考文獻(xiàn)
[1]楊現(xiàn)民,王榴卉,唐斯斯.教育大數(shù)據(jù)的應(yīng)用模式與政策建議[J] .電化教育研究,2015,36(9):54-61.
[2] Singh S,Singh J.SSMDM: An Approach of Big Data for Semantically Master Data Management[C]// International ConferenceonComputingforSustainableGlobalDevelopment, IEEE,2015.
[3] Putro B L,Surendro K,Siregar H.Leadership and Culture of Data Governance for the Achievement of Higher Education Goals (Case study: Indonesia University of Education) [J].AIP Conference Proceedings,2016, 1708(1):1
[4]查永軍.大數(shù)據(jù)與高校院系治理[J].中國(guó)電化教育,2018,372(1):59-63.
[5] Druker D,Rich R.Master Data Management[J].DB2 Management,2015,10(3):33-36.
[6]張閃閃,顧立平,蓋曉良.國(guó)外信息服務(wù)機(jī)構(gòu)的數(shù)據(jù)管理政策調(diào)研與分析[J].圖書(shū)情報(bào)知識(shí),2015,167(5):99-109.
[7]宋姣姣.神東主數(shù)據(jù)平臺(tái)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].陜西煤炭, 2018,37(S1):105-108,145.
[8]鎖志海.西安交通大學(xué)教育大數(shù)據(jù)分析驅(qū)動(dòng)智慧教育[J].中國(guó)教育網(wǎng)絡(luò),2017(10):20-21..
[9]陳君.主數(shù)據(jù)管理平臺(tái)建設(shè)研究[J].鐵道工程學(xué)報(bào),2016,33(5):134-136.
[10]南旭光,張培.智能化時(shí)代我國(guó)高等教育治理變革研究[J].中國(guó)電教化教育,2018(6):1-7.
[11]李智蓉.數(shù)據(jù)管理信息系統(tǒng)接口集成設(shè)計(jì)方案[J].辦公自動(dòng)化,2018,23(4):29-31.
[12]蔣遠(yuǎn)輝,呂忠亭,任浩然.數(shù)據(jù)服務(wù)平臺(tái)在高校的建設(shè)與應(yīng)用[J].信息通信,2018(12):187-190.