孟凡明

（北京社會(huì)管理職業(yè)學(xué)院，北京 101601）

1 引言

近幾年，網(wǎng)絡(luò)技術(shù)迅猛發(fā)展，隨著云技術(shù)的發(fā)展及應(yīng)用，將各類信息轉(zhuǎn)型為大數(shù)據(jù)，大數(shù)據(jù)將成為高效率、低成本的信息處理技術(shù)發(fā)展的標(biāo)志，我們無(wú)形中已經(jīng)步入了一個(gè)新的時(shí)代[1]?！爸腔坌@”的建設(shè)也必然經(jīng)過(guò)大數(shù)據(jù)技術(shù)這條路。而數(shù)據(jù)湖技術(shù)是大數(shù)據(jù)技術(shù)發(fā)展的一個(gè)重要部分。

目前，數(shù)據(jù)湖技術(shù)生態(tài)繁榮，發(fā)展日新月異，Hadoop、MPP、NoSQL、HTAP、OLAP、OLTP等技術(shù)不斷發(fā)展，不同的數(shù)據(jù)存儲(chǔ)技術(shù)適用于不同的業(yè)務(wù)場(chǎng)景，高職院校的數(shù)據(jù)湖必定是混合式的架構(gòu)。高校與互聯(lián)網(wǎng)、政企領(lǐng)域的業(yè)務(wù)有其獨(dú)有的特色，建設(shè)具有高職院校特色的數(shù)據(jù)湖架構(gòu)體系，并對(duì)數(shù)據(jù)按高職院校的業(yè)務(wù)特點(diǎn)進(jìn)行關(guān)聯(lián)融合，形成契合業(yè)務(wù)需求的、高效便捷的數(shù)據(jù)服務(wù)[2]。

2 數(shù)據(jù)湖在高校信息化建設(shè)中的應(yīng)用

“智慧校園”是通過(guò)信息技術(shù)的有效支撐，提供一個(gè)可感知、可個(gè)性化定制、可共享協(xié)作的開(kāi)放教育教學(xué)環(huán)境，在這種環(huán)境中，師生可以便捷地進(jìn)行教學(xué)、學(xué)習(xí)和生活，以發(fā)展學(xué)習(xí)者的智慧為目的，同時(shí)為學(xué)校提供管理決策，助力學(xué)校管理水平的提升[3]。

數(shù)據(jù)湖能夠有效治理校園數(shù)據(jù)，通過(guò)充分地挖掘數(shù)據(jù)，為學(xué)院的精準(zhǔn)管理創(chuàng)造新的價(jià)值，進(jìn)而規(guī)范業(yè)務(wù)流程、提高工作效率和工作透明度。

存儲(chǔ)數(shù)據(jù)只是數(shù)據(jù)湖價(jià)值之一，數(shù)據(jù)湖還能夠在存儲(chǔ)海量數(shù)據(jù)的基本上，分析統(tǒng)計(jì)數(shù)據(jù)，打破不同領(lǐng)域、不同行業(yè)、不同類型數(shù)據(jù)之間的壁壘，提升分析效率，節(jié)約校園運(yùn)行成本。例如，很多高校在“智慧校園”建設(shè)過(guò)程中均應(yīng)用到了數(shù)據(jù)湖技術(shù)，該技術(shù)通過(guò)打通校內(nèi)各業(yè)務(wù)系統(tǒng)接口，使數(shù)據(jù)關(guān)聯(lián)融合，為行政人員計(jì)算考勤、工作考核、職務(wù)晉升、職稱評(píng)審、人員增減、掛職培訓(xùn)等提供了快速、精準(zhǔn)的數(shù)據(jù)，從而優(yōu)化了學(xué)校管理服務(wù)體系，提高了業(yè)務(wù)工作效率。

3 我院在數(shù)據(jù)應(yīng)用服務(wù)方面面臨的挑戰(zhàn)

我校信息化建設(shè)已有多年，主要分為教學(xué)口和行政口。教學(xué)口是由教務(wù)系統(tǒng)連接我校網(wǎng)絡(luò)教學(xué)平臺(tái)，實(shí)時(shí)上傳學(xué)生的上課數(shù)據(jù)和活動(dòng)數(shù)據(jù)，教學(xué)管理單位隨時(shí)監(jiān)督教師的教學(xué)過(guò)程和學(xué)生的學(xué)習(xí)過(guò)程，行政口的業(yè)務(wù)系統(tǒng)有財(cái)務(wù)系統(tǒng)、網(wǎng)絡(luò)報(bào)銷系統(tǒng)、科研系統(tǒng)、人事系統(tǒng)、教務(wù)系統(tǒng)等，但這些系統(tǒng)目前都處于各自獨(dú)立狀態(tài)，并沒(méi)有打通數(shù)據(jù)庫(kù)接口，因此，導(dǎo)致只能在各自范圍內(nèi)開(kāi)展相關(guān)工作，部門間的交叉業(yè)務(wù)效率低下因此我校急需進(jìn)行技術(shù)架構(gòu)改革，實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)間真正的交互，從交互的數(shù)據(jù)中挖掘更多的新信息，充分利用這些無(wú)形的數(shù)據(jù)資產(chǎn)，為學(xué)校的運(yùn)行發(fā)展提供戰(zhàn)略服務(wù)。

4 我院數(shù)據(jù)服務(wù)應(yīng)用探究

如果說(shuō)大數(shù)據(jù)的戰(zhàn)略意義在于從海量的數(shù)據(jù)中挖掘出有用的價(jià)值，那么數(shù)據(jù)湖技術(shù)則是實(shí)現(xiàn)這種意義的技術(shù)基礎(chǔ)。

數(shù)據(jù)湖技術(shù)主要包含數(shù)據(jù)的加載、存儲(chǔ)、加工和對(duì)外數(shù)據(jù)服務(wù)四個(gè)部分。1）數(shù)據(jù)加載將分布在不同業(yè)務(wù)系統(tǒng)不同數(shù)據(jù)存儲(chǔ)庫(kù)中的數(shù)據(jù)自動(dòng)抽取加載數(shù)據(jù)湖中。2）數(shù)據(jù)存儲(chǔ)具有對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)能力，支持OLTP、OLAP、HTAP、全文、KV、對(duì)象等數(shù)據(jù)庫(kù)。3）數(shù)據(jù)加工指對(duì)入庫(kù)存儲(chǔ)的數(shù)據(jù)按照業(yè)務(wù)需求和特色關(guān)聯(lián)融合業(yè)務(wù)數(shù)據(jù)的過(guò)程，該功能按照預(yù)先定義的業(yè)務(wù)數(shù)據(jù)加工規(guī)則，通過(guò)定期、觸發(fā)等方式將數(shù)據(jù)湖中的多源異構(gòu)數(shù)據(jù)進(jìn)行加工融合，并將生成的高價(jià)值數(shù)據(jù)存儲(chǔ)回?cái)?shù)據(jù)湖中。4）對(duì)外數(shù)據(jù)服務(wù)是將數(shù)據(jù)湖中的數(shù)據(jù)通過(guò)可視化界面、RestFul數(shù)據(jù)服務(wù)接口等方式對(duì)業(yè)務(wù)人員或其他業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。

針對(duì)我校目前面臨的問(wèn)題，本文提出了一種數(shù)據(jù)湖服務(wù)架構(gòu)體系，實(shí)現(xiàn)校內(nèi)各業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)的融合共享，打通各業(yè)務(wù)系統(tǒng)數(shù)據(jù)通道，形成全局?jǐn)?shù)據(jù)資產(chǎn)和數(shù)據(jù)服務(wù)，為我校各部門數(shù)據(jù)賦能。

該架構(gòu)體系如圖：

圖1 數(shù)據(jù)服務(wù)架構(gòu)

根據(jù)我校對(duì)數(shù)據(jù)服務(wù)架構(gòu)的功能需求，本數(shù)據(jù)服務(wù)架構(gòu)共分為4部分：數(shù)據(jù)抽取與加載、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)關(guān)聯(lián)融合、數(shù)據(jù)服務(wù)；

1）數(shù)據(jù)抽取與加載：對(duì)接各業(yè)務(wù)系統(tǒng)，抽取各業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，本部分主要解決數(shù)據(jù)的來(lái)源多、格式多的問(wèn)題，完成數(shù)據(jù)的抽取、格式的規(guī)范化功能，支持對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的抽取與加載，支持與Mysql、Oracle、MPP、HBase、ES、S3、Hive、文件系統(tǒng)等數(shù)據(jù)存儲(chǔ)組件的數(shù)據(jù)抽取和持久化；2）數(shù)據(jù)存儲(chǔ)：提供海量異構(gòu)數(shù)據(jù)的存儲(chǔ)能力，針對(duì)我校業(yè)務(wù)特點(diǎn)，選用MySQL、ES、對(duì)象庫(kù)這3類數(shù)據(jù)庫(kù)，常見(jiàn)的課表、成績(jī)等結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)存儲(chǔ)至MySQL中，郵件、教案等需全文檢索的長(zhǎng)文本數(shù)據(jù)存儲(chǔ)至ES數(shù)據(jù)庫(kù)中，教學(xué)視頻、教學(xué)PPT等音視頻數(shù)據(jù)存儲(chǔ)至對(duì)象數(shù)據(jù)庫(kù)中。數(shù)據(jù)存儲(chǔ)庫(kù)層兼容開(kāi)源組件，支撐后續(xù)業(yè)務(wù)升級(jí)時(shí)的新數(shù)據(jù)庫(kù)的擴(kuò)增。3）數(shù)據(jù)關(guān)聯(lián)融合：對(duì)來(lái)自教務(wù)、科研等業(yè)務(wù)系統(tǒng)的異構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，形成高價(jià)值知識(shí)數(shù)據(jù)和業(yè)務(wù)中臺(tái)數(shù)據(jù)，如學(xué)生/職工基礎(chǔ)信息庫(kù)、部門工作考核績(jī)效等數(shù)據(jù)，并將生成的高價(jià)值數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)存儲(chǔ)庫(kù)中，用于支撐上層數(shù)據(jù)查詢業(yè)務(wù)。4）數(shù)據(jù)服務(wù)：通過(guò)可視化界面和數(shù)據(jù)查詢服務(wù)接口（RestFul）的形式，對(duì)業(yè)務(wù)人員和業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)查詢服務(wù)。在原生數(shù)據(jù)庫(kù)接口的基礎(chǔ)上，針對(duì)我校業(yè)務(wù)數(shù)據(jù)使用特點(diǎn)，增加方便易用的業(yè)務(wù)查詢接口。如人員基礎(chǔ)信息查詢、部門業(yè)績(jī)查詢等許多數(shù)據(jù)庫(kù)表關(guān)聯(lián)查詢的業(yè)務(wù)，通過(guò)一次數(shù)據(jù)服務(wù)接口調(diào)用，完成關(guān)聯(lián)查詢功能。查詢服務(wù)接口支持靈活擴(kuò)增，可快速滿足業(yè)務(wù)需求的持續(xù)變化。

5 總結(jié)

立足我?！爸腔坌@”管理工作實(shí)際需求，最大限度地滿足和提高工作效率及管理水準(zhǔn)，對(duì)各部門統(tǒng)籌規(guī)劃，對(duì)各業(yè)務(wù)進(jìn)行整合梳理，充分地實(shí)現(xiàn)數(shù)據(jù)收集，高效的挖掘校園數(shù)據(jù)，為校園高層管理、決策提供最有力的數(shù)據(jù)依據(jù)。因此，實(shí)現(xiàn)大數(shù)據(jù)技術(shù)助力我校未來(lái)發(fā)展的愿景，使“智慧校園”能得到更充分的理解。