張國(guó)梁 金成 李敏

摘要：大數(shù)據(jù)作為數(shù)據(jù)管理的一項(xiàng)新技術(shù)，對(duì)建設(shè)智慧校園起著重要作用。智慧校園是一個(gè)整合開(kāi)放、創(chuàng)新、協(xié)作、智能的信息服務(wù)平臺(tái)，其主要功能就是智慧，包括智能感知、自定義配置、雙向互動(dòng)、任意訪問(wèn)、支持大數(shù)據(jù)和開(kāi)放的學(xué)習(xí)環(huán)境等等。分析了大數(shù)據(jù)在智慧校園應(yīng)用中遇到的問(wèn)題，提出了解決方案。

關(guān)鍵詞：數(shù)據(jù)管理；智慧校園；大數(shù)據(jù)

0 引言

隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)高速增長(zhǎng)。數(shù)據(jù)的快速增長(zhǎng)不能說(shuō)明已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代，處理大數(shù)據(jù)應(yīng)該對(duì)有價(jià)值的數(shù)據(jù)存儲(chǔ)和網(wǎng)絡(luò)容量集中考慮。原數(shù)據(jù)密度的價(jià)值很小，技術(shù)人員必須從大量數(shù)據(jù)中將有價(jià)值的信息剝離出來(lái)。

目前大數(shù)據(jù)技術(shù)還處于發(fā)展階段，但潛在應(yīng)用前景廣闊。麥肯錫全球研究院報(bào)告“Big data：The next frontier for innovation， competition， and productivity”[1]，對(duì)大數(shù)據(jù)的應(yīng)用領(lǐng)域和關(guān)鍵技術(shù)作了詳細(xì)分析。大數(shù)據(jù)技術(shù)是建設(shè)智慧校園的重要技術(shù)，智慧建設(shè)元素的一個(gè)重要組成部分就是大數(shù)據(jù)。

1 大數(shù)據(jù)技術(shù)

1.1 大數(shù)據(jù)來(lái)源

近年來(lái)數(shù)據(jù)已達(dá)到50%的年增長(zhǎng)率。傳統(tǒng)的關(guān)系型數(shù)據(jù)管理模式因數(shù)據(jù)的大體量和過(guò)多的非結(jié)構(gòu)化形態(tài)數(shù)據(jù)，無(wú)法滿足日新月異的需求。大數(shù)據(jù)的IT技術(shù)作為下一代技術(shù)，將有利于研究者獲得高質(zhì)量、高價(jià)值的數(shù)據(jù)。

1.2 大數(shù)據(jù)概念

維基百科對(duì)大數(shù)據(jù)定義是：大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)使用傳統(tǒng)的軟件工具，進(jìn)行收集管理和數(shù)據(jù)處理抓取其內(nèi)容。數(shù)據(jù)（Data）通常指用于技術(shù)設(shè)計(jì)、科學(xué)研究、決策、查證的數(shù)據(jù)，主要是通過(guò)科學(xué)實(shí)驗(yàn)、測(cè)試、統(tǒng)計(jì)和其它方式獲得的統(tǒng)計(jì)信息。通過(guò)完整地、系統(tǒng)地、精確地測(cè)量，采集、記錄、分類、存儲(chǔ)數(shù)據(jù)，再對(duì)其進(jìn)行嚴(yán)格地統(tǒng)計(jì)、檢驗(yàn)、分析，得出有說(shuō)服力的結(jié)論。經(jīng)過(guò)大規(guī)模、長(zhǎng)時(shí)間測(cè)量、存儲(chǔ)、記錄、分析、統(tǒng)計(jì)這些數(shù)據(jù)，接收到的海量數(shù)據(jù)就是大數(shù)據(jù)（Big data）。

1.3 大數(shù)據(jù)特征

大數(shù)據(jù)有3個(gè)特性，即數(shù)據(jù)類型的多樣性（Variety）、數(shù)據(jù)體量的規(guī)模性（Volume）和數(shù)據(jù)處理速度的高速性（Velocity）。在這3個(gè)屬性的基礎(chǔ)上，相關(guān)權(quán)威人士增加了數(shù)據(jù)的時(shí)效性（Vitality）、真實(shí)性（Veracity）、復(fù)雜性（Complexity）以及價(jià)值性（Value）等幾個(gè)特性。

2 需求分析

2.1 技術(shù)需求

①可放置在各種不同的操作系統(tǒng)，并支持集群；②智慧校園以大量非結(jié)構(gòu)化數(shù)據(jù)分析的知識(shí)形成，從而得到復(fù)雜數(shù)據(jù)，實(shí)現(xiàn)更多數(shù)據(jù)處理和數(shù)據(jù)分析的嚴(yán)格要求；③支持多種已知的數(shù)據(jù)庫(kù)；④跨越常規(guī)報(bào)表的時(shí)間序列分析、路徑分析、What-if分析、圖分析等；⑤基于云計(jì)算的應(yīng)用模式、常見(jiàn)的數(shù)據(jù)集成、交叉循環(huán)利用資源等應(yīng)用服務(wù)；⑥支持各種終端，包括計(jì)算機(jī)、傳送裝置、移動(dòng)終端等；⑦能夠識(shí)別終端的類型，自動(dòng)調(diào)整顯示內(nèi)容；⑧具有內(nèi)容管理和發(fā)布能力；⑨支持虛擬門戶；⑩搜索引擎的內(nèi)容、文檔、圖片及其它信息網(wǎng)站檢索；B11整合有線網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)，上網(wǎng)統(tǒng)一認(rèn)證，統(tǒng)一的網(wǎng)絡(luò)管理和監(jiān)控，增加學(xué)校出口帶寬，滿足師生上網(wǎng)需求；B12數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)：符合標(biāo)準(zhǔn)的信息集以及業(yè)務(wù)接口平臺(tái)和操作系統(tǒng)的不同運(yùn)行要求，存儲(chǔ)設(shè)備實(shí)現(xiàn)定時(shí)備份和遠(yuǎn)程備份。

2.2 智慧校園平臺(tái)建設(shè)需求

（1）建立一個(gè)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)：智慧校園首先要符合國(guó)家標(biāo)準(zhǔn)要求，建設(shè)、經(jīng)營(yíng)和管理統(tǒng)一信息系統(tǒng)標(biāo)準(zhǔn)，規(guī)范智慧校園建設(shè)。

（2）構(gòu)建統(tǒng)一的數(shù)據(jù)平臺(tái)：創(chuàng)建統(tǒng)一的數(shù)據(jù)傳輸標(biāo)準(zhǔn)和數(shù)據(jù)交換規(guī)則，不同部門、不同應(yīng)用系統(tǒng)之間規(guī)范數(shù)據(jù)交換，規(guī)范各部門、學(xué)校之間數(shù)據(jù)傳輸和通訊，學(xué)校專注于業(yè)務(wù)部門數(shù)據(jù)，實(shí)現(xiàn)大數(shù)據(jù)分析和遠(yuǎn)程備份。

（3）身份認(rèn)證及接口統(tǒng)一平臺(tái)建設(shè)：集中認(rèn)證，提供統(tǒng)一應(yīng)用界面的系統(tǒng)管理服務(wù)，集中認(rèn)證接口規(guī)范，提升智慧校園安全系統(tǒng)的各種應(yīng)用。

3 大數(shù)據(jù)在智慧校園建設(shè)中存在的問(wèn)題

（1）數(shù)據(jù)錯(cuò)誤。智能校園結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)不斷增長(zhǎng)，使數(shù)據(jù)采集和測(cè)量方式不斷改變，數(shù)據(jù)分析猶如在“干草堆”里尋找有價(jià)值的數(shù)據(jù)。數(shù)據(jù)記錄錯(cuò)誤日益增長(zhǎng)，數(shù)據(jù)質(zhì)量問(wèn)題堪憂。

（2）技術(shù)不成熟。目前許多大數(shù)據(jù)技術(shù)（如Map Reduce、Hadoop）從開(kāi)源社區(qū)（如谷歌和雅虎）開(kāi)始，對(duì)比傳統(tǒng)的數(shù)據(jù)庫(kù)和數(shù)據(jù)管理套件，在技術(shù)、安全和可訪問(wèn)等方面都不成熟。因此，實(shí)時(shí)數(shù)據(jù)處理、創(chuàng)新的設(shè)計(jì)和其它技術(shù)問(wèn)題設(shè)計(jì)需要適應(yīng)環(huán)境的動(dòng)態(tài)變化。

（3）人才短缺。學(xué)校應(yīng)該廣納精通數(shù)據(jù)統(tǒng)計(jì)并能創(chuàng)建高層次分析模型的專家，因?yàn)閭鹘y(tǒng)的管理人員和數(shù)據(jù)分析人員都不具有預(yù)測(cè)、開(kāi)發(fā)、分析應(yīng)用程序的能力，更多的數(shù)據(jù)都還是原來(lái)的形式。大數(shù)據(jù)分析主要是基于建?；蛭磥?lái)趨勢(shì)的分析預(yù)測(cè)，應(yīng)探究大數(shù)據(jù)的發(fā)展趨勢(shì)。

4 智慧校園數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)

4.1 智慧校園系統(tǒng)結(jié)構(gòu)

系統(tǒng)結(jié)構(gòu)如圖1所示，包括顯示層、中間層、數(shù)據(jù)層這3個(gè)層次結(jié)構(gòu)，其中數(shù)據(jù)層和中間層主要集中在Server（服務(wù)器）端，顯示層集中在Brower（客戶端瀏覽器）。

（1）顯示層是界面層，是用戶和系統(tǒng)之間交互的引線，提供訪問(wèn)用戶界面?？梢暬瘮?shù)據(jù)挖掘的結(jié)果在顯示層展示。

（2）中間層是核心業(yè)務(wù)系統(tǒng)，包括數(shù)據(jù)處理、運(yùn)行算法、數(shù)據(jù)轉(zhuǎn)換，用于處理客戶端瀏覽器請(qǐng)求并返回結(jié)果。當(dāng)服務(wù)器接收到客戶請(qǐng)求時(shí)進(jìn)行數(shù)據(jù)處理，運(yùn)行相應(yīng)算法，結(jié)果在瀏覽器客戶端轉(zhuǎn)換成相應(yīng)的數(shù)據(jù)信息，最終回到客戶端瀏覽器。

（3）數(shù)據(jù)層即中間層數(shù)據(jù)源，用戶讀取的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，該數(shù)據(jù)可以被預(yù)處理以更好地挖掘數(shù)據(jù)。

4.2 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)

數(shù)據(jù)表設(shè)計(jì)包括消費(fèi)信息、成績(jī)信息、出勤信息、圖書借閱信息、上網(wǎng)信息和門禁信息，這些數(shù)據(jù)是流水?dāng)?shù)據(jù)，可分別為這些數(shù)據(jù)設(shè)計(jì)一個(gè)表，通過(guò)學(xué)號(hào)將這些數(shù)據(jù)表關(guān)聯(lián)起來(lái)，見(jiàn)圖2。

4.3 智慧校園數(shù)據(jù)平臺(tái)功能設(shè)計(jì)

為滿足數(shù)據(jù)安全和數(shù)據(jù)挖掘功能需求，系統(tǒng)分為數(shù)據(jù)管理、用戶管理和數(shù)據(jù)挖掘3大模塊，如圖3所示。

用戶管理包括用戶登錄、用戶注冊(cè)和權(quán)限管理模塊。主要提供用戶注冊(cè)入口、用戶登錄入口，用戶權(quán)限問(wèn)題由權(quán)限管理模塊負(fù)責(zé)，管理員可以處理不合法的用戶。數(shù)據(jù)管理主要包括數(shù)據(jù)處理和數(shù)據(jù)讀入。數(shù)據(jù)處理模塊在算法運(yùn)行前就開(kāi)始處理數(shù)據(jù)，主要有數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換及數(shù)據(jù)歸約。數(shù)據(jù)讀取主要是從其它數(shù)據(jù)庫(kù)或者數(shù)據(jù)文件讀取數(shù)據(jù)到本系統(tǒng)數(shù)據(jù)庫(kù)中。

5 大數(shù)據(jù)應(yīng)用

校園信息化在該階段的主要目標(biāo)是整合各種資源的開(kāi)發(fā)和利用，提高資源利用率。將集成硬件和軟件資源整合，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)管理及維護(hù)。

智慧校園突出了數(shù)據(jù)層處理以及平臺(tái)能力，可以說(shuō)，大數(shù)據(jù)處理是智慧校園的特征之一。

智慧校園需要具備較強(qiáng)的數(shù)據(jù)層處理能力：建立數(shù)據(jù)收集的基礎(chǔ)設(shè)施和存儲(chǔ)設(shè)備，建立一個(gè)統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)、建立交換公共數(shù)據(jù)系統(tǒng)的平臺(tái)、建設(shè)智能數(shù)據(jù)分析系統(tǒng)、建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、建設(shè)智能化決策系統(tǒng)等。大數(shù)據(jù)技術(shù)將學(xué)校管理由粗放式管理轉(zhuǎn)向精細(xì)化管理，由經(jīng)驗(yàn)管理轉(zhuǎn)向數(shù)據(jù)管理。

智慧校園架構(gòu)分為數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)和技術(shù)架構(gòu)。數(shù)據(jù)架構(gòu)由主平臺(tái)的數(shù)據(jù)管理、大數(shù)據(jù)處理平臺(tái)組成。應(yīng)用架構(gòu)由校園門戶網(wǎng)站、校園智能BI平臺(tái)、教學(xué)和科研、服務(wù)支持、信息管理平臺(tái)、學(xué)院資源管理平臺(tái)、部分校企平臺(tái)組成。技術(shù)架構(gòu)分為校園共享服務(wù)SOA平臺(tái)、校園云桌面、校園寬帶網(wǎng)絡(luò)、校園模塊化數(shù)據(jù)中心等部分。

6 結(jié)語(yǔ)

建設(shè)智慧校園，只有在記錄數(shù)據(jù)中才能體現(xiàn)它的價(jià)值，有價(jià)值的數(shù)據(jù)被用戶關(guān)注才會(huì)為決策、分析提供支持?？赏ㄟ^(guò)正確使用大數(shù)據(jù)技術(shù)，提高分析能力，為智慧校園建設(shè)及管理打下了扎實(shí)的基礎(chǔ)。

參考文獻(xiàn)：

[1]靳玉萍.數(shù)字化校園的資源配置方案及其關(guān)鍵技術(shù)[D].西安：西安科技大學(xué)，2005.

[2]陳志坤.網(wǎng)絡(luò)安全監(jiān)測(cè)數(shù)據(jù)集成關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2009.

[3]張昕.異構(gòu)就業(yè)數(shù)據(jù)集成服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2015.

[4]翁碩.數(shù)據(jù)挖掘在個(gè)性化學(xué)習(xí)系統(tǒng)中的應(yīng)用研究[D].北京：首都經(jīng)濟(jì)貿(mào)易大學(xué)，2015.

[5]馮升波，高麟鵬，周伏秋.我國(guó)數(shù)據(jù)中心節(jié)能現(xiàn)狀和面臨的挑戰(zhàn)分析[J].中國(guó)能源，2015（11）：23-26.

[6]張永華，李天一.基于大數(shù)據(jù)技術(shù)開(kāi)展電子文件開(kāi)發(fā)利用模式研究[J].低碳世界，2015（31）：155-156.

[7]何鳳嬌.基于云計(jì)算及大數(shù)據(jù)技術(shù)構(gòu)建區(qū)域醫(yī)療影像服務(wù)平臺(tái)[J].信息通信，2015（12）：99-100.

（責(zé)任編輯：杜能鋼）