鐘達(dá)彬，何鑒榮

（職業(yè)技術(shù)學(xué)院，廣東 佛山 528137）

0 引言

新形勢(shì)下，高校要緊跟時(shí)代發(fā)展，積極進(jìn)行數(shù)字化校園的建設(shè)，不僅有利于高校深化改革的推進(jìn)，還有利于智能化校園管理和提升服務(wù)水平。因此，對(duì)高校數(shù)字化校園大數(shù)據(jù)綜合分析研究對(duì)構(gòu)建智慧校園具有重大的現(xiàn)實(shí)意義。

1 建設(shè)高校數(shù)字化校園的價(jià)值意義

1.1 利于智能化校園管理

高校數(shù)字化校園以校園網(wǎng)為基礎(chǔ)，結(jié)合校園工作教學(xué)情況來構(gòu)建數(shù)字空間，它方便高校管理，使復(fù)雜的校園管理工作變得簡(jiǎn)單而高效。例如，目前高校中普遍使用校園一卡通，學(xué)生只要有一張校園卡，就可以輕松實(shí)現(xiàn)在整個(gè)校園內(nèi)進(jìn)行各種活動(dòng)，包括食堂吃飯、便利店購(gòu)物、圖書館借閱等。同時(shí)，對(duì)于高校來說，學(xué)生的一切日常消費(fèi)活動(dòng)都會(huì)通過校園卡來體現(xiàn)。高?？梢愿鶕?jù)學(xué)生消費(fèi)記錄以及消費(fèi)習(xí)慣來綜合評(píng)定學(xué)生的生活情況，這也是進(jìn)行貧困生評(píng)選的重要參考，能夠使真正貧困的學(xué)生獲得應(yīng)有的幫助。

1.2 利于提升服務(wù)水平

“互聯(lián)網(wǎng)+”背景下，高校學(xué)生思維更加活躍，視野更加開闊，對(duì)新生事物的訴求也更加多樣化。高校在進(jìn)行學(xué)生管理工作時(shí)，不僅要滿足學(xué)生學(xué)習(xí)和物資方面的需求，而且要關(guān)注學(xué)生的精神和心理方面。數(shù)字化校園的一個(gè)重要作用就是能夠?yàn)閷W(xué)生和教師之間搭建一個(gè)相互溝通的橋梁，學(xué)生的網(wǎng)絡(luò)行為會(huì)在校內(nèi)網(wǎng)中以網(wǎng)絡(luò)日志的形式進(jìn)行記錄。因此，研究人員可以利用Hadoop大數(shù)據(jù)技術(shù)分析這些日志內(nèi)容，以充分了解學(xué)生上網(wǎng)習(xí)慣、作息規(guī)律以及心理需求等，及時(shí)發(fā)掘?qū)W生的一些異常網(wǎng)絡(luò)行為，針對(duì)性地進(jìn)行引導(dǎo)學(xué)生，確保學(xué)生身心健康，從而更好地提升學(xué)生管理服務(wù)水平，為學(xué)生做好保障工作，構(gòu)建和諧、健康的校園環(huán)境。

1.3 利于高校深化改革的推進(jìn)

高校數(shù)字化校園包含了大量的數(shù)據(jù)信息。高校內(nèi)所有的教學(xué)資源、科研數(shù)據(jù)、規(guī)則制度信息等涉及高校教學(xué)和管理活動(dòng)的方方面面，統(tǒng)一構(gòu)成了高校巨大的數(shù)據(jù)信息。這些數(shù)據(jù)信息有許多具有重要價(jià)值的信息，例如：高校財(cái)務(wù)數(shù)據(jù)信息、人事管理信息、學(xué)生個(gè)人基礎(chǔ)信息等，龐大的數(shù)據(jù)信息背后隱藏著巨大的價(jià)值意義。因此，高校需要深化改革，對(duì)這些數(shù)據(jù)信息進(jìn)行充分利用、科學(xué)分析、深入挖掘，以數(shù)據(jù)信息為基礎(chǔ)對(duì)高校各項(xiàng)工作進(jìn)行有效的管理，將數(shù)據(jù)信息轉(zhuǎn)化為管理工具，發(fā)揮其重要作用，為高校教學(xué)、管理以及服務(wù)提供更多的幫助。

2 高校數(shù)字化校園大數(shù)據(jù)技術(shù)存在的問題分析

2.1 數(shù)據(jù)規(guī)模不斷增大，數(shù)據(jù)質(zhì)量不高

目前，高校數(shù)字化校園建設(shè)過程中，普遍存在數(shù)據(jù)的規(guī)模不斷增大而數(shù)據(jù)質(zhì)量不高的問題，具體表現(xiàn)為：首先，數(shù)據(jù)格式?jīng)]有統(tǒng)一標(biāo)準(zhǔn)。由于高校中不同的崗位或者部門在工作中對(duì)于數(shù)據(jù)的使用習(xí)慣不同而造成數(shù)據(jù)的格式不一致，并且也沒有相關(guān)的標(biāo)準(zhǔn)作為參考；其次，數(shù)據(jù)維護(hù)不到位。隨著高校數(shù)字化校園建設(shè)的不斷深入，高校在管理方面確實(shí)感受到了極大的便利性，但是同時(shí)對(duì)于數(shù)據(jù)維護(hù)工作沒有進(jìn)行科學(xué)管理，缺乏對(duì)其重要性的認(rèn)識(shí)；最后，對(duì)于無用的數(shù)據(jù)缺乏科學(xué)的處理方法。高校在日常工作中會(huì)產(chǎn)生大量的數(shù)據(jù)信息以及緩存文件。其中，大部分?jǐn)?shù)據(jù)復(fù)用價(jià)值不高，而有些數(shù)據(jù)對(duì)于后期工作的開展具有一定的指導(dǎo)意義，而高校并沒有對(duì)這些數(shù)據(jù)進(jìn)行整理和利用，造成高校信息系統(tǒng)數(shù)據(jù)規(guī)模不斷增大，而同時(shí)數(shù)據(jù)質(zhì)量又不高，造成了數(shù)據(jù)資源的浪費(fèi)。

2.2 對(duì)數(shù)據(jù)資源缺乏充分利用

高校數(shù)字化校園對(duì)數(shù)據(jù)資源缺乏充分利用體現(xiàn)在：一是，存在數(shù)據(jù)孤島。部分系統(tǒng)之間難以進(jìn)行實(shí)時(shí)查詢和調(diào)取。高校師生需要根據(jù)需求登錄不同的業(yè)務(wù)系統(tǒng)進(jìn)行相關(guān)消費(fèi)記錄、圖書借閱情況、教師的教學(xué)情況以及科研成果等的查詢；二是，高校對(duì)于數(shù)據(jù)資源缺乏深入挖掘。大數(shù)據(jù)時(shí)代，數(shù)據(jù)資源潛藏著巨大的價(jià)值，它包含了高校師生的一些基礎(chǔ)信息，同時(shí)對(duì)于這些信息的提取和分析能夠有效指導(dǎo)高校管理工作。然而，目前高校在對(duì)數(shù)據(jù)的深入挖掘和科學(xué)分析方面做得還不夠，嚴(yán)重影響數(shù)據(jù)資源的價(jià)值發(fā)揮。

2.3 對(duì)大數(shù)據(jù)技術(shù)專業(yè)分析工具開發(fā)不足

隨著大數(shù)據(jù)分析技術(shù)的不斷發(fā)展，傳統(tǒng)的分析工具難以跟得上實(shí)際需求。目前，人們對(duì)數(shù)據(jù)分析工具的開發(fā)還不夠成熟，開發(fā)出可以滿足絕大部分?jǐn)?shù)據(jù)分享需求的通用技術(shù)軟件目前來說還難以實(shí)現(xiàn)。然而，隨著大數(shù)據(jù)技術(shù)的發(fā)展，人們對(duì)于專業(yè)分析工具的需求會(huì)不斷提高，在不久的將來，很有可能因?yàn)閷I(yè)分析工具的開發(fā)不足對(duì)大數(shù)據(jù)的發(fā)展造成一定的制約，甚至?xí)谝欢螘r(shí)間內(nèi)停滯不前，影響各行各業(yè)大數(shù)據(jù)的應(yīng)用發(fā)展。

3 大數(shù)據(jù)技術(shù)在高校數(shù)字化校園的應(yīng)用

3.1 建立數(shù)據(jù)采集技術(shù)

由于數(shù)字化校園建設(shè)的推進(jìn)，高校在日常工作管理中不可避免會(huì)產(chǎn)生大量的數(shù)據(jù)信息，可以建立數(shù)據(jù)庫(kù)采集系統(tǒng)對(duì)這些數(shù)據(jù)進(jìn)行記錄，將數(shù)據(jù)庫(kù)采集系統(tǒng)直接與校園網(wǎng)業(yè)務(wù)后臺(tái)服務(wù)器結(jié)合，將學(xué)校日常工作中產(chǎn)生的相關(guān)記錄寫入數(shù)據(jù)庫(kù)，再由特定的處理分析系統(tǒng)進(jìn)行系統(tǒng)分析。對(duì)于大數(shù)據(jù)采集技術(shù)可以通過Hive來實(shí)現(xiàn)，它是一種建立在Hadoop之上的開源數(shù)據(jù)倉(cāng)庫(kù)解決方案，支持使用PB級(jí)別的可伸縮性的數(shù)據(jù)倉(cāng)庫(kù)[1]。Hive技術(shù)極大地降低了用戶學(xué)習(xí)門檻，能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行簡(jiǎn)要分析與計(jì)算。此外，高校在進(jìn)行數(shù)字化校園建設(shè)中，還需要制定統(tǒng)一的數(shù)據(jù)采集標(biāo)準(zhǔn)，對(duì)符合條件的數(shù)據(jù)進(jìn)行單獨(dú)留存，并對(duì)無效數(shù)據(jù)進(jìn)行及時(shí)清理、粉碎。統(tǒng)一篩選流程，在進(jìn)行數(shù)據(jù)的采集、儲(chǔ)存、整理和分類等方面都需要按流程進(jìn)行，以此做好數(shù)據(jù)信息管理，使數(shù)據(jù)信息能夠發(fā)揮更大作用，服務(wù)校園建設(shè)。

3.2 充分挖掘數(shù)據(jù)深層價(jià)值

數(shù)據(jù)資源潛藏著巨大的價(jià)值信息，高校數(shù)字化校園的建設(shè)中勢(shì)必會(huì)有大量的數(shù)據(jù)信息產(chǎn)生。因此，高校方面應(yīng)當(dāng)對(duì)這些數(shù)據(jù)進(jìn)行整理和分析，利用信息技術(shù)挖掘數(shù)據(jù)信息更深層的價(jià)值，發(fā)揮數(shù)據(jù)資源更多的價(jià)值，以此為高校在進(jìn)行學(xué)生管理、科研工作以及教學(xué)改革等諸多方面提供指導(dǎo)。對(duì)于數(shù)據(jù)的分析模塊和處理模塊可以在一個(gè)Hadoop集群系統(tǒng)中部署完成，在具體的應(yīng)用中，Hive部署在Hadoop 集群系統(tǒng)中的NameNode節(jié)點(diǎn)上。在數(shù)據(jù)分析模塊中，Hive可以將校園中非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行轉(zhuǎn)換，映射成數(shù)據(jù)庫(kù)表，同時(shí)能夠提高類SQL查詢功能，將SQL語句轉(zhuǎn)化為MapRe-duce任務(wù)進(jìn)行運(yùn)行，同時(shí)能夠?qū)τ脩舭l(fā)出的查詢請(qǐng)求進(jìn)行接受，并提供查詢服務(wù)，將查詢結(jié)果通過輸出模塊進(jìn)行查詢結(jié)果的輸出。查詢結(jié)果通過Hive數(shù)據(jù)分析模塊后，Hive對(duì)這些數(shù)據(jù)進(jìn)行編譯和解析，最終將生成的MapReduce任務(wù)交給數(shù)據(jù)存儲(chǔ)模塊[2]，經(jīng)過處理后再通過數(shù)據(jù)分析模塊返回給結(jié)果輸出模塊，最終為用戶呈現(xiàn)出網(wǎng)頁(yè)、圖表、表格等多種形式。教師可以通過對(duì)這些數(shù)據(jù)進(jìn)行分析來更好地進(jìn)行教學(xué)計(jì)劃的調(diào)整和改革。

3.3 利用大數(shù)據(jù)了解學(xué)生網(wǎng)絡(luò)行為

數(shù)字化校園可以利用大數(shù)據(jù)技術(shù)了解學(xué)生的網(wǎng)絡(luò)行為，例如：可以通過對(duì)校內(nèi)網(wǎng)絡(luò)日志文件進(jìn)行深度分析。首先，利用7臺(tái)相同的服務(wù)器組成Hadoop/Hive集群，并在這些服務(wù)器中部署centos 7操作系統(tǒng)，同時(shí)配置Hadoop 2.8.4，采用Hadoop和zookeeper搭建大數(shù)據(jù)集群，同時(shí)配置Hive-0. 7.0以及Flume數(shù)據(jù)采集工具[3]。在進(jìn)行數(shù)據(jù)分析時(shí)，首先輸入高校校園內(nèi)網(wǎng)絡(luò)日志，從學(xué)生宿舍流量、一周內(nèi)搜索次數(shù)、發(fā)帖次數(shù)、網(wǎng)購(gòu)次數(shù)等多方面進(jìn)行分析，最終呈現(xiàn)出相應(yīng)的分析結(jié)果，針對(duì)其中數(shù)據(jù)過高的學(xué)生宿舍應(yīng)當(dāng)給予高度關(guān)注，并及時(shí)把相關(guān)情況同步至學(xué)生處與班級(jí)輔導(dǎo)員。

4 結(jié)語

高校數(shù)字化校園大數(shù)據(jù)的應(yīng)用已取得了一定的發(fā)展，通過數(shù)據(jù)采集技術(shù)以及數(shù)據(jù)挖掘技術(shù)，大數(shù)據(jù)技術(shù)為校園管理者提供了更多有價(jià)值的信息，為數(shù)字化校園建設(shè)提供了新方法、新突破，促進(jìn)了高校數(shù)字化發(fā)展，為新時(shí)代高校高質(zhì)量發(fā)展提供良好支撐。