王法玉 閆小芹 王勁松

摘 要：本文在簡(jiǎn)單分析了當(dāng)前學(xué)校信息化資源建設(shè)現(xiàn)狀的基礎(chǔ)上，簡(jiǎn)要敘述了大數(shù)據(jù)的基本概念和特征，分析了大數(shù)據(jù)技術(shù)中的Hadoop、Storm、Spark框架模型，結(jié)合大數(shù)據(jù)技術(shù)應(yīng)用于校園網(wǎng)絡(luò)安全管理中的應(yīng)用實(shí)踐，描述了實(shí)踐的運(yùn)行環(huán)境、管理功能框架和大數(shù)據(jù)平臺(tái)技術(shù)框架，框架對(duì)大數(shù)據(jù)的其它應(yīng)用有較強(qiáng)的借鑒價(jià)值。

關(guān)鍵詞：教育信息化；大數(shù)據(jù)；網(wǎng)絡(luò)安全；信息服務(wù)；數(shù)據(jù)處理技術(shù)

中圖分類(lèi)號(hào)：TP309 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2016）01-0046-03

一、引言

“十二五”期間，高校信息化建設(shè)進(jìn)入了一個(gè)“跨越式”發(fā)展的階段。硬件基礎(chǔ)設(shè)施得到了進(jìn)一步地提升，數(shù)字化業(yè)務(wù)系統(tǒng)功能不斷擴(kuò)展，極大地提高了教育信息化水平。隨著云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、大數(shù)據(jù)處理等技術(shù)地快速發(fā)展，人類(lèi)已經(jīng)邁入了大數(shù)據(jù)時(shí)代，硬件系統(tǒng)以及業(yè)務(wù)軟件系統(tǒng)背后產(chǎn)生的原始數(shù)據(jù)，數(shù)據(jù)量呈幾何級(jí)數(shù)從TB 級(jí)向PB 級(jí)乃至ZB 級(jí)快速增長(zhǎng)，如何發(fā)揮這些海量數(shù)據(jù)的隱藏價(jià)值，進(jìn)一步提升教育教學(xué)管理信息化水平，是我們長(zhǎng)期關(guān)注、思考的問(wèn)題。在此背景下，研究大數(shù)據(jù)處理技術(shù)，對(duì)數(shù)據(jù)進(jìn)行采集、整合處理、分析、挖掘研究，使原來(lái)分散、利用率低、不被注意的數(shù)據(jù)得以充分利用，為學(xué)校的教學(xué)管理、發(fā)展戰(zhàn)略和決策支持提供科學(xué)的依據(jù)有重要的意義。

二、學(xué)校信息資源現(xiàn)狀分析

隨著學(xué)校軟、硬件資源的增添，產(chǎn)生大量的數(shù)據(jù)，數(shù)據(jù)包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，大致包括以下來(lái)源：

（1）數(shù)字化軟件系統(tǒng)：是學(xué)校各個(gè)應(yīng)用系統(tǒng)，可以執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察。軟件系統(tǒng)大致包含統(tǒng)一認(rèn)證平臺(tái)、支付平臺(tái)、移動(dòng)平臺(tái)、圖書(shū)借閱、學(xué)工系統(tǒng)、教務(wù)系統(tǒng)、信息門(mén)戶(hù)、各個(gè)網(wǎng)站、餐飲一卡通系統(tǒng)、網(wǎng)絡(luò)認(rèn)證系統(tǒng)等。

（2）數(shù)據(jù)管理系統(tǒng)：數(shù)據(jù)管理系統(tǒng)存儲(chǔ)邏輯數(shù)據(jù)、流程、策略和各種其他類(lèi)型的文檔：Excel電子表格、Word 文檔，這些文檔可以轉(zhuǎn)換為可用于分析的結(jié)構(gòu)化數(shù)據(jù)。

（3）數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)存儲(chǔ)包含學(xué)校數(shù)據(jù)倉(cāng)庫(kù)、操作數(shù)據(jù)庫(kù)和事務(wù)數(shù)據(jù)庫(kù)。此數(shù)據(jù)通常是結(jié)構(gòu)化數(shù)據(jù)，可直接使用或輕松地轉(zhuǎn)換來(lái)滿(mǎn)足需求。這些數(shù)據(jù)不一定存儲(chǔ)在分布式文件系統(tǒng)中，具體依賴(lài)于所處的上下文。

（4）智能設(shè)備：智能設(shè)備能夠捕獲、處理和傳輸使用最廣泛的協(xié)議和格式的信息。這方面的示例包括智能電話(huà)、儀表設(shè)備。這些設(shè)備可用于執(zhí)行各種類(lèi)型的分析。絕大多數(shù)智慧設(shè)備都會(huì)執(zhí)行實(shí)時(shí)分析，但從智能設(shè)備傳來(lái)的信息也可批量分析。

（5）聚合的數(shù)據(jù)提供程序：這些提供程序擁有或獲取數(shù)據(jù)，并以復(fù)雜的格式和所需的頻率通過(guò)特定的過(guò)濾器公開(kāi)它。每天都會(huì)產(chǎn)生海量的數(shù)據(jù)，它們具有不同的格式，以不同的速度生成，而且通過(guò)各種數(shù)據(jù)提供程序、傳感器提供。

（6）硬件資源數(shù)據(jù)：大致包含常用的計(jì)算機(jī)、服務(wù)器、交換機(jī)、路由器、防火墻、無(wú)線(xiàn)控制器、無(wú)線(xiàn)AP、門(mén)禁道閘等，一般都是利用這些硬件的基本用途，例如：交換機(jī)的數(shù)據(jù)交換、路由器的路由交換鏈路互通，只關(guān)心網(wǎng)絡(luò)暢通，可以進(jìn)一步利用這些設(shè)備的日志信息，挖據(jù)深層的數(shù)據(jù)資源，為網(wǎng)絡(luò)管理人員和學(xué)校職能處室提供分析決策。

（7）其它數(shù)據(jù)：視頻資源、社交網(wǎng)絡(luò)數(shù)據(jù)、登錄Wifi數(shù)據(jù)以及入侵檢測(cè)、防御設(shè)備、上網(wǎng)行為等設(shè)備分析到的數(shù)據(jù)，移動(dòng)互聯(lián)數(shù)據(jù)等。

三、大數(shù)據(jù)技術(shù)及實(shí)踐

在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》中，大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理[1-3]。

目前使用較多的三個(gè)大數(shù)據(jù)處理工具是Hadoop、Storm、Spark，都是JVM上的語(yǔ)言寫(xiě)成的。

下面簡(jiǎn)單敘述我校如何將大數(shù)據(jù)技術(shù)應(yīng)用于校園網(wǎng)絡(luò)安全管理平臺(tái)。

校園網(wǎng)絡(luò)安全管理實(shí)驗(yàn)平臺(tái)的功能架構(gòu)如圖1所示。

從圖1可以看出，該平臺(tái)需要搭建大數(shù)據(jù)的基礎(chǔ)運(yùn)行環(huán)境和數(shù)據(jù)管控平臺(tái)，其中基礎(chǔ)運(yùn)行環(huán)境包含Hadoop基礎(chǔ)運(yùn)行環(huán)境、基于內(nèi)存的迭代計(jì)算框架和基于流處理的計(jì)算框架；需要網(wǎng)絡(luò)支撐平臺(tái)和信息共享交換平臺(tái)，數(shù)據(jù)的標(biāo)準(zhǔn)化與建模；數(shù)據(jù)的檢索、關(guān)聯(lián)融合、安全檢測(cè)；數(shù)據(jù)可視化分析與顯示、多系統(tǒng)融合數(shù)據(jù)的高性能分析，數(shù)據(jù)即服務(wù)產(chǎn)生可以抽取利用的信息存放到數(shù)據(jù)池以備基礎(chǔ)運(yùn)行環(huán)境檢索使用。

實(shí)驗(yàn)平臺(tái)的技術(shù)架構(gòu)如圖2所示，該架構(gòu)包含了數(shù)據(jù)采集層，數(shù)據(jù)集成層、文件存儲(chǔ)層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)計(jì)算層、數(shù)據(jù)分析層和平臺(tái)管理層。

實(shí)驗(yàn)平臺(tái)采集到的數(shù)據(jù)包含應(yīng)用系統(tǒng)數(shù)據(jù)、網(wǎng)絡(luò)訪(fǎng)問(wèn)日志、各個(gè)網(wǎng)絡(luò)設(shè)備的SNMP Trap信息、各個(gè)核心設(shè)備以及安全設(shè)備Syslog日志（包括IDS、Wireless AC、負(fù)載均衡設(shè)備、路由器、防火墻、上網(wǎng)行為審計(jì)設(shè)備等）、服務(wù)器訪(fǎng)問(wèn)日志、Snort信息、SFlow數(shù)據(jù)和Netflow數(shù)據(jù)以及端口鏡像數(shù)據(jù)。

網(wǎng)絡(luò)中的Syslog日志和網(wǎng)絡(luò)訪(fǎng)問(wèn)日志將會(huì)是一個(gè)海量的數(shù)據(jù)，考慮到日志更新頻繁和海量數(shù)據(jù)的特點(diǎn)，實(shí)驗(yàn)環(huán)境在Linux服務(wù)器上安裝并啟動(dòng)的程序有Tomcat8，Hadoop2.6.1，Zookeeper3.4.6，HBase0.98.5，F(xiàn)lume1.5。選擇了Flume + HBase的采集和存儲(chǔ)方案，F(xiàn)lume最早是Cloudera提供的日志收集系統(tǒng)，F(xiàn)lume可以在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方，F(xiàn)lume可以從Console（控制臺(tái)）、RPC（Thrift-RPC）、Text（文件）、Tail、Syslog日志系統(tǒng)、Exec（命令執(zhí)行）等數(shù)據(jù)源上收集數(shù)據(jù)。HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)。實(shí)驗(yàn)平臺(tái)以Tomcat為Web服務(wù)器，通過(guò)Flume實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)的日志文件并將新增日志收集、清洗并保存到HBase中，供Spark等分布計(jì)算框架分析使用。

計(jì)算層主要包括離線(xiàn)數(shù)據(jù)處理、近似實(shí)時(shí)批處理、實(shí)時(shí)流處理。其中：離線(xiàn)數(shù)據(jù)處理采用Hadoop的分布式存儲(chǔ)和并行計(jì)算模式MapReduce編程模型。Hadoop是一個(gè)分布式系統(tǒng)的基礎(chǔ)架構(gòu)，非常適合對(duì)大數(shù)據(jù)集進(jìn)行離線(xiàn)計(jì)算。通過(guò)讀取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行映射（Map），使用某個(gè)鍵值對(duì)數(shù)據(jù)進(jìn)行重排，然后對(duì)數(shù)據(jù)進(jìn)行化簡(jiǎn)（Reduce）得到最終的輸出。該功能模塊采用聚類(lèi)分析、分類(lèi)計(jì)算和關(guān)聯(lián)規(guī)則等算法對(duì)網(wǎng)絡(luò)中的日志進(jìn)行離線(xiàn)分析[4]。在海量數(shù)據(jù)下，數(shù)據(jù)冗余模塊往往成為整個(gè)系統(tǒng)的瓶頸，實(shí)驗(yàn)使用了內(nèi)存NoSQL來(lái)處理冗余原始數(shù)據(jù)，并采用盡可能多的節(jié)點(diǎn)進(jìn)行處理冗余信息。網(wǎng)絡(luò)流的實(shí)時(shí)處理采用Storm和Spark框架模型進(jìn)行處理，實(shí)時(shí)處理消息更新數(shù)據(jù)庫(kù)，可對(duì)數(shù)據(jù)流做查詢(xún)，計(jì)算時(shí)將結(jié)果以流的形式輸出給Hive/Pig進(jìn)行聚類(lèi)分析、擬合、協(xié)同過(guò)濾、展示。效果圖如圖3所示。

從圖3中可以直觀的看到服務(wù)器的網(wǎng)絡(luò)流量信息，可以協(xié)助網(wǎng)絡(luò)管理人員了解服務(wù)器的訪(fǎng)問(wèn)情況，分析是否有異常流量。

大數(shù)據(jù)技術(shù)的應(yīng)用，提高了網(wǎng)絡(luò)管理的信息化，通過(guò)該平臺(tái)可以直觀地查看服務(wù)器的訪(fǎng)問(wèn)情況、通過(guò)服務(wù)器的進(jìn)出流量情況以及一個(gè)會(huì)話(huà)流量數(shù)據(jù)的差值信息可以展示服務(wù)器的訪(fǎng)問(wèn)會(huì)話(huà)是否正常以及是否有異常攻擊行為，查看網(wǎng)絡(luò)中的主機(jī)行為是否存在異常流量，是否被木馬程序控制等。

四、大數(shù)據(jù)技術(shù)在教學(xué)管理中的應(yīng)用展望

通過(guò)對(duì)學(xué)校的各個(gè)信息系統(tǒng)數(shù)據(jù)、多方采集的信息資源（包括宿舍門(mén)禁、圖書(shū)館門(mén)禁、校園Wifi、用電情況、視頻資源）、社交網(wǎng)絡(luò)等信息的多維度融合，數(shù)據(jù)關(guān)聯(lián)分析、挖掘，可以發(fā)現(xiàn)——①大數(shù)據(jù)技術(shù)應(yīng)用到學(xué)生管理：可以了解學(xué)生的出勤情況、心理情況、學(xué)習(xí)情況，全面客觀地記錄學(xué)生成長(zhǎng)軌跡，沉淀和積累多維度的學(xué)生成長(zhǎng)數(shù)據(jù)，讓反映學(xué)生發(fā)展?fàn)顟B(tài)的數(shù)據(jù)完整顯示出來(lái)[5]，推進(jìn)教育質(zhì)量觀的落實(shí)，為學(xué)生輔導(dǎo)員多方面了解學(xué)生提供新渠道，提前預(yù)知學(xué)生的生活學(xué)習(xí)動(dòng)向，可以做到因材施教、個(gè)性化指導(dǎo)服務(wù)、提高學(xué)生的多方面能力、挖掘?qū)W生的興趣度、分析并幫助學(xué)生選擇就業(yè)方向；②大數(shù)據(jù)技術(shù)可以應(yīng)用到教學(xué)管理：結(jié)合教師在課程平臺(tái)中的問(wèn)題答疑及作業(yè)布置情況、上課學(xué)生出勤情況、登錄Wifi情況、學(xué)生考試情況、課堂的視頻資源、學(xué)生評(píng)教信息等數(shù)據(jù)可以對(duì)教師的教學(xué)情況進(jìn)行全面的了解，有利于規(guī)范組織教學(xué)、示范教學(xué)；③大數(shù)據(jù)技術(shù)應(yīng)用到學(xué)校管理：大數(shù)據(jù)時(shí)代，學(xué)校師生員工幾乎“透明”地生存，每個(gè)人在數(shù)據(jù)空間中都會(huì)留下痕跡，折射其興趣愛(ài)好、需求意愿、性格特征等內(nèi)心世界。管理者只需收集和分析相關(guān)數(shù)據(jù)便可以洞悉和預(yù)判現(xiàn)實(shí)中師生員工的未來(lái)行為，準(zhǔn)確定位師生的需求，從而實(shí)現(xiàn)精細(xì)化管理；④大數(shù)據(jù)技術(shù)應(yīng)用到后勤管理：通過(guò)學(xué)生的餐飲數(shù)據(jù)可以調(diào)整食堂的布局和用餐的品種以及用餐時(shí)間的保障，通過(guò)課表信息、學(xué)生進(jìn)出教學(xué)樓的信息對(duì)教室電源控制管理起到節(jié)能效果。

五、結(jié)束語(yǔ)

在“互聯(lián)網(wǎng)+教育”的背景下，通過(guò)讓大規(guī)模的數(shù)據(jù)產(chǎn)生關(guān)聯(lián)性，讓碎片化的數(shù)據(jù)變成一個(gè)融合的整體，通過(guò)數(shù)據(jù)的集成、管理、分析，使人們可以基于大數(shù)據(jù)來(lái)發(fā)現(xiàn)事物的本質(zhì)、預(yù)測(cè)未來(lái)的趨勢(shì)，創(chuàng)新應(yīng)用大數(shù)據(jù)技術(shù)不斷推進(jìn)信息技術(shù)與教育教學(xué)的深度融合，充分發(fā)揮教育信息化在教育改革發(fā)展中的支撐與引領(lǐng)作用。研究應(yīng)用大數(shù)據(jù)技術(shù)的意義在于可以讓大數(shù)據(jù)“導(dǎo)航”學(xué)校教育管理信息化，“預(yù)測(cè)”教學(xué)效果、學(xué)生未來(lái)的發(fā)展趨勢(shì)。

參考文獻(xiàn)：

[1]維克托·邁爾-舍恩伯格.大數(shù)據(jù)時(shí)代[M].杭州：浙江人民出版社，2012.

[2]Fanwei.淺析大數(shù)據(jù)的特點(diǎn)[OL] .CIO時(shí)代網(wǎng)，http：//www.ciotimes.com/baike/62989.html.

[3]陶雪嬌.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2013（25）.

[4]李天楓，姚欣等.大規(guī)模網(wǎng)絡(luò)異常流量實(shí)時(shí)云監(jiān)測(cè)平臺(tái)研究[R]，第29次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集，2014（9）：1-4.

[5]萬(wàn)輝.大數(shù)據(jù)在高校學(xué)生管理工作中的應(yīng)用[J].高校輔導(dǎo)員學(xué)刊，2014，6（4）：48-50.

（編輯：王曉明）