單康康+王佶+常曉潔+牟星亮+張華+朱生

摘 要： 許多高校面臨著用戶快速增長、網(wǎng)絡數(shù)據(jù)龐大、信息安全隱患等多方面的問題，校園網(wǎng)每天生成NAT、DNS、Web、VPN等海量網(wǎng)絡日志，對網(wǎng)絡IT運維管理和大數(shù)據(jù)處理提出挑戰(zhàn)。通過介紹一種基于大數(shù)據(jù)的海量網(wǎng)絡日志分析平臺，研究大數(shù)據(jù)分析平臺的技術架構與總線模塊，實現(xiàn)了對校園網(wǎng)海量日志進行統(tǒng)一收集與大數(shù)據(jù)分析。

關鍵詞： 校園網(wǎng)； 信息化建設； 網(wǎng)絡日志； 運維管理； 大數(shù)據(jù)分析

中圖分類號：TP393 文獻標志碼：A 文章編號：1006-8228（2017）04- -03

Abstract： Many colleges and universities are faced with the problems of rapid growth of users， massive network data and information security risks etc.， the campus network generates massive network logs of NAT， DNS， Web， VPN and so on， it challenges the network IT Operations Management （ITOM） and big data processing. This paper introduces a massive network logs analysis platform based on the big data technology， studies the technology architecture and bus module of big data analysis platform， and realizes the collection and big data analysis of the campus massive network logs.

Key words： campus network； information construction； network logs； ITOM； big data analysis

0 引言

隨著信息技術日新月異，各類應用層出不窮，部分高校已經(jīng)建成一個集普適服務網(wǎng)、科研學術專網(wǎng)、物聯(lián)感知專網(wǎng)于一體，融數(shù)據(jù)、語音、視頻等各類信息通訊能力于一身，高速通暢、安全可靠的下一代校園綜合支撐網(wǎng)絡環(huán)境[1]。高校網(wǎng)絡用戶逐年遞增，網(wǎng)站流量、DNS域名解析、VPN數(shù)據(jù)、郵箱等應用每天產(chǎn)生海量數(shù)據(jù)。對校園網(wǎng)每天產(chǎn)生的海量日志進行存儲、計算、分析，研究如何充分利用大數(shù)據(jù)技術對校園網(wǎng)數(shù)據(jù)進行有效整合，更好地為廣大師生提供服務，為學校管理者提供更好的決策依據(jù)十分必要，這也是校園網(wǎng)運維未來發(fā)展和打造智慧校園的一部分。

1 需求與目標

高校的信息化建設普遍面臨著運維問題，即：校園網(wǎng)絡用戶規(guī)模逐年遞增，運維難度增大、比較被動、效率低。用戶基本通過電話報修，運維人員難以遠程定位故障，而上門維護時又難以再現(xiàn)故障，現(xiàn)有的網(wǎng)絡運維管理系統(tǒng)對運維的支持力度有限。如何充分利用現(xiàn)有的運維管理軟件，以及各類有線網(wǎng)/無線網(wǎng)運維過程產(chǎn)生的大量的結構化和非結構化的數(shù)據(jù)，是亟待解決的一個主要問題。

我們需要具備更強大的數(shù)據(jù)存儲、處理、分析的大數(shù)據(jù)平臺，以提高校園有線與無線網(wǎng)絡的運維效率、大數(shù)據(jù)分析和利用能力，需建設一套涵蓋有線與無線網(wǎng)大數(shù)據(jù)運維支持平臺系統(tǒng)，實現(xiàn)校園網(wǎng)運行數(shù)據(jù)的獲取、存儲、分析[2]。通過大數(shù)據(jù)處理，實現(xiàn)運維分析和查詢，提高運維主動性和效率、解決運維難題，能夠解決目前運維過程中發(fā)生的問題。例如，將現(xiàn)有VPN有線上網(wǎng)日志、無線上網(wǎng)用戶日志、DNS域名日志、網(wǎng)站訪問日志等相關的數(shù)據(jù)庫、信息系統(tǒng)日志文本數(shù)據(jù)等進行相關的處理分析，以提高運維方面的效率。該平臺軟件系統(tǒng)需要能夠平滑擴展，為未來的海量數(shù)據(jù)分析提供更多的數(shù)據(jù)利用的應用接口。

2 校園網(wǎng)大數(shù)據(jù)分析平臺總體框架

2.1 平臺拓撲

校園網(wǎng)大數(shù)據(jù)分析平臺，對有線網(wǎng)和無線網(wǎng)運行數(shù)據(jù)進行獲取、存儲、分析，通過大數(shù)據(jù)處理，實現(xiàn)運維分析和查詢，提高校園網(wǎng)運維主動性和效率，能夠解決目前運維過程中發(fā)生的問題。圖1為校園網(wǎng)大數(shù)據(jù)平臺拓撲結構。

2.2 平臺角色定義

校園網(wǎng)大數(shù)據(jù)分析平臺有如下系統(tǒng)功能角色定義和要求，如表1。

2.3 功能模塊

校園網(wǎng)大數(shù)據(jù)分析平臺需實現(xiàn)以下基本功能模塊。

⑴ 數(shù)據(jù)感知與獲取

運維數(shù)據(jù)不僅是實時數(shù)據(jù)，更要歷史數(shù)據(jù)，定期采集的多業(yè)務系統(tǒng)的歷史數(shù)據(jù)，對運維分析十分有用。整合認證系統(tǒng)、用戶管理系統(tǒng)、網(wǎng)管系統(tǒng)等多業(yè)務系統(tǒng)的數(shù)據(jù)[3]，實時或離線收集有線網(wǎng)絡/無線網(wǎng)絡的設備運行于用戶狀態(tài)數(shù)據(jù)，實現(xiàn)統(tǒng)一的數(shù)據(jù)管理分析平臺，解決多平臺之間手動切換的低效率運行模式。

⑵ 數(shù)據(jù)存儲與管理

大數(shù)據(jù)運維支撐平臺可以按需將歷史數(shù)據(jù)進行展示，可以是以用戶為中心的歷史展示，也可以是以設備為中心的歷史數(shù)據(jù)展示。例如，用戶報修宿舍有線/無線網(wǎng)絡不穩(wěn)定或者信號差等問題并提供賬號和房間號等簡單信息，運維人員可以根據(jù)該用戶的歷史數(shù)據(jù)進行分析，例如歷史關聯(lián)AP信息，歷史信號強度信息等分析故障原因，實現(xiàn)數(shù)據(jù)支持的運維模式，提高運維效率。

⑶ 數(shù)據(jù)挖掘與計算

提供一個全面、準確、快速的跨系統(tǒng)檢索、比對、碰撞，同時又能進行海量數(shù)據(jù)運算，為全校網(wǎng)絡運維和無線AP故障排查提供智能化服務的應用平臺是當前的迫切需求[4]。例如：無線網(wǎng)運行數(shù)據(jù)匯聚與處理功能模塊，提供AP事件聚合，Top 10 AP使用統(tǒng)計等功能；無線網(wǎng)運維人員查詢定位功能模塊，通過配置管理和調(diào)用地圖，確定AP位置，同時能夠通過搜索快速定位；無線全網(wǎng)運行情況統(tǒng)計功能模塊，支持基于上網(wǎng)地點、所在小區(qū)、客戶端類型、使用的上網(wǎng)設備型號等方面的統(tǒng)計；無線網(wǎng)智能化分析判斷功能模塊，要求能夠支持報警信息分析，支持圖表方式實時監(jiān)控上下載速度、AP連接終端數(shù)、AP狀態(tài)，快速定位故障AP位置等功能，為實現(xiàn)快速運維優(yōu)化提供技術保障。

⑷ 數(shù)據(jù)安全與共享

校園網(wǎng)絡數(shù)據(jù)日志能夠較好地體現(xiàn)全校師生的日?；顒臃秶?、日常生活情況、日常心理狀態(tài)等，這些對于提高全校師生的管理是非常有效的。利用相關數(shù)據(jù)日志，通過有效的數(shù)據(jù)挖掘、數(shù)據(jù)研判，獲取相關有用的信息，已成為校園管理信息化的基本要求。數(shù)據(jù)共享要求實現(xiàn)用戶隱私的保護，確保數(shù)據(jù)安全。通過處理分析數(shù)據(jù)，推送給第三方業(yè)務分析廠商使用，深度挖掘數(shù)據(jù)的價值[5]。在提供給第三方廠商開發(fā)或其他使用時，需要對提供的數(shù)據(jù)進行合理處理。如確保關鍵個人隱私信息如（身份證、電話號碼）部分位置隱藏等。

3 結束語

大數(shù)據(jù)技術的發(fā)展為數(shù)字化校園建設帶來了新的技術手段和依據(jù)。本文研究校園網(wǎng)絡日志大數(shù)據(jù)分析平臺架構和功能模塊，對有線網(wǎng)和無線網(wǎng)運行數(shù)據(jù)進行獲取、存儲、分析，通過大數(shù)據(jù)處理，實現(xiàn)運維分析和查詢，提高校園網(wǎng)運維主動性和效率，能夠解決目前運維過程中發(fā)生的問題，針對高校大數(shù)據(jù)的實際情況，有針對性地利用大數(shù)據(jù)思想和技術，充分發(fā)掘和分析高校大數(shù)據(jù)的價值，可以有效的加強運維保障水平，提高數(shù)據(jù)管理質(zhì)量，提升部門工作效率，為高校管理決策提供支撐，并對教學、學習、校園安全的開展十分有益。

參考文獻（Reference）：

[1] 任凱，鄧武，俞琰.基于大數(shù)據(jù)技術的網(wǎng)絡日志分析系統(tǒng)研究[J].現(xiàn)代電子技術，2016.39（2）：39-41

[2] 姜開達，章思宇，孫強.基于Hadoop的校園網(wǎng)站日志系統(tǒng)的設計與實現(xiàn)[J].華東師范大學學報：自然科學版，2015.B03：126-131

[3] 章思宇，孫強，姜開達.自動化運維中的大數(shù)據(jù)分析[J].中國教育網(wǎng)絡，2015.7：27-28

[4] 張春生，郭長杰，尹兆濤.基于大數(shù)據(jù)技術的IT基礎設施日志分析系統(tǒng)設計與實現(xiàn)[J].微型電腦應用，2016.32（6）：49-52

[5] 單留舉，王曉東，馬英運.基于大數(shù)據(jù)的用戶學習偏好建模及應用[J].計算機應用與軟件，2016.33（1）：77-80