邢帆
12月21日~22日,在中國計算機(jī)用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用主題年會中,Ipv6工作組同期舉行了以網(wǎng)絡(luò)全流量分析為主題的技術(shù)沙龍,全國眾多高校代表及多家技術(shù)廠商參加了此次活動。
中國人民大學(xué)張丹東在《大數(shù)據(jù)測試項目的思考與實踐》的主題演講中表示,目前中國人民大學(xué)大數(shù)據(jù)體系測試項目中,已取得了數(shù)據(jù)采集及數(shù)據(jù)存儲的階段性成果,并積極嘗試實現(xiàn)數(shù)據(jù)關(guān)聯(lián)與分析以及數(shù)據(jù)查詢與展示的推進(jìn)。其中,數(shù)據(jù)關(guān)聯(lián)與分析的核心與難點(diǎn)在于建模。未來,人民大學(xué)希望能夠在大數(shù)據(jù)實踐領(lǐng)域?qū)崿F(xiàn)數(shù)據(jù)應(yīng)用用于決策輔助。張丹東分析,目前高校的大數(shù)據(jù)來源主要包括:校園網(wǎng)絡(luò)流量、校內(nèi)系統(tǒng)日志、校內(nèi)系統(tǒng)數(shù)據(jù)以及互聯(lián)網(wǎng)數(shù)據(jù)。在數(shù)據(jù)獲取、模板一致性、數(shù)據(jù)移植等幾個重要維度的考量中,校園網(wǎng)絡(luò)流量表現(xiàn)最佳,校內(nèi)系統(tǒng)數(shù)據(jù)在三個維度上均表現(xiàn)欠佳,這表明不同來源數(shù)據(jù)做大數(shù)據(jù)項目的難度差異較大。
活動中,眾多企業(yè)代表也就高校網(wǎng)絡(luò)流量、大數(shù)據(jù)等技術(shù)領(lǐng)域的相關(guān)情況展開了討論,并分享了部分成功案例。北京網(wǎng)瑞達(dá)科技有限公司總經(jīng)理叢群在會上提出,當(dāng)前高校網(wǎng)絡(luò)中心的核心職能是以提供IT服務(wù)為根本,更好地規(guī)劃、建設(shè)、運(yùn)行IT資源,將IT資源服務(wù)于教學(xué)、科研以及廣大師生和教職工的日常生活。且高校已脫離IT管理建設(shè)初級階段,IT管理和IT建設(shè)的趨勢是從硬件到軟件、從分散到集中、從重視功能到重視體驗和易用性等方面,同時重視IT管理和運(yùn)行數(shù)據(jù)的分析和展現(xiàn)可以更好的發(fā)揮 IT部門對學(xué)校各種業(yè)務(wù)的支持。因此,網(wǎng)瑞達(dá)提出了IT融合管理概念及實現(xiàn)框架:統(tǒng)一入口、整合服務(wù)、融合數(shù)據(jù),分別形成全新的管理門戶及用戶門戶。
IT管理的融合本質(zhì)是網(wǎng)絡(luò)數(shù)據(jù)的融合,而網(wǎng)絡(luò)行為數(shù)據(jù)在高校中占比最大。校內(nèi)網(wǎng)絡(luò)行為數(shù)據(jù)可分為兩大類,一類為標(biāo)簽數(shù)據(jù),另一類為行為數(shù)據(jù):標(biāo)簽數(shù)據(jù)一般包括網(wǎng)絡(luò)行為發(fā)生者的賬號信息、位置信息和終端類型信息,可分別從認(rèn)證系統(tǒng)、網(wǎng)管系統(tǒng)和DHCP中獲??;行為數(shù)據(jù)一般包括NAT、服務(wù)器URL、用戶URL和安全事件等,可分別從NAT設(shè)備、反向代理、DPI設(shè)備及安全設(shè)備中獲取。NAT數(shù)據(jù)和URL數(shù)據(jù)是最適合描述用戶網(wǎng)絡(luò)行為的顆粒單位,在使用了NAT的校園網(wǎng)絡(luò)環(huán)境中,用戶網(wǎng)絡(luò)行為將全部基于NAT,即可收集全量的網(wǎng)絡(luò)行為數(shù)據(jù),同時現(xiàn)在的網(wǎng)絡(luò)應(yīng)用基本基于HTTP或者HTTPS,URL數(shù)據(jù)可以更精準(zhǔn)的描述用戶的網(wǎng)絡(luò)行為。但傳統(tǒng)的IT管理模式下,用戶的網(wǎng)絡(luò)行為將以IP為共同標(biāo)識,分散地存儲于這些IT管理系統(tǒng)中,難以被全面地整合利用。
為解決上述問題,網(wǎng)瑞達(dá)退出了日志/數(shù)據(jù)統(tǒng)一管理平臺對多個IT系統(tǒng)的標(biāo)準(zhǔn)化日志或非標(biāo)準(zhǔn)化的日志、私有數(shù)據(jù)進(jìn)行統(tǒng)一采集、存儲、建模、關(guān)聯(lián)、索引及分析。將多條零散的以IP為標(biāo)識的網(wǎng)絡(luò)行為數(shù)據(jù)互相關(guān)聯(lián),最后形成一條以賬號+終端為標(biāo)識的綜合性數(shù)據(jù),全面掌握“誰,在哪里,用什么終端,做了什么”,通過整合后的數(shù)據(jù)進(jìn)行深度挖掘為全面提升IT服務(wù)奠定了堅實的數(shù)據(jù)基礎(chǔ)。
北京郵電大學(xué)已初步應(yīng)用網(wǎng)瑞達(dá)IT融合管理體系,在日均125G,6.35億條日志的環(huán)境中,數(shù)據(jù)統(tǒng)一分析平臺得到了初步應(yīng)用。會上還展示了北郵2017年11、12月兩個月的用戶網(wǎng)絡(luò)行為數(shù)據(jù)分析成果,包括在本科生期末及研究生開題/答辯的特殊時期,本科生及研究生資源訪問偏好的不同,以及最受歡迎廣大學(xué)生歡迎的應(yīng)用排行、終端類型和操作系統(tǒng)占比等等;結(jié)合北郵網(wǎng)絡(luò)管理策略的調(diào)整,詳細(xì)分析了北郵出入流量、計費(fèi)與免費(fèi)流量、出口協(xié)議的變化趨勢與占比。其中,對于用戶eduroam串號分析及異常IP分析的分析,將網(wǎng)絡(luò)行為數(shù)據(jù)運(yùn)用至日常校園網(wǎng)絡(luò)管理的情景中,為高校IT管理提出了切實可行的新思路。
北京科能騰達(dá)信息技術(shù)股份有限公司SIEM 產(chǎn)品經(jīng)理王繼超表示:目前網(wǎng)絡(luò)規(guī)模急劇增長,安全管理面臨資產(chǎn)、端口、服務(wù)、漏洞、攻擊事件、應(yīng)用事件、行為事件、流量事件、運(yùn)維事件等諸多管理事務(wù),在一個有著數(shù)以千計IP的網(wǎng)中,單單以上一項管理工作,就有可能消耗管理員大量時間完成,如網(wǎng)絡(luò)中有突發(fā)事件或是其它不安全問題產(chǎn)生,管理工作會變得更為復(fù)雜,網(wǎng)絡(luò)管理工作和安全管理工作都面臨著相當(dāng)大的挑戰(zhàn)。
“全網(wǎng)安全信息與事件分析——SIEM”是泛信息事件管理與指標(biāo)化風(fēng)險分析中很重要的一部分。系統(tǒng)將事件與資產(chǎn)關(guān)聯(lián)化,事件數(shù)據(jù)指標(biāo)化,以實現(xiàn)最大程度的信息事件便捷管理,內(nèi)置多種事件管理功能可輕松應(yīng)對各種網(wǎng)絡(luò)信息事件,諸如:事件采集、定義模型,解析泛化,精細(xì)查詢,分類統(tǒng)計,分布式存儲,大數(shù)據(jù)計算,自動化任務(wù),機(jī)器學(xué)習(xí),關(guān)聯(lián)分析、指數(shù)話評估、資產(chǎn)關(guān)聯(lián)管理、安全事物流程等,SIEM是一個集中接入平臺,也是一個安全事物管理工具集,能夠為管理員打造一個“耳聰目明,手疾眼快,博聞強(qiáng)識,機(jī)警靈活”的安全信息與事件管理體系,輔助安全管理員輕松快捷的應(yīng)對復(fù)雜網(wǎng)絡(luò)事件。
北京希嘉創(chuàng)智教育科技有限公司高級副總裁汪浩也表示,當(dāng)前高教信息化發(fā)展的重心趨勢正在發(fā)生巨大變化,在傳統(tǒng)以事務(wù)為核心的應(yīng)用系統(tǒng)基礎(chǔ)上,以數(shù)據(jù)為核心的應(yīng)用系統(tǒng)建設(shè)逐步快速發(fā)展。而事物型和分析型系統(tǒng)各自底層的數(shù)據(jù)支撐環(huán)境是不一樣的,想要實現(xiàn)這兩者良性的發(fā)展,“數(shù)據(jù)基礎(chǔ)”是一個繞不過去的關(guān)卡。因為無論是事務(wù)型系統(tǒng)還是數(shù)據(jù)型系統(tǒng)都需要高質(zhì)量的數(shù)據(jù)供給。未經(jīng)整理的數(shù)據(jù)是沒有開發(fā)價值的,日志數(shù)據(jù)價值挖掘的重要途徑之一就是“關(guān)聯(lián)”。大數(shù)據(jù)處理平臺的作用就是盤活數(shù)據(jù)資產(chǎn),打通高校全量數(shù)據(jù),這之中簡化數(shù)據(jù)的管理和使用是核心。目前,南京理工大學(xué)、江南大學(xué)、南京工業(yè)大學(xué)、中南民族大學(xué)等高校已經(jīng)落實了平臺API數(shù)據(jù)授權(quán)體系實際支撐開發(fā)場景。利用工具強(qiáng)化用戶底層數(shù)據(jù)基礎(chǔ),降低日志數(shù)據(jù)使用門檻,從而讓數(shù)據(jù)“活”起來。
經(jīng)過多年的發(fā)展、積累,高校信息化不斷受到來自社會各界的關(guān)注,這既為其信息化發(fā)展提供了動力,也帶來了更多挑戰(zhàn)。隨著數(shù)據(jù)資產(chǎn)化觀念的逐步滲透,大數(shù)據(jù)已經(jīng)作為一項信息化基礎(chǔ)工作納入到高校信息化總體規(guī)劃中。打好數(shù)據(jù)基礎(chǔ),對于校園網(wǎng)絡(luò)流量分析勢必起到至關(guān)重要的作用。