姜鵬，趙正利

(1.中國海洋大學(xué)網(wǎng)絡(luò)與信息中心,山東 青島 266100；2.中國海洋大學(xué)教育系,山東 青島 266100)

?

基于分布式計算的異常網(wǎng)站篩查系統(tǒng)的設(shè)計與實現(xiàn)

姜鵬1，趙正利2

(1.中國海洋大學(xué)網(wǎng)絡(luò)與信息中心,山東 青島 266100；2.中國海洋大學(xué)教育系,山東 青島 266100)

摘要：設(shè)計了一種在大型園區(qū)環(huán)境下對互聯(lián)網(wǎng)異常網(wǎng)站進行篩查的系統(tǒng)，系統(tǒng)在.NET框架下開發(fā)運行，基于分布式計算的模式部署，采用HDFS和SQL Server存儲數(shù)據(jù)。分布在多個子區(qū)域的探針根據(jù)多設(shè)備日志的排序數(shù)據(jù)進行異常網(wǎng)站的篩查，核心服務(wù)部分進行故障匯總分析、任務(wù)分發(fā)推送和知識庫歸檔等操作。該系統(tǒng)具有一定的故障分析能力，可以根據(jù)已有知識庫形成故障分析指導(dǎo)，通過調(diào)用預(yù)定義腳本啟用備用設(shè)備或線路。系統(tǒng)運行結(jié)果表明，設(shè)計科學(xué)有效，能夠給大型企事業(yè)單位的網(wǎng)絡(luò)運維和管理提供參考依據(jù)。

關(guān)鍵詞：分布式計算；信息系統(tǒng)；B/S模式；.NET

隨著信息化的深入發(fā)展，大多數(shù)的企事業(yè)單位尤其是高等院校，在自己園區(qū)內(nèi)擁有著相當數(shù)量的臺式機、工控機和服務(wù)器，進而自行組建局域網(wǎng)環(huán)境為自己的生產(chǎn)和辦公服務(wù)。為了滿足其設(shè)備上網(wǎng)的需求，這些單位往往同時租用多個網(wǎng)絡(luò)運營商線路，并把它們部署在自己的園區(qū)網(wǎng)絡(luò)邊界，采用NAT、代理等服務(wù)方式對內(nèi)網(wǎng)用戶和設(shè)備提供服務(wù)。這種方式既節(jié)約總體成本、提高內(nèi)部工作效率，又能有效保護自己的內(nèi)網(wǎng)安全。

但是這種網(wǎng)絡(luò)模式在日常運維中也出現(xiàn)了一些問題，其中較為突出是某些內(nèi)部訪問量較高的互聯(lián)網(wǎng)網(wǎng)站有時出現(xiàn)訪問異常的故障，而此類網(wǎng)站列表和異常的程度不斷地變化，有時僅有部分網(wǎng)絡(luò)區(qū)域訪問異常，各個子園區(qū)區(qū)域訪問體驗不一致。如果單位常用網(wǎng)站出現(xiàn)訪問異常的狀況，日常工作會被影響，進而影響企事業(yè)單位效益。其常見的成因有：運營商線路內(nèi)部微調(diào)甚至故障中斷；異常網(wǎng)站自身問題；園區(qū)NAT、代理服務(wù)卡頓故障；園區(qū)內(nèi)網(wǎng)絡(luò)擁塞或病毒擴散以及用戶設(shè)備自身問題等。在發(fā)生類似問題后，單位員工通過各種通訊方式向運維工作人員或報修系統(tǒng)反饋。故障發(fā)生后定位及排除的常用方法有以下幾種：采取告警性能分析法、應(yīng)用配置數(shù)據(jù)分析法、采用替換法和查看計算機網(wǎng)絡(luò)設(shè)備日志[1]。這類傳統(tǒng)處理方式的主要弊端是網(wǎng)絡(luò)運維被動接受故障信息，處理流程浪費用戶的大量時間；大量異常網(wǎng)站無人反映以及日志和故障處理的記錄不完整，無法形成知識庫。同時傳統(tǒng)處理方式為了避免核心設(shè)備的單點故障，盡量做到在整個計算機網(wǎng)絡(luò)的容錯系統(tǒng)內(nèi)，每個部分都有與之相匹配的冗余設(shè)計[2]。但其觸發(fā)機制一般與自身設(shè)備狀態(tài)綁定，無法根據(jù)復(fù)雜網(wǎng)絡(luò)情況自我調(diào)整，因此需要建立自動機制在整個網(wǎng)絡(luò)層面調(diào)整設(shè)備的配置。

為了保證全網(wǎng)用戶的上網(wǎng)體驗，可以利用從分布式信息系統(tǒng)中的不同監(jiān)測點收集到的監(jiān)測數(shù)據(jù)對系統(tǒng)故障檢測與診斷進行研究[3]。把此監(jiān)測數(shù)據(jù)與網(wǎng)絡(luò)用戶的故障報修數(shù)據(jù)匯總形成故障維修工單，具有一定用戶主觀性的報修數(shù)據(jù)能夠補充自動檢測體系的遺漏。分析已處理故障形成知識庫，包含故障的典型特征、關(guān)聯(lián)設(shè)備、影響區(qū)域和處理方式等。知識管理將分散的內(nèi)部應(yīng)用進行有效整合，提高資源的共享效率[4]。大量現(xiàn)代社會的數(shù)據(jù)存儲于XML、JSON和未被充分利用的半結(jié)構(gòu)化數(shù)據(jù)(傳感器、系統(tǒng)、應(yīng)用和事件等日志)[5]中，本系統(tǒng)要保存和分析的多類設(shè)備日志文件具有半結(jié)構(gòu)化數(shù)據(jù)特征，需要構(gòu)筑一個大容量、價格低廉且支持在線分析的存儲庫。分布式文件系統(tǒng)可高效可靠地運行在多個節(jié)點上，提供多種對外數(shù)據(jù)接口[6]，利用現(xiàn)有主機組成分布式文件系統(tǒng)對大數(shù)據(jù)存儲和操作提供有效支持。本研究在充分利用現(xiàn)有網(wǎng)絡(luò)投資的基礎(chǔ)上，構(gòu)建了一個自動化的故障發(fā)現(xiàn)處理系統(tǒng)。

1　設(shè)計目標

根據(jù)對已有問題的分析和信息化發(fā)展的趨勢，新的異常網(wǎng)站篩查系統(tǒng)計劃實現(xiàn)以下的功能和特征，最終建立一套具有故障自診斷功能的異常網(wǎng)站發(fā)現(xiàn)處置系統(tǒng)，保證與其他網(wǎng)絡(luò)設(shè)備和服務(wù)實現(xiàn)有效數(shù)據(jù)交換，在管理、安全和技術(shù)層面建立完整的異常網(wǎng)站故障篩查體系。

(1)用于保存網(wǎng)絡(luò)設(shè)備日志的存儲選型需要達到投資較少且性能優(yōu)越的目標，充分利用現(xiàn)有服務(wù)器硬件。

(2)系統(tǒng)自動在線檢測多種系統(tǒng)日志，自動發(fā)現(xiàn)、分析并匯總故障。

(3)前臺功能包括普通網(wǎng)絡(luò)用戶報修和回訪頁面，用戶可以上報異常網(wǎng)站地址、現(xiàn)象以及聯(lián)系方式等。

(4)具有已經(jīng)處理問題的展示頁面，普通網(wǎng)絡(luò)用戶可以匿名訪問和查詢，合理利用知識庫。

(5)后臺功能完全由Web界面提供，功能詳盡、流程清晰。后臺操作人員分為系統(tǒng)管理員、監(jiān)督員、故障分派員和故障處理員等幾個層次。

(6)開發(fā)手機可用的后臺界面，給上門服務(wù)的網(wǎng)絡(luò)維護人員使用。

(7)具有一定的人工智能，可以學(xué)習(xí)已經(jīng)處理完畢的故障流程并給出處理建議。

(8)與現(xiàn)有的邊界設(shè)備有互動接口，在某些常見故障發(fā)生的時候，可以自動進行處理并記錄。

(9)把普通用戶上報和系統(tǒng)自動發(fā)現(xiàn)故障形成統(tǒng)一的工單，自動推送或由故障分派員分發(fā)給相應(yīng)的故障處理員。

(10)形成故障分析報表功能，通過對多發(fā)故障的分析，確定某故障頻發(fā)的園區(qū)子區(qū)域，并進一步分析其產(chǎn)生原因；方便后期出口網(wǎng)絡(luò)設(shè)備優(yōu)化；指導(dǎo)設(shè)備購置的方向；與網(wǎng)絡(luò)接入商進行溝通協(xié)調(diào)等。

2　系統(tǒng)設(shè)計

在充分利用.NET安全特性的基礎(chǔ)上，按照設(shè)計目標進行系統(tǒng)的設(shè)計開發(fā)。利用分布式存儲來保存分析海量日志數(shù)據(jù)，同時在關(guān)系數(shù)據(jù)庫上存儲系統(tǒng)運行數(shù)據(jù)。采用分層設(shè)計理念開發(fā)，包括數(shù)據(jù)層、底層功能層、應(yīng)用層和前端展示層，每層包含自己的功能模塊和相對獨立的接口。系統(tǒng)功能構(gòu)架如圖1所示。

圖1　系統(tǒng)總體設(shè)計Fig.1　System overall design

2.1技術(shù)構(gòu)架

本系統(tǒng)采用集成了編程、編譯和運行環(huán)境等部分的整體方案，需要其具有安全性、穩(wěn)定性、易用性及可擴展性等特點。ASP.NET不僅是ASP的下一個版本,而且是一種建立在通用語言上的程序構(gòu)架，能被一臺Web服務(wù)器用于建立強大的Web應(yīng)用程序[7]。系統(tǒng)部署在WindowsServer2012上，采用.NET框架開發(fā)，應(yīng)用B/S架構(gòu)。 .NET技術(shù)順序是先編譯后執(zhí)行，并且以ASP腳本解釋執(zhí)行機制為基礎(chǔ)，可以獲得比較好的運行速度[8]。采用C#作為系統(tǒng)開發(fā)語言，理論上可以使用任何與公共語言運行庫兼容的語言(包括VisualBasic、VisualC# 和JScript.NET)來創(chuàng)作應(yīng)用程序，但最合適的編程語言還是MicrosoftStudio為ASP.NETFramework( 框架) 專門推出的C#[9]。

采用高容錯、快速以及可擴展的分布式存儲，來保存和分析大量文本類型的服務(wù)日志。Hadoop成為了典型的大數(shù)據(jù)批量處理架構(gòu),由HDFS負責靜態(tài)數(shù)據(jù)的存儲，并通過MapReduce將計算邏輯分配到各數(shù)據(jù)節(jié)點進行數(shù)據(jù)計算和價值發(fā)現(xiàn)[10]。使用Hadoop分布式存儲原始的網(wǎng)絡(luò)設(shè)備日志數(shù)據(jù)，部署運行自動腳本，間隔固定時間導(dǎo)入網(wǎng)絡(luò)服務(wù)設(shè)備的完整日志。目前大數(shù)據(jù)分析處理工具中常用的有Hadoop、HPCC、Storm、ApacheDrill、RapidMiner、PentahoBI等[11]。計劃采用Drill作為中間層，.NET框架下的語言通過ODBC以類似關(guān)系數(shù)據(jù)庫的方式操作分布式存儲上半結(jié)構(gòu)化格式的日志[12]。通過Zookeeper的集群功能把查詢操作分流在多臺Linux服務(wù)器上[13]。部署SQLServer作為后臺的底層數(shù)據(jù)庫，存儲用戶信息、權(quán)限身份和分析數(shù)據(jù)等。

2.2功能模塊

在同一功能層級內(nèi)采用分界清晰的模塊設(shè)計來實現(xiàn)系統(tǒng)功能，對大量設(shè)備數(shù)據(jù)自動篩選，程序獲取其是否可達、訪問延遲、下載速率以及每小時訪問權(quán)重等參數(shù)作為后期處理優(yōu)先依據(jù)。把故障網(wǎng)站按評分級別自動推送或人工分配到具體故障處理人員，按照工單流程處理完畢后進行詳情反饋確認，從而進行故障歸類并形成知識庫。編寫普通上網(wǎng)用戶反饋入口，用戶可以通過內(nèi)網(wǎng)進行故障網(wǎng)站報修，也同上形成工單及后續(xù)動作。

在知識庫形成一定規(guī)模后，高級查詢功能可以對用戶提供已經(jīng)發(fā)生的典型故障的處理流程。普通用戶甚至可以通過查詢已解決的故障過程，自行處理簡單問題。網(wǎng)絡(luò)維護人員通過參考已成功處理故障的完整報告促進故障解決。開發(fā)與第三方設(shè)備的聯(lián)動接口，在出現(xiàn)典型故障時，按照事先定義的動作操作NAT、DNS和出口路由器等設(shè)備。編寫用于網(wǎng)絡(luò)維護的APP，方便外出維護人員進行故障維修。詳細報表功能通過多種圖表展示，對某段時間故障按照類型、區(qū)域和出口排序，可以形成詳盡工作量考核報表并對網(wǎng)絡(luò)設(shè)備故障排序等等。

2.3安全與權(quán)限

安全策略和制度的落實貫徹在系統(tǒng)的整個生命周期內(nèi)，而開發(fā)階段更是系統(tǒng)安全的基礎(chǔ)，該設(shè)計部署多種安全策略確保核心功能和數(shù)據(jù)的安全。嚴格控制用戶權(quán)限，對每個功能函數(shù)和頁面進行權(quán)限定義，采用組策略的方式管理。ASP.NET內(nèi)置了強大的用戶賬號和角色管理功能，提供了ASP.NET配置工具和7個組件控件，簡化用戶調(diào)用相關(guān)功能[14]。利用C#語言的安全特性，細化輸入的過濾和頁面的展現(xiàn)過程。對用戶身份和密碼等數(shù)據(jù)，進行加密存儲。利用數(shù)據(jù)加密技術(shù)把密鑰和加密數(shù)據(jù)分別存儲，把密鑰與要保護的數(shù)據(jù)物理隔離起來，提高數(shù)據(jù)存儲的安全性[15]。配置證書服務(wù)，利用SSL加密傳輸網(wǎng)絡(luò)用戶上網(wǎng)數(shù)據(jù)，在必須使用Cookies的頁面啟用Secure功能，確保Cookies流量不被攻擊者與網(wǎng)絡(luò)監(jiān)聽截獲[16]。

3　部署實現(xiàn)

部署和調(diào)優(yōu)分布式文件系統(tǒng)、Drill和SQLServer后，在確定每個層次功能的基礎(chǔ)上，細化每個模塊指標參數(shù)，采用C#語言進行系統(tǒng)軟件方面的開發(fā)測試。程序全面采用B/S模式構(gòu)架，下面詳細介紹環(huán)境部署和代碼開發(fā)的幾個關(guān)鍵環(huán)節(jié)。

(1)在局域網(wǎng)內(nèi)的多臺Linux服務(wù)器上配置Hadoop環(huán)境，每臺服務(wù)器到交換機之間都使用雙鏈路鏈接，安裝優(yōu)化HDFS，配置為3物理節(jié)點冗余，使其通過固定端口對特定IP提供服務(wù)，調(diào)試自動腳本把網(wǎng)絡(luò)設(shè)備的日志文件每間隔半小時抽取到HDFS上，按照文件格式分別放置。

(2)建立Drill的基于Zookeeper的集群運行機制，配置HDFS作為其半結(jié)構(gòu)數(shù)據(jù)查詢源。最后在幾臺互為HTTP服務(wù)負載均衡的Windows服務(wù)器上安裝DrillODBCDriver，并配置.NET運行環(huán)境。

(3)通過Drill中間層從HDFS抽取最近一小時的數(shù)據(jù)進行分析。在域名服務(wù)器日志篩選過去一小時內(nèi)前1 000個訪問量最多的域名的查詢記錄。

…selecttop1000hostname,count(hostname)fromdataesgroupbyhostnameorderbycount(hostname)desc…

//hostname為原始數(shù)據(jù)中的“域名”字段名稱，dataes表格臨時保存抽取的過去一小時原始數(shù)據(jù)。

...

while(reader1.Read())

//依次遍歷1000條記錄

{

stringhostname_temp=reader1[0].ToString();

floatweight1 =float.Parse(reader1[1].ToString()) /count_all;

//count_all為最近一小時所有的DNS日志總查詢數(shù)。

…

//獲取每條查詢的域名和訪問量權(quán)重，全部保存到數(shù)據(jù)庫待查。

}

//可以通過類似方式獲取網(wǎng)絡(luò)總出口計費、NAT代理服務(wù)的日志，在子區(qū)域部署探針設(shè)備，自動匯總到核心服務(wù)。

(4)另外一個模塊處于自動值守模式，只要數(shù)據(jù)中有上個步驟最終產(chǎn)生的待查數(shù)據(jù)，就立即運行分析，然后把結(jié)論寫入相應(yīng)記錄并打上已處理標簽。同時系統(tǒng)管理員也可以預(yù)設(shè)一些固定的典型網(wǎng)址，加入此模塊的分析隊列。

…

stringIP1 =GetHostEntry(hostName1).AddressList.GetValue(0).ToString();

//把域名轉(zhuǎn)換為IP。

…

interr_times=0;//定義錯誤次數(shù)

floattime1=0;

floatavg1;//定義平均ping包返回時間

for(inti= 1;i<= 5;i++)//采用連續(xù)的5次ping測試，并記錄結(jié)果

{

Pingping1 =newPing();

PingReplypingReply=ping1.Send(IP1);

if(pingReply.Status==IPStatus.Success)

time1 =time1 +float.Parse(pingReply.RoundtripTime.ToString());

else

err_times++;//獲取ping失敗次數(shù)并記錄

}

avg1 =time1 / (5 -err_times); // 計算平均ping返回時間并記錄

…

部署運行后形成初步的故障分析列表，如圖2所示。后臺程序自動形成初步的故障分析數(shù)據(jù)，并存儲于SQLServer中；通過預(yù)定義常用的典型各運營商網(wǎng)址，可以探測到多條出口線路的傳輸質(zhì)量；展示界面支持多約束條件自由組合的模糊查詢；可以根據(jù)失敗數(shù)、ping均值等進行排序，方便故障的排除。

圖2　初步分析示例Fig.2　Illustration of a preliminary analysis

(5)對已經(jīng)處理過的故障進行評級并記錄詳細的故障現(xiàn)象，按照異常地址列表、涉及設(shè)備、線路列表和影響子區(qū)域等分類形成指標體系。系統(tǒng)把同時段內(nèi)所有的故障進行篩選，與現(xiàn)有知識庫的故障多種特征進行匹配，各自乘以權(quán)重指數(shù)后計算相似值，按照故障相似值的高低向用戶或維護人員進行建議推送。展示界面如圖3所示。系統(tǒng)自動把類似故障進行歸類并綜合分析并且分析故障的緊急程度并進行評分、預(yù)設(shè)一些可行的在線自動應(yīng)急方案(如出口線路切換、備用設(shè)備頂替、病毒子區(qū)域暫停等)，配置好各自的腳本以遠程控制相應(yīng)設(shè)備，如果新發(fā)故障相似值超過95%，程序調(diào)用相應(yīng)自動腳本并通知管理人員進行后續(xù)處理。

圖3　綜合分析處理示例Fig.3　Illustration of a comprehensive analysis and event handling

4　結(jié)論

本系統(tǒng)在長期合理使用的基礎(chǔ)上會產(chǎn)生不斷增加的價值，可以有效利用現(xiàn)有軟硬件投資，把多個設(shè)備進行數(shù)據(jù)高效互聯(lián)，其分析報表功能可以為企事業(yè)單位在網(wǎng)絡(luò)硬件、人員聘用和帶寬租用上節(jié)省大量資金。但由于實際的網(wǎng)絡(luò)設(shè)備通常由多個廠家設(shè)備組成，所以聯(lián)動部分在試運行后需要通過不斷的調(diào)優(yōu)操作來適應(yīng)系統(tǒng)版本和設(shè)備硬件的更替。另外，本系統(tǒng)的分布式存儲保留了主要的出口日志，構(gòu)架了半結(jié)構(gòu)化數(shù)據(jù)的類SQL查詢中間層，在后期通過增加相應(yīng)功能模塊，可以很方便地把本系統(tǒng)擴展為網(wǎng)絡(luò)訪問日志的存儲查詢分析平臺。

參考文獻：

[1]王嘉慶. 計算機網(wǎng)絡(luò)常見故障及其維護管理[J]. 信息與電腦:理論版, 2016(2):167-168.

[2]顏興輝. 容錯技術(shù)在計算機網(wǎng)絡(luò)系統(tǒng)中的應(yīng)用[J]. 電腦知識與技術(shù), 2015, 11(24):31-32.

[3]尹娟, 葛愿, 王炎,等. 大型分布式信息系統(tǒng)故障檢測研究[J]. 安徽工程大學(xué)學(xué)報, 2015(5):45-52.

[4]問梁軍. 企業(yè)信息化建設(shè)中的知識管理探討[J]. 工程建設(shè)與設(shè)計, 2012(11):178-180.

[5]RAJP,RAMANA,NAGARAJD,etal.High-PerformanceIntegratedSystems,Databases,andWarehousesforBigandFastDataAnalytics[M]//High-PerformanceBig-DataAnalytics.Berlin:SpringerInternationalPublishing, 2015.

[6]MAZUMDERS.BigDataToolsandPlatforms[M]//BigDataConcepts,Theories,andApplications.Berlin:SpringerInternationalPublishing, 2016.

[7]王璠, 王廷璇. 基于ASP.NET的物流倉儲管理子系統(tǒng)的設(shè)計[J]. 物流技術(shù), 2014, 33(1):349-353.

[8]李強.ASP、ASP.NET和JSP是動態(tài)網(wǎng)頁設(shè)計技術(shù)比較[J]. 電腦知識與技術(shù), 2014，10(34):8296-8297.

[9]余翠蘭. 基于ASP.NET的學(xué)生住宿管理系統(tǒng)的設(shè)計與實現(xiàn)[J]. 軟件, 2014(4):37-41.

[10]程學(xué)旗, 靳小龍, 王元卓,等. 大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學(xué)報, 2014，25(9):1889-1908.

[11]方巍, 鄭玉, 徐江. 大數(shù)據(jù):概念、技術(shù)及應(yīng)用研究綜述[J]. 南京信息工程大學(xué)學(xué)報：自然科學(xué)版, 2014，6(5):405-419.[12]APACHEDRILL.ODBC/JDBCInterfaces[EB/OL]. [2016-01-20].http://drill.apache.org/docs/odbc-jdbc-interfaces/.

[13]Hadoop.ZooKeeper3.4Documentation[EB/OL]. [2016-01-08].http://zookeeper.apache.org/doc/trunk/zookeeperOver.html.[14]方開紅, 劉小園.ASP.NET網(wǎng)站開發(fā)技術(shù)的安全性研究與應(yīng)用[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用, 2014(5):32-33.

[15]陳紅松, 韓至, 鄧淑寧. 智慧城市中大數(shù)據(jù)安全分析與研究[J]. 信息網(wǎng)絡(luò)安全, 2015(7):1-6.

[16]CHENP,NIKIFORAKISN,DESMETL,etal.SecurityAnalysisoftheChineseWeb:Howwellisitprotected?[C]//Proceedingsofthe2014WorkshoponCyberSecurityAnalytics,IntelligenceandAutomation.[S.l.]:ACM, 2014:3-9.

DOI:10.3976/j.issn.1002-4026.2016.04.020

收稿日期：2016-04-12

作者簡介：姜鵬(1979-)，男，工程師，研究方向為軟件工程、信息安全。

中圖分類號：TP311.1

文獻標識碼：A

文章編號：1002-4026(2016)04-0106-06

Design and implementation of distributed computingbasedscreeningsystemofabnormalwebsites

JIANG Peng1, ZHAO Zheng-li2

(1.Network and Information Center, Ocean University of China,Qingdao 266100,China;2.DepartmentofEducation,OceanUniversityofChina,Qingdao266100,China)

Abstract∶We devise an automatic screening system for abnormal websites on the Internet in a large-scale zone. It is implemented with .NET Framework, distributed deployment, HDFS and SQL Server. Multiple sub-areas deployed probes can automatically screen out abnormal sites based on the sorted log data from multiple devices. Its core services include meta-analysis of fault, task distribution, and knowledge base archive. It has certain fault analysis capability, fault analysis and guidance based on existing knowledge base, alternate devices or lines startup by calling predefined scripts. Its operation results show that it is scientific and effective, and can provide a reference for network operation and maintenance of large-scale enterprises.

Key words∶distributed computing; information system; B/S mode; .NET