譚暢

摘 要 一種基于DNS大數(shù)據(jù)分析實現(xiàn)寬帶共享監(jiān)控系統(tǒng)，由數(shù)據(jù)層、支撐層以及應(yīng)用層構(gòu)成?；贒NS大數(shù)據(jù)分析實現(xiàn)寬帶共享監(jiān)控系統(tǒng)建設(shè)，建立起對用戶行為進行全范圍、全過程的大數(shù)據(jù)分析系統(tǒng)。通過從DNS服務(wù)器采集海量的用戶信息，使用大數(shù)據(jù)分析模式，定位用戶行為信息、定位核心價值數(shù)據(jù)，放于業(yè)務(wù)場景之下統(tǒng)一分析，提高傳統(tǒng)系統(tǒng)提升數(shù)據(jù)價值的回報率。

關(guān)鍵詞 DNS大數(shù)據(jù)分析；寬帶共享監(jiān)控；云計算

中圖分類號 TP3 文獻標(biāo)識碼 A 文章編號 1674-6708（2017）196-0047-02

1 背景技術(shù)

隨著寬帶戰(zhàn)略的推進，寬帶業(yè)務(wù)得到不斷的發(fā)展，當(dāng)用戶數(shù)達到一定規(guī)模，就會產(chǎn)生海量的數(shù)據(jù)，同時伴隨著對用戶行為管理能力的要求越來越高。因此深刻挖掘數(shù)據(jù)本身的價值越來越被人們當(dāng)作提高服務(wù)質(zhì)量、增加業(yè)務(wù)收入的主要方式。面對現(xiàn)在日益激烈的市場競爭，解決精確定位和快速響應(yīng)用戶需求、解決用戶障礙、有效管理部分利用管理漏洞進行私接和包月賬號違約共享的用戶等問題是擺在運營管理機構(gòu)面前的難

題。因此有必要建立一套基于云平臺，能夠?qū)Ａ繑?shù)據(jù)處理進行分析與管理的系統(tǒng)，對寬帶用戶進行有效管理和監(jiān)控。

2 系統(tǒng)架構(gòu)

有鑒于此，本系統(tǒng)的目的是提供基于DNS大數(shù)據(jù)分析實現(xiàn)寬帶共享監(jiān)控系統(tǒng)。實現(xiàn)對寬帶用戶進行有效管理。本系統(tǒng)的基于DNS大數(shù)據(jù)分析實現(xiàn)寬帶共享系統(tǒng)，包括以下

方面。

數(shù)據(jù)采集，通過探針采集的方式，從DNS服務(wù)節(jié)點上采集DNS日志、RADIUS日志等

數(shù)據(jù)。

數(shù)據(jù)儲存，通過數(shù)據(jù)的清理、新舊數(shù)據(jù)對比更新、增量數(shù)據(jù)保存、垃圾數(shù)據(jù)清理、備份步驟將采集的數(shù)據(jù)按照統(tǒng)一格式保存在分布式文件系統(tǒng)內(nèi)。

索引分析框架，依據(jù)已經(jīng)建立好的索引進行數(shù)據(jù)處理，以便最大化的減少數(shù)據(jù)處理的時間。

大數(shù)據(jù)中心云平臺，提供的任務(wù)調(diào)度、云資源調(diào)度、數(shù)據(jù)流管理、元數(shù)據(jù)管理、工作流管理、計算資源管理

服務(wù)。

自學(xué)習(xí)云計算框架，將任務(wù)語言翻譯成機器語言并分發(fā)到分布式計算環(huán)境中；自學(xué)習(xí)云計算框架包括機器學(xué)習(xí)、語意翻譯、計算任務(wù)在所述擴展接口中，提供多種協(xié)議的開放接口，最大限度地提升與第三方系統(tǒng)的聯(lián)動能力。

應(yīng)用層，接入DNS大數(shù)據(jù)分析平臺，用于提供不同的應(yīng)用公子模塊，包括BI智能分析、特征識別分析、用戶行為分析、流量分析、權(quán)限管理、云資源管理的模塊，實現(xiàn)數(shù)據(jù)的分析管理，獲得用戶行為管理的有效數(shù)據(jù)，進行用戶管理。

3 具體實施方式

本系統(tǒng)基于DNS大數(shù)據(jù)分析實現(xiàn)寬帶共享監(jiān)控系統(tǒng)，包括以下方面。

1）數(shù)據(jù)采集：數(shù)據(jù)采集過程是通過探針采集的方式，從各地市的DNS服務(wù)器上采集各類應(yīng)用程序生成的各類DNS請求數(shù)據(jù)、Radius日志信息。這些信息包含用戶的行為信息、流量信息與設(shè)備信息等。

2）數(shù)據(jù)儲存：將采集到的信息數(shù)據(jù)通過數(shù)據(jù)處理，按照統(tǒng)一格式保存在分布式文件系統(tǒng)內(nèi)。在數(shù)據(jù)保存前，需要進行重復(fù)數(shù)據(jù)清理、新舊數(shù)據(jù)對比更新、增量數(shù)據(jù)保存、垃圾數(shù)據(jù)清理、備份策略制定等不走，保證大日志數(shù)據(jù)分布式文件系統(tǒng)中保存的數(shù)據(jù)是最新的、準確的解析結(jié)果。

3）索引分析框架：對海量數(shù)據(jù)快速查詢索引，當(dāng)需要從數(shù)據(jù)中進行快速統(tǒng)計或檢索時，依據(jù)已經(jīng)建立好的索引進行數(shù)據(jù)處理，以便獲得最大化的減少數(shù)據(jù)處理時間[5]。為了得到用戶違規(guī)行為信息，需針對性的對能反應(yīng)違規(guī)信息的日志信息進行處理。

4）自學(xué)習(xí)云計算框架：將系統(tǒng)預(yù)置的定期分析任務(wù)或用戶界面下發(fā)的分析要求，根據(jù)分析原語翻譯為機器語言及代碼，并將執(zhí)行代碼下發(fā)到分布式計算環(huán)境中。系統(tǒng)預(yù)置的用戶行為管控任務(wù)，通過自學(xué)習(xí)云計算框架，被分配到分布式計算環(huán)境中，進行

計算。

5）大數(shù)據(jù)中心云平臺：從DNS端采集數(shù)據(jù)，通過分布式平臺的任務(wù)調(diào)度和分析查詢引擎對核心數(shù)據(jù)進行檢索、分析、數(shù)據(jù)挖掘和定位等處理。對私接終端用戶生成管控黑白名單，如連續(xù)多天未符合限制要求，則生成管控名單，存儲于相應(yīng)的數(shù)據(jù)庫中。同時，系統(tǒng)根據(jù)DNS日志信息，精準定位用戶請求地址，并實時更新用戶地址的

變化。

6）應(yīng)用層：接入基于DNS大數(shù)據(jù)分析實現(xiàn)寬帶共享監(jiān)控系統(tǒng)，用于提供供不同單位使用的數(shù)據(jù)應(yīng)用子模塊。當(dāng)用戶被列入違規(guī)用戶黑名單后，將對其進行權(quán)限管理，通過DNS系統(tǒng)將其請求引導(dǎo)到代理服務(wù)節(jié)點，代理服務(wù)將向真實數(shù)據(jù)源獲取請求系統(tǒng)，并在獲取結(jié)果中插入彈窗代碼，最終在用戶請求響應(yīng)信息中推送限制提醒或者插入干擾信息。

上述各組成部分中，數(shù)據(jù)采集與數(shù)據(jù)存儲是基于DNS大數(shù)據(jù)分析實現(xiàn)寬帶共享監(jiān)控系統(tǒng)的數(shù)據(jù)層，通過各地市DNS服務(wù)器將日志信息采用壓縮傳輸?shù)姆绞缴蟼鞯郊袔c，進行存儲。同時為了保證數(shù)據(jù)存儲的質(zhì)量，在存儲前，需對數(shù)據(jù)進行各種預(yù)處理，以保證日志數(shù)據(jù)分布式文件系統(tǒng)中保存的數(shù)據(jù)是最新的、準確的記過。索引分析框架、大數(shù)據(jù)中心云平臺、自學(xué)習(xí)框架是整個系統(tǒng)的業(yè)務(wù)支撐層，它實現(xiàn)了任務(wù)的分配、處理資源的調(diào)度與對數(shù)據(jù)的處理，得到各種分析結(jié)果并儲存于相應(yīng)的數(shù)據(jù)庫中。在應(yīng)用層，設(shè)置多種子系統(tǒng)模塊，用戶可以根據(jù)需要選擇相應(yīng)

功能。

參考文獻

[1]陳瀟瀟，蔡迎歸，李嫵可.CDN流量采集系統(tǒng)數(shù)據(jù)中心服務(wù)器的設(shè)計與實現(xiàn)[J].科技資訊， 2016，14（16）：

20-21.

[2]孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計算：關(guān)鍵技術(shù)及系統(tǒng)實例[J].軟件學(xué)報，2014，25（4）：839-862.

[3]程學(xué)旗，王元卓.大數(shù)據(jù)計算的技術(shù)體系與引擎系統(tǒng)[J].高科技與產(chǎn)業(yè)化，2013，9（5）：62-65.

[4]張婧婧，陳福文.互聯(lián)網(wǎng)流量分析技術(shù)及部署方案[J].移動通信，2013（19）：71-75.

[5]李青.基于云安全的DNS網(wǎng)頁掛馬探測系統(tǒng)分析與設(shè)計[J].軟件導(dǎo)刊，2011，10（3）：146-148.endprint