劉新華 李衛(wèi)群 周發(fā)輝 李琨 張佳杰 楊迪

隨著互聯(lián)網(wǎng)業(yè)務(wù)的迅猛發(fā)展，激增的網(wǎng)絡(luò)用戶、信息數(shù)量和網(wǎng)絡(luò)資源刺激著網(wǎng)絡(luò)的不斷升級與開拓。呈指數(shù)級增長的廣大用戶、信息與資源數(shù)量要求運營商提供不斷升級的高品質(zhì)服務(wù)，網(wǎng)絡(luò)帶寬與速度升級都迫在眉睫。從整體來看，以上這些目標的實現(xiàn)依賴于基礎(chǔ)設(shè)施建設(shè)的升級，從戰(zhàn)略上來看，通過對互聯(lián)網(wǎng)流量流向決策分析及合理調(diào)度，也可達到高效利用當前基礎(chǔ)設(shè)施實現(xiàn)升級的目標，更好的保障服務(wù)的實現(xiàn)與品質(zhì)提升。

中國互聯(lián)網(wǎng)信息中心CNNIC發(fā)布第37次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告》。報告顯示，截至2015年12月，中國網(wǎng)民規(guī)模達6.88億，互聯(lián)網(wǎng)普及率為50.3%；手機網(wǎng)民規(guī)模達6.2億，占比提升至90.1%，無線網(wǎng)絡(luò)覆蓋明顯提升，網(wǎng)民Wi-Fi使用率達到91.8%。相較2014年底提升2.4個百分點。龐大的用戶數(shù)量以及隨之而來龐大的網(wǎng)絡(luò)應(yīng)用需求推動著互聯(lián)網(wǎng)硬件設(shè)施和軟件設(shè)備的升級，網(wǎng)絡(luò)流量十分龐大。采用海量的硬件投入來達成基礎(chǔ)設(shè)施升級明顯是不可取的；龐大的網(wǎng)絡(luò)流量也需要分析和控制。通過探索一條合理控制網(wǎng)絡(luò)流量流向達到高效利用當前基礎(chǔ)設(shè)施實現(xiàn)升級的目標，更好的保障服務(wù)的實現(xiàn)與品質(zhì)升級，顯得必要且具有重大意義。

本文介紹的“互聯(lián)網(wǎng)流量流向大數(shù)據(jù)智能分析決策系統(tǒng)”由DNS日志分析子系統(tǒng)和DNS旁路優(yōu)化解決子系統(tǒng)提升本網(wǎng)率，采用鏡像分光或FTP日志上傳方式對本省DNS系統(tǒng)解析日志進行采集并存儲。將按主要在現(xiàn)網(wǎng)DNS系統(tǒng)基礎(chǔ)上完成對本省DNS系統(tǒng)日志1∶1采集，然后存儲在本地進行離線分析，并以報表的形式將分析結(jié)果進行呈現(xiàn)。同時需要通過DNS旁路的方式優(yōu)化點擊本網(wǎng)率。結(jié)合DNS系統(tǒng)解析數(shù)據(jù)定期分析互聯(lián)網(wǎng)熱點資源，并依據(jù)分析結(jié)果，進行調(diào)度優(yōu)化，使用戶的訪問請求盡可能多的命中網(wǎng)內(nèi)資源，從而提升用戶感知，并達到提升流量本網(wǎng)率和降低運營成本的效果。

DNS日志分析子系統(tǒng)是通過DNS日志采集、技術(shù)資料爬蟲、IP段歸屬基礎(chǔ)庫獲取得到基礎(chǔ)數(shù)據(jù)，DNS日志采用C++處理入庫；采用基于業(yè)務(wù)流的DPI識別技術(shù)識別53流量和HTTP流量的業(yè)務(wù)類型；采用網(wǎng)絡(luò)爬蟲技術(shù)，實現(xiàn)對關(guān)鍵域和域名、公司、備案號、TCP、UDP、網(wǎng)站名、服務(wù)類型等資料的爬蟲，用作詳細內(nèi)容匹配。

DNS日志分析子系統(tǒng)結(jié)構(gòu)如下圖所示：

DNS旁路優(yōu)化解決子系統(tǒng)，用戶請求特定的域名，在經(jīng)過整套DPI系統(tǒng)時，分光53流量和HTTP流量到優(yōu)化系統(tǒng)，而DNS優(yōu)化系統(tǒng)服務(wù)器的數(shù)量只根據(jù)DPI流量數(shù)有關(guān)，而一條流量只能對應(yīng)一個網(wǎng)口，因此有幾條流量決定了DNS優(yōu)化系統(tǒng)服務(wù)器數(shù)量。DNS優(yōu)化系統(tǒng)經(jīng)過對特定域名的目的IP重定向返回給用戶。

·平臺功能-綜合分析

全網(wǎng)DNS綜合分析給客戶提供DNS流量流向分析的全景視圖，分別以域、域名、公司為維度，對DNS數(shù)據(jù)進行綜合的統(tǒng)計分析，并支持圖表趨勢顯示及數(shù)據(jù)導(dǎo)出。

·平臺功能—本網(wǎng)率相關(guān)

給客戶提供DNS流量流向網(wǎng)內(nèi)、網(wǎng)外的視圖列表，分別以出網(wǎng)內(nèi)容、本網(wǎng)內(nèi)容、緩存內(nèi)容、引入內(nèi)容等作為維度，經(jīng)過計算和預(yù)處理，得出本網(wǎng)率情況的數(shù)據(jù)內(nèi)容和非本網(wǎng)率的數(shù)據(jù)內(nèi)容，對管理員起到指導(dǎo)調(diào)度程序來實現(xiàn)本網(wǎng)率的提升。

·平臺功能—本省內(nèi)容分析

本省內(nèi)容分析給客戶展示各廠家服務(wù)情況的全景視圖。分別以各廠家服務(wù)的域、域名、公司為維度，將本省已經(jīng)引入的CDN、IDC、緩存等相關(guān)資源通過分析得出對各廠家服務(wù)的情況的列表展現(xiàn)，并支持數(shù)據(jù)導(dǎo)出。

·平臺功能—備案相關(guān)

給客戶提供各個域的備案情況，以域、未備案域、未備案緩存內(nèi)容、未備案引入內(nèi)容等作為維度分析，以便用戶查詢引入本網(wǎng)卻未備案的域，并支持圖表趨勢顯示及數(shù)據(jù)導(dǎo)出。

·平臺功能—告警

給客戶提供各公司、廠家的告警情況，包含全部資源告警、本省資源告警。以各類閥值來判斷指標是否達到告警，閥值可設(shè)置。

·平臺功能—廠家服務(wù)評估

包含緩存廠家服務(wù)評估和CDN廠家服務(wù)評估，以域名、域、公司、各廠家等作為維度進行全面分析。支持以圖表、列表等形式展現(xiàn)各類指標趨勢，并支持數(shù)據(jù)導(dǎo)出。

·平臺功能—輔助管理

輔助管理功能是針對緩存廠家與緩存域名之間的關(guān)系建立，可實現(xiàn)對導(dǎo)入域名去重、對域名、廠家、日志進行增刪查改等操作，并支持批量操作域名廠家集。

·平臺功能—系統(tǒng)管理

管理員可為不同用戶、不同角色、不同組織機構(gòu)設(shè)置不同操作權(quán)限，通過權(quán)限控制，做到信息保密。

·擴展功能—多維度展現(xiàn)

多維度展現(xiàn)方式，以滿足不同查詢需求，結(jié)果呈現(xiàn)更直觀。

·擴展功能—多樣化性能

（1）使用異步方式進行數(shù)據(jù)下載，把需要導(dǎo)出的數(shù)據(jù)下載到系統(tǒng)服務(wù)器，用戶再由PC端導(dǎo)出，比直接通過PC端查詢下載，數(shù)據(jù)處理速度更快。

（2）列向報表數(shù)據(jù)自動化調(diào)節(jié)：可對前幾列域、域名、公司的關(guān)鍵數(shù)據(jù)凍結(jié)，更符合使用者查看習(xí)慣。

（3）支持導(dǎo)出Top N（分析）的數(shù)據(jù)。

（4）可設(shè)置為每頁20、條50條、100條等多種顯示方案。

（5）合計在底部固定位置展現(xiàn)，結(jié)果盡收眼底隨時可查。

綜上所述，通過互聯(lián)網(wǎng)內(nèi)容分析及流量流向決策分析可更好的服務(wù)互聯(lián)網(wǎng)發(fā)展與廣大網(wǎng)絡(luò)用戶需求，可顯著降低成本、降低鏈路負載、更好應(yīng)對流量突發(fā)變化。結(jié)合DNS系統(tǒng)解析數(shù)據(jù)定期分析互聯(lián)網(wǎng)熱點資源，并依據(jù)分析結(jié)果，進行調(diào)度優(yōu)化，使用戶的訪問請求盡可能多的命中網(wǎng)內(nèi)資源，從而提升用戶感知，并達到提升流量本網(wǎng)率和降低運營成本的效果。

通過內(nèi)容優(yōu)化及流量控制方法實現(xiàn)基礎(chǔ)設(shè)施升級目標，對于互聯(lián)網(wǎng)的穩(wěn)定高效運行有積極意義。

參考文獻：

[1]林榮.網(wǎng)絡(luò)流量控制相關(guān)關(guān)鍵技術(shù)研究[J].復(fù)雜系統(tǒng)與復(fù)雜性科學(xué)，2010（Z1）

[2]楊瑞.線性規(guī)劃的網(wǎng)絡(luò)流量流向控制技術(shù)[J].電子商務(wù)，2015（02）

（作者單位：貴州力創(chuàng)科技發(fā)展有限公司）