班瑞 郝宇飛 張振超

中訊郵電咨詢設計院有限公司

0 引言

大數(shù)據(jù)技術作為近年的熱點應用技術，日趨成熟，行業(yè)應用越來越廣泛，用數(shù)據(jù)說話、用數(shù)據(jù)決策成為趨勢，幫助了眾多企業(yè)、政府“有的放矢”、提高效率。運營商網絡主要承載寬帶、專線、移動網、IDC（Internet data center，互聯(lián)網數(shù)據(jù)中心）等業(yè)務，如何挖掘網絡數(shù)據(jù)、用戶和業(yè)務數(shù)據(jù)的價值，提升網絡規(guī)劃、建設和優(yōu)化的精準性，保障用戶體驗，對于運營商品牌塑造和提高市場競爭力至關重要。

目前，運營商IP業(yè)務支撐系統(tǒng)建設相對完善，網絡側、用戶側和業(yè)務側的數(shù)據(jù)采集手段豐富，但分析手段較為單一。分析系統(tǒng)通常為少部分省份單獨建設，無法以客戶視角形成全程全網分析。同時受限于技術手段，大數(shù)據(jù)感知分析能力較弱，多數(shù)據(jù)關聯(lián)挖掘分析能力有待加強。

因此，為滿足客戶端到端感知分析的需求，支撐運營商網絡精準規(guī)劃和建設，提升網絡運營能力，需建設一種具備全國互聯(lián)網業(yè)務和流量實時感知分析能力的新型分析系統(tǒng)。

1 數(shù)據(jù)采集現(xiàn)狀及存在問題

運營商已采集的固網側數(shù)據(jù)包括EDPI（Elastic Deep Packet Inspect，靈活包檢測技術）日志、AAA（Authentication、Authorization、Accounting，驗證賬號）日志、DNS（Domain Name System，域 名 系 統(tǒng)）日 志、NAT(Network Address Translation，網 絡 地 址 轉 換）日 志、NETFLOW日 志、SNMP(Simple Network Management Protocol，簡單網絡管理協(xié)議)數(shù)據(jù)及DPI（Deep Packet Inspection，深度檢測技術）日志，基本覆蓋全部IP支撐系統(tǒng)數(shù)據(jù)。對于這些數(shù)據(jù)的分析目前仍存在以下問題：

（1）功能單一，手段落后?；ヂ?lián)網數(shù)據(jù)分析總體仍局限于各類系統(tǒng)單獨分析，功能支撐面受限，無法滿足運營商IP網絡規(guī)劃、建設、運維和業(yè)務運營一體化支撐的需要。

（2）各省份建，各自為營。受限于技術手段及投資成本，目前只有少部分省份自建分析系統(tǒng)，分析指標單一，全國分散建設成本較高，且無法實現(xiàn)全程全網實時分析。

（3）DPI推廣，成本過高。目前DPI技術可實現(xiàn)業(yè)務深度感知分析，但需對網絡鏈路上下行流量全分光采集，采集成本過高，全國推廣建設投入較大，投資有效性較低。

為解決上述痛點，本文旨在通過研究，設計一種新型的大數(shù)據(jù)感知分析系統(tǒng)，實現(xiàn)運營商全國海量互聯(lián)網日志數(shù)據(jù)實時整合、關聯(lián)、分析，賦能網絡規(guī)劃、建設、運維及運營，提升投資有效性。

2 系統(tǒng)設計思路

本系統(tǒng)整體設計主要滿足以下幾方面要求：

（1）多元數(shù)據(jù)挖掘分析。系統(tǒng)應具備互聯(lián)網全量日志的挖掘關聯(lián)分析能力，數(shù)據(jù)類型主要包括EDPI日志、AAA日志、DNS日志、NAT日志、NETFLOW日志、SNMP數(shù)據(jù)及DPI日志。

（2）具備海量數(shù)據(jù)存儲及實時處理能力?，F(xiàn)有EDPI日志的XDR話單日均377T、DNS數(shù)據(jù)日均50T、AAA日志日均10T、NETFLOW日志日均15T、SNMP數(shù)據(jù)日均50G、DPI日志壓縮后日均100T。

（3）滿足運營商規(guī)劃、建設、運維、運營需求。系統(tǒng)設計應滿足以上四大塊功能需求，同時應具備靈活的分權分域管理能力，滿足不同角色用戶的使用訴求。

（4）集群資源最大化利用。大數(shù)據(jù)技術應用于云計算架構之上，提供海量數(shù)據(jù)存儲和實時處理，同時對于客戶臨時需求能夠做到集群數(shù)據(jù)處理的及時響應。

（5）對外提供豐富、靈活的模塊化服務。系統(tǒng)應具備對外提供智能服務中臺能力，功能模塊解耦，可靈活復用，對外滿足各類用戶及第三方系統(tǒng)的需求。

（6）全國統(tǒng)一采集、統(tǒng)一建設。通過集約化建設，有效節(jié)省投資，并為客戶提供端到端全程全網分析，提升客戶運營服務能力。

3 系統(tǒng)技術設計

新型大數(shù)據(jù)感知分析系統(tǒng)技術架構如圖1所示。

圖1 系統(tǒng)技術架構圖

系統(tǒng)技術架構由五部分組成，分別是數(shù)據(jù)采集層、數(shù)據(jù)存儲層、計算處理層、業(yè)務實現(xiàn)層、能力支撐層。

系統(tǒng)主要從城域網、骨干網、IDC網絡、國際網絡等獲取互聯(lián)網日志數(shù)據(jù)。數(shù)據(jù)類型主要包括：EDPI日志、AAA日志、DNS日志、NAT日志、NETFLOW日志、SNMP數(shù)據(jù)及DPI日志。采集方式主要有兩種模式，分別為網元直采模式和集團省份兩級架構的采集模式。

存儲層分別使用文件存儲、列式存儲、關系存儲三種方式。其中，文件存儲運用HDFS分布式存儲原始的日志文件。列式存儲運用Hbase（分布式的、面向列的開源數(shù)據(jù)庫）與CLICKHOUSE進行存儲，HBASE存儲由非結構轉為結構化數(shù)據(jù)后，需要二次處理的數(shù)據(jù)。CLICKHOUSE中存儲需要有及時響應的結果信息。關系型數(shù)據(jù)庫MYSQL存儲配置信息。

計算處理層包括MAPREDEUCE和SPARK兩種通用的計算引擎，基礎數(shù)據(jù)經過數(shù)據(jù)加載/轉化/處理后，通過YARN進行資源調度?；贖adoop分布式平臺，提供海量數(shù)據(jù)的并行裝載、處理、儲存和查詢能力。同時接收來自業(yè)務實現(xiàn)層的任務調度，計算分析相應的統(tǒng)計工作。使用Spark Streaming構建微批式的實時處理框架，對Netflow日志進行實時處理。具有高可靠性、擴展性、高效性、容錯性的特點。

業(yè)務實現(xiàn)層基于SPRING+MYBATIS架構，由任務調度、WEB展示/能力開放、爬蟲引擎三個模塊組成。任務調度負責分析統(tǒng)計任務的管理，支持立即執(zhí)行和周期執(zhí)行。WEB展示為可視化模塊，另外具備將數(shù)據(jù)通過WEB REST開放的能力，爬蟲引擎負責抓取相關域名的標題和摘要信息。

能力支撐層提供平臺對外開放的能力，支撐運營商規(guī)劃、建設、運維、運營需求，支撐對外大客戶的定制化需求。通過兩種途徑供第三方調用，一種為封裝模塊化功能經過簡單適配直接對外提供能力，另外一種為對外直接開放WEB REST接口，兩種方式可以靈活使用。

4 系統(tǒng)功能設計

大數(shù)據(jù)感知分析系統(tǒng)定位于運營商網絡全量數(shù)據(jù)統(tǒng)一分析，系統(tǒng)面向網絡規(guī)劃、建設、運維、運營等生產各環(huán)節(jié)的支撐需求進行功能設計。總體功能包括支撐精準規(guī)劃建設類功能、支持運維類功能、支持市場及業(yè)務運營類功能、大屏展示功能、公共功能和系統(tǒng)管理功能等。

總體功能框架如圖2所示。

圖2 系統(tǒng)總體功能框架圖

業(yè)務特征庫包括客戶信息、IP信息、公有AS管理、應用管理、應用分類分析五部分。業(yè)務特征庫常態(tài)化更新，保證業(yè)務數(shù)據(jù)關聯(lián)分析的準確性。

大屏展示功能包括業(yè)務質量分析展示（IPV4/IPV6用戶數(shù)、IPV4/IPV6流量、在線用戶數(shù)、DNS解析量、解析成功率、解析時延、丟包率、首包時延）、IDC信息分析展示（IDC流量、IDC訪問量、IDC獨立用戶數(shù)）、31省骨干網流量流向分析展示（以?；鶊D形式展示相關流量流向信息）、寬帶用戶及應用分析展示（網站分類、網站訪問量排名、網站質量排名、上網時段分布）四個模塊，面向運營商提供直觀數(shù)據(jù)展示。

系統(tǒng)管理功能由服務器管理、性能視圖、日志管理、計算資源、角色管理、用戶管理、平臺接口七個模塊組成。平臺通過用戶、角色管理功能，分權分域，按照省份、功能模塊，面向省份相關負責人開放系統(tǒng)權限，省份用戶可直接訪問平臺系統(tǒng)，查看相應權限的分析結果數(shù)據(jù)。其中，面向運營商網建人員，提供包括全國IDC出口流量流向分析、網絡流量趨勢及預測分析等功能；面向運營商運維人員，提供包括寬帶用戶業(yè)務質量監(jiān)控與分析、互聯(lián)網專線質量分析、網絡異常突變流量分析等功能；面向運營商市場及業(yè)務運營人員，提供包括CDN業(yè)務核查、城域網用戶分析等功能。

系統(tǒng)面向運營商規(guī)建、運維、運營三大類功能實現(xiàn)，其中流量流向模塊針對規(guī)建類需求提供：IDC國際城域網出口、移動互聯(lián)網流量流向、自定義區(qū)域流量分析、網絡流量趨勢及預測分析、基于DPI城域網出口流量分析、基于DPI國際出口及網間互聯(lián)流量分析、網絡布局、業(yè)務承載和流量關聯(lián)分析，支撐精準規(guī)劃，提高方案的合理性及投資精準性。業(yè)務質量模塊針對運維類需求提供：寬帶用戶業(yè)務質量監(jiān)控與分析、網站服務質量監(jiān)控與分析、互聯(lián)網專線質量分析、網絡異常突變流量分析、基于DPI的城域網業(yè)務質量分析、基于DPI的國際出口及網間互聯(lián)業(yè)務質量分析、基于DPI的出省鏈路優(yōu)化和規(guī)劃、169骨干網分析結果及數(shù)據(jù)，支撐網絡優(yōu)化工作。用戶行為模塊針對運營類需求提供：云網業(yè)務精準營銷數(shù)據(jù)分析、IDC業(yè)務稽查分析、白手套分析、自定義業(yè)務特征庫、基于DPI的熱點應用、熱點SP分析、基于DPI的城域網用戶分析、全國IDC內容流量流向分析、重點客戶電路流量分析、BAT流量調度分析。

5 系統(tǒng)實現(xiàn)及應用

大數(shù)據(jù)感知分析系統(tǒng)目前已建設完成并在全國范圍正式上線運行，支撐31省IP專業(yè)的規(guī)劃、建設、運維、運營等生產環(huán)節(jié)。支撐精準規(guī)劃建設類功能、支持運維類功能、支持市場及業(yè)務運營類功能、大屏展示功能均已開放各省相關人員使用。同時，針對市場前端提出的面向客戶的定制化流量、業(yè)務分析需求進行深度分析，生成相關分析報告，取得良好反饋效果，為市場拓展提供有力支撐。

系統(tǒng)首頁展示如圖3所示。

圖3 系統(tǒng)首頁展示（數(shù)據(jù)為模擬數(shù)據(jù)）

6 結束語

大數(shù)據(jù)感知分析系統(tǒng)已在運營商現(xiàn)網上線應用，并取得較好效果。本系統(tǒng)全國集中建設，通過采集不同種類數(shù)據(jù)并進行大數(shù)據(jù)綜合關聯(lián)，實現(xiàn)對網絡、業(yè)務、用戶數(shù)據(jù)的整合分析。本系統(tǒng)創(chuàng)造性解決了運營商對固網數(shù)據(jù)分析手段不足的問題，系統(tǒng)流量流向分析、業(yè)務質量分析、用戶行為分析等功能可有效支撐網絡規(guī)劃、建設、運維和運營，助力寬帶及政企市場業(yè)務拓展，從而提高運營商網絡的管理、建設效率，增強市場競爭力，并將間接帶來可觀的經濟效益和很好的社會效益。