江蘇移動通信有限責(zé)任公司江寧分公司 徐峰

一種基于大數(shù)據(jù)分析的網(wǎng)絡(luò)優(yōu)化方案

江蘇移動通信有限責(zé)任公司江寧分公司 徐峰

摘要：在傳統(tǒng)網(wǎng)絡(luò)優(yōu)化的基礎(chǔ)上提出了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)優(yōu)化解決方案，更好地對運營商全業(yè)務(wù)網(wǎng)絡(luò)進(jìn)行規(guī)劃與優(yōu)化。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)優(yōu)化；架構(gòu)

0 引言

隨著運營商全業(yè)務(wù)發(fā)展理念的提出，運營商寬帶網(wǎng)絡(luò)所涵蓋的網(wǎng)絡(luò)內(nèi)容也日益豐富，各種網(wǎng)絡(luò)的數(shù)據(jù)量的不斷膨脹，使得對綜合大網(wǎng)管處理各項數(shù)據(jù)的能力及對網(wǎng)絡(luò)的更好的規(guī)劃和優(yōu)化的要求不斷提高。傳統(tǒng)的網(wǎng)絡(luò)優(yōu)化已經(jīng)漸漸顯示出其局限性。表現(xiàn)在以下幾點：時效性不強，各種網(wǎng)絡(luò)性能指標(biāo)呈現(xiàn)需要幾個小時，預(yù)警及時性不足，不能先于用戶之前發(fā)現(xiàn)問題，處理比較被動；集約化程度不高，系統(tǒng)比較分散，且不能靈活滿足網(wǎng)絡(luò)規(guī)?？焖僭鲩L的需求，不能全網(wǎng)統(tǒng)一管理，網(wǎng)絡(luò)性能分析、周期性報表制作需要多個系統(tǒng)支撐，效率低下；支撐能力弱，對海量數(shù)據(jù)的深度挖掘效率不高，預(yù)處理能力缺乏，缺乏多維度數(shù)據(jù)的關(guān)聯(lián)分析能力，難以精確定位故障問題，全程全網(wǎng)預(yù)警能力缺乏，難以實現(xiàn)網(wǎng)絡(luò)預(yù)見性分析。因此，為滿足用戶日益增長的質(zhì)量要求，必須建立一套健全的大數(shù)據(jù)分析系統(tǒng)，能夠?qū)ΜF(xiàn)網(wǎng)的各類網(wǎng)絡(luò)指標(biāo)進(jìn)行快速的統(tǒng)計分析，先于用戶發(fā)現(xiàn)問題、預(yù)先提出網(wǎng)絡(luò)優(yōu)化建議。

1 大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化特性

1）從結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)向混合數(shù)據(jù)。傳統(tǒng)的網(wǎng)優(yōu)數(shù)據(jù)需要將信令數(shù)據(jù)等轉(zhuǎn)化為結(jié)構(gòu)數(shù)據(jù)，大數(shù)據(jù)網(wǎng)優(yōu)可以直接收集各種非結(jié)構(gòu)數(shù)據(jù)而無需轉(zhuǎn)換。大數(shù)據(jù)網(wǎng)優(yōu)數(shù)據(jù)采集方式見圖1。

2）從離線統(tǒng)計走向?qū)崟r呈現(xiàn)。大數(shù)據(jù)基于流式數(shù)據(jù)處理，可以做到實時呈現(xiàn)，增加時效性。

3）從單系統(tǒng)走向多系統(tǒng)混采。傳統(tǒng)網(wǎng)優(yōu)系統(tǒng)一般是基于CDT（呼叫詳細(xì)跟蹤）或者信令分析的網(wǎng)優(yōu)工具，而大數(shù)據(jù)網(wǎng)優(yōu)可以實現(xiàn)各領(lǐng)域數(shù)據(jù)全面采集。

4）從結(jié)果數(shù)據(jù)轉(zhuǎn)向動態(tài)數(shù)據(jù)。大數(shù)據(jù)網(wǎng)優(yōu)將動態(tài)采集網(wǎng)絡(luò)變化的數(shù)據(jù)，增加網(wǎng)絡(luò)管理有效性。

2 全業(yè)務(wù)大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化整體架構(gòu)

大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化由數(shù)據(jù)源、大數(shù)據(jù)網(wǎng)優(yōu)平臺、業(yè)務(wù)應(yīng)用層和管理4部分組成。見圖2。

2.1 數(shù)據(jù)源采集

大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化系統(tǒng)要對全網(wǎng)所有的有效數(shù)據(jù)進(jìn)行快速采集，因此對于有效數(shù)據(jù)的定義、數(shù)據(jù)的合理預(yù)處理、數(shù)據(jù)的入庫匯總尤為重要。

在有效數(shù)據(jù)定義方面，大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化系統(tǒng)采用多模塊同步采集，采集數(shù)據(jù)包括網(wǎng)絡(luò)數(shù)據(jù)、位置數(shù)據(jù)、信令數(shù)據(jù)、網(wǎng)管數(shù)據(jù)、用戶數(shù)據(jù)和各種外部數(shù)據(jù)等，其中CDT、MR、信令數(shù)據(jù)定義為大數(shù)據(jù)的數(shù)據(jù)源，用戶數(shù)據(jù)、網(wǎng)管數(shù)據(jù)定義為傳統(tǒng)的數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)并行處理，這樣大大提高了數(shù)據(jù)的采集能力。

在數(shù)據(jù)的預(yù)處理方面，在數(shù)據(jù)緩存短期保留原始文件和數(shù)據(jù)，期間不用將數(shù)據(jù)的格式和結(jié)構(gòu)做轉(zhuǎn)換。后期將基礎(chǔ)數(shù)據(jù)中各資源數(shù)據(jù)歸一化處理，數(shù)據(jù)按照最細(xì)粒度存儲。數(shù)據(jù)模型是按照傳統(tǒng)的數(shù)據(jù)庫來處理，便于數(shù)據(jù)長期存儲。

在數(shù)據(jù)入庫匯總方面，將數(shù)據(jù)倉庫層分為分析匯總數(shù)據(jù)和應(yīng)用匯總數(shù)據(jù)。其中分析匯總數(shù)據(jù)中將基礎(chǔ)數(shù)據(jù)進(jìn)行輕度分析匯總，這樣能夠提高性能，防止大量的細(xì)節(jié)數(shù)據(jù)訪問，數(shù)據(jù)沉淀，粒度較細(xì)的數(shù)據(jù)可以保存更長時間。而應(yīng)用匯總數(shù)據(jù)則是以多種方式存放高度匯總數(shù)據(jù)，而且能夠直接支持前端分析應(yīng)用。

總之，數(shù)據(jù)源采集模塊，可以實現(xiàn)將基礎(chǔ)數(shù)據(jù)層中大數(shù)據(jù)計算結(jié)果和MPP（大規(guī)模并行處理）傳統(tǒng)數(shù)據(jù)處理結(jié)果直接匯總到深度分析庫中，進(jìn)行數(shù)據(jù)的深度分析。

2.2 數(shù)據(jù)深度分析

大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化系統(tǒng)是基于Hadoop（分布式數(shù)據(jù)分析平臺）的深度優(yōu)化。其中的關(guān)鍵技術(shù)是MapReduce（一種編程模型）過程、分布式數(shù)據(jù)庫（Hbase）、分布式文件系統(tǒng)（HDFS）、引入MPP和Hadoop與MPP分布式數(shù)據(jù)庫混搭架構(gòu)。

1）優(yōu)化MapReduce過程。該過程增加data locality（數(shù)據(jù)局部性）特性，讓多次迭代的MapReduce過程減少數(shù)據(jù)傳遞，數(shù)據(jù)本地寫，提高訪問速度；同時增加控制模塊，定義迭代及條件退出過程，實現(xiàn)過程完全自動化；在輸出模塊建立緩存及索引，加速數(shù)據(jù)處理速度，MapReduce任務(wù)調(diào)度優(yōu)化，性能提升70%。而且自研14類72種適合于Hadoop處理的并行數(shù)據(jù)分析挖掘算法單元，已調(diào)度框架優(yōu)化，使用task預(yù)調(diào)度減少空閑slot時間，提高異常節(jié)點分析及可維護(hù)性提升。

2）采用分布式數(shù)據(jù)庫Hbase。Hbase可以建在大量低端serve的集群上，基于開放平臺與操作體系。與傳統(tǒng)數(shù)據(jù)庫垂直擴展的計算能力/行存儲不相同的是，分布式數(shù)據(jù)庫采取的是橫向擴展的計算能力/列存儲，具有大規(guī)模的并行計算，無限的處理性能。所以不論從可靠、敏捷、性能、成本等方面，分布式數(shù)據(jù)庫都有很好的表現(xiàn)力，可在大規(guī)模集群中實現(xiàn)負(fù)載均衡。

3）采用Hadoop與MPP分布式數(shù)據(jù)庫混搭架構(gòu)。將不同種類的數(shù)據(jù)存儲在Hadoop主數(shù)據(jù)倉庫和MPP分布式數(shù)據(jù)倉庫中，并通過一體化的管控平臺進(jìn)行調(diào)度，可實現(xiàn)數(shù)據(jù)的靈活存儲及共享，其結(jié)構(gòu)見圖3。

4）實現(xiàn)快速的實時流處理。為實現(xiàn)數(shù)據(jù)的快速處理，系統(tǒng)采用了基于非關(guān)系型key-value數(shù)據(jù)庫的分布式緩存和持久化存儲系統(tǒng)。dcache高速緩存可以有效地緩解大量數(shù)據(jù)請求對系統(tǒng)的沖擊，實現(xiàn)實時流處理。

預(yù)處理模塊分為字段處理和事件處理兩種類型，各種處理可以前后任意拼接組合。預(yù)處理模塊從消息隊列中獲取事件消息，然后依據(jù)預(yù)處理規(guī)則完成對消息的補償、剔除和組合等處理，然后將消息放入隊列中等待處理。預(yù)處理將消息轉(zhuǎn)成對象以便內(nèi)部處理，并將基礎(chǔ)數(shù)據(jù)進(jìn)行分解，分拆成需要統(tǒng)計分析的元數(shù)據(jù)。預(yù)處理模塊同時完成時間窗的打點操作，將時間信號記錄到事件消息中。

2.3 業(yè)務(wù)應(yīng)用層輸出

業(yè)務(wù)應(yīng)用可以有4大類的應(yīng)用：

1）網(wǎng)絡(luò)優(yōu)化。先于客戶投訴發(fā)現(xiàn)問題，挖掘出需要優(yōu)化的網(wǎng)元。結(jié)合VIP用戶群的業(yè)務(wù)量、業(yè)務(wù)類型、特殊位置等為價值用戶提供重點保障。在特定區(qū)域內(nèi)的不同網(wǎng)絡(luò)進(jìn)行流量分析、對比分析，流量預(yù)測。多網(wǎng)均衡、分流提供支撐。

2）實時監(jiān)測。實現(xiàn)在線實時的監(jiān)測網(wǎng)絡(luò)的運行質(zhì)量。

3）客戶感知。實現(xiàn)客戶感知從全網(wǎng)、區(qū)域、單客戶的層層鉆取，在網(wǎng)絡(luò)側(cè)對各接口的信令分析、定義與用戶感知密切相關(guān)的指標(biāo)體系，將網(wǎng)絡(luò)現(xiàn)狀進(jìn)行點播式呈現(xiàn)，準(zhǔn)確反映網(wǎng)絡(luò)存在的具體問題。

4）客戶投訴。實現(xiàn)簡單、快速、準(zhǔn)確、完整的投訴處理。從根據(jù)網(wǎng)絡(luò)信令數(shù)據(jù)信息的變化和各個設(shè)備、網(wǎng)絡(luò)的運行情況可以知道用戶的實際體驗情況，可以處理用戶的問題，可以通過分析網(wǎng)絡(luò)運行的情況、通過整個信令的整個流程來逐步分析網(wǎng)絡(luò)服務(wù)差的原因。

3 總結(jié)

大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化，利用功能強大的數(shù)據(jù)采集及分析系統(tǒng)，充分挖掘數(shù)據(jù)的潛在價值，大幅提升網(wǎng)絡(luò)優(yōu)化的效率和效果。輕松實現(xiàn)，運籌帷幄，能夠把握整個全業(yè)務(wù)大網(wǎng)絡(luò)的“過去、現(xiàn)在和未來”?！?/p>