沈建軍，劉名茂，王 波，安勁偉

（1.中國電信股份有限公司廣東研究院 廣州510630；2.中國電信股份有限公司廣東分公司 廣州510081）

1 引言

隨著無線網(wǎng)絡(luò)規(guī)模的擴(kuò)張，無線網(wǎng)絡(luò)的運(yùn)行數(shù)據(jù)呈爆發(fā)性增長，運(yùn)維工作中所使用的應(yīng)用工具種類也越來越多，但總體上表現(xiàn)出一種相對封閉的態(tài)勢。每個應(yīng)用系統(tǒng)廠商都必須獨(dú)自完成數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)挖掘和應(yīng)用呈現(xiàn)等所有環(huán)節(jié)，存在投資重復(fù)、數(shù)據(jù)、運(yùn)算、存儲在內(nèi)的各種資源的復(fù)用度低和結(jié)果封閉的問題。另外，隨著集約化、精細(xì)化運(yùn)維管理的深入發(fā)展，網(wǎng)絡(luò)分析工作往往要求實(shí)現(xiàn)多數(shù)據(jù)源的關(guān)聯(lián)分析。

無線大數(shù)據(jù)運(yùn)營共享平臺需要基于開放的平臺架構(gòu)，建立透明的數(shù)據(jù)采集分揀、共享的數(shù)據(jù)庫和統(tǒng)一的應(yīng)用接口，實(shí)現(xiàn)多數(shù)據(jù)源的數(shù)據(jù)共享，多個應(yīng)用工具可對共享數(shù)據(jù)源進(jìn)行深度的數(shù)據(jù)關(guān)聯(lián)挖掘分析。

2 現(xiàn)有平臺

2.1 整體概況

無線網(wǎng)絡(luò)使用的數(shù)據(jù)種類眾多，主要包括CDMA網(wǎng)絡(luò)的性能、CDR、信令、PSMM、DT/CQT、室內(nèi)分布基礎(chǔ)臺賬、Wi-Fi網(wǎng)絡(luò)性能、用戶申告數(shù)據(jù)等不同種類的數(shù)據(jù)，同時每天網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量都在TB級以上。

在業(yè)務(wù)飛速發(fā)展的今天，要求無線網(wǎng)絡(luò)運(yùn)維所依賴的支撐工具能夠快速響應(yīng)用戶需求的改變，也就是說，對應(yīng)用工具的靈活性和易擴(kuò)展性都提出了很高的要求。目前無線網(wǎng)絡(luò)運(yùn)維工作中涉及的數(shù)據(jù)分析應(yīng)用工具的整體架構(gòu)缺乏靈活性，不能滿足用戶快速部署新應(yīng)用、新算法的要求。數(shù)據(jù)的解析、存儲和調(diào)用在時效性、準(zhǔn)確性和回溯性上都無法滿足用戶的多維度和多并發(fā)的查詢需求。

2.2 典型優(yōu)化平臺主要問題

優(yōu)化平臺以各地的網(wǎng)絡(luò)優(yōu)化、建設(shè)、客戶投訴處理需求為導(dǎo)向，定義了日常優(yōu)化、專項(xiàng)優(yōu)化、用戶級優(yōu)化、3G分析等功能模塊，共2 000多個功能點(diǎn)。

該平臺的使用，有效解決了部分技術(shù)復(fù)雜、網(wǎng)元數(shù)量繁多、大量數(shù)據(jù)分析難、優(yōu)化經(jīng)驗(yàn)不足、人員缺乏等網(wǎng)絡(luò)運(yùn)營問題，有效支撐了網(wǎng)絡(luò)的建設(shè)和運(yùn)營。但也存在部分問題，現(xiàn)階段仍難以有效解決，包括如下幾個方面。

·架構(gòu)難以適應(yīng)創(chuàng)新性的工具開發(fā)及應(yīng)用，不能完全滿足日常網(wǎng)絡(luò)維護(hù)優(yōu)化工作IT支撐需求。

·未集中對外系統(tǒng)提供數(shù)據(jù)采集及共享接口，導(dǎo)致相關(guān)系統(tǒng)直接用私有接口對接設(shè)備廠商專業(yè)網(wǎng)管。一方面，私有接口無保障，設(shè)備廠商專業(yè)網(wǎng)管升級后，私有接口數(shù)據(jù)結(jié)構(gòu)發(fā)生變化，上層采集即出現(xiàn)異常；另一方面，多套系統(tǒng)通過私有接口連接網(wǎng)管，加大設(shè)備廠商網(wǎng)管及單板壓力，直接影響設(shè)備網(wǎng)管的穩(wěn)定運(yùn)行。

·常用數(shù)據(jù)及應(yīng)用涉及性能、話單、參數(shù)、鄰區(qū)等幾大類。因涉及的用戶多且數(shù)據(jù)量大，同時操作比較復(fù)雜，特別是用戶使用海量數(shù)據(jù)分析查詢的時效率比較低下，往往導(dǎo)致功能不可使用。

2.3 大數(shù)據(jù)共享平臺思路及難點(diǎn)

針對典型優(yōu)化平臺存在的問題，可考慮將現(xiàn)有平臺數(shù)據(jù)采集、存儲與分析應(yīng)用模塊分離，建設(shè)數(shù)據(jù)采集、數(shù)據(jù)存儲、共享接口模塊和專項(xiàng)應(yīng)用四大模塊。建設(shè)無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺，形成整體結(jié)構(gòu)清晰同時有較強(qiáng)擴(kuò)展性的平臺系統(tǒng)，實(shí)現(xiàn)對外統(tǒng)一的數(shù)據(jù)采集及共享，滿足各類平臺更多的規(guī)范功能、分析功能及優(yōu)化工具快速部署的需求。

無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺需要基于開放平臺架構(gòu)，采集無線網(wǎng)CDR、PSMM、DT/CQT、網(wǎng)絡(luò)工作參數(shù)及室內(nèi)分布臺賬等多種數(shù)據(jù)源，數(shù)據(jù)的共享存儲和深層次數(shù)據(jù)挖掘是平臺的難點(diǎn)。制定通用的接口規(guī)范能夠讓第三方工具廠商在此基礎(chǔ)上開發(fā)工具，是平臺的最終目標(biāo)。

圖1 無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺系統(tǒng)架構(gòu)示意

3 大數(shù)據(jù)運(yùn)營共享平臺研究

3.1 整體架構(gòu)

無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺基于開放的平臺架構(gòu)，整體系統(tǒng)架構(gòu)可分為采集層、存儲層、接口層和應(yīng)用層4層。每層承擔(dān)不同的工作職能，并且通過統(tǒng)一的服務(wù)，實(shí)現(xiàn)各層之間的數(shù)據(jù)相互流轉(zhuǎn)。數(shù)據(jù)采集層實(shí)現(xiàn)數(shù)據(jù)采集分揀規(guī)范的制定功能，實(shí)現(xiàn)無線網(wǎng)的CDR、PSMM、DT/CQT、網(wǎng)絡(luò)工作參數(shù)等數(shù)據(jù)的采集和解析；數(shù)據(jù)存儲層提供分布式數(shù)據(jù)共享存儲功能，實(shí)現(xiàn)不同數(shù)據(jù)源的云共享存儲；接口服務(wù)層建立統(tǒng)一的規(guī)范接口，用作無線應(yīng)用工具和數(shù)據(jù)源之間的數(shù)據(jù)轉(zhuǎn)換傳送接口；應(yīng)用工具層實(shí)現(xiàn)集中的多應(yīng)用工具呈現(xiàn)。無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺系統(tǒng)架構(gòu)如圖1所示。

3.2 采集分揀層

無線數(shù)據(jù)存在種類多、數(shù)據(jù)量大和解析復(fù)雜的特點(diǎn)，包括無線網(wǎng)絡(luò)側(cè)的無線性能、告警、無線話單、DT/CQT等數(shù)據(jù)。數(shù)據(jù)采集分揀層采集無線網(wǎng)絡(luò)的運(yùn)行數(shù)據(jù)后，形成統(tǒng)一、規(guī)范的數(shù)據(jù)格式，由存儲層入庫并向應(yīng)用推送訂閱數(shù)據(jù)。

數(shù)據(jù)采集分揀層對其上層模塊或應(yīng)用來說，屏蔽了底層數(shù)據(jù)源的差異化，可以針對各種不同的數(shù)據(jù)源進(jìn)行采集。當(dāng)用戶需求發(fā)生變化，需要增加新的數(shù)據(jù)源時，只需要新建一個和對端數(shù)據(jù)源的連接，就能采集到該數(shù)據(jù)源的相關(guān)數(shù)據(jù)，可擴(kuò)展性強(qiáng)。其次，負(fù)責(zé)對采集到的數(shù)據(jù)進(jìn)行處理加工，生成統(tǒng)一格式的數(shù)據(jù)，供數(shù)據(jù)存儲層使用。

3.3 數(shù)據(jù)存儲層

數(shù)據(jù)存儲層存儲不同數(shù)據(jù)源的數(shù)據(jù)，為接口服務(wù)層不同的應(yīng)用工具和數(shù)據(jù)分析提供支撐。需要實(shí)現(xiàn)海量數(shù)據(jù)的自動入庫，支持對歷史數(shù)據(jù)的查詢和計(jì)算、對海量數(shù)據(jù)快速高效的關(guān)聯(lián)分析等。因此，數(shù)據(jù)存儲層內(nèi)部要基于開放系統(tǒng)的架構(gòu)和采用基于分布式系統(tǒng)設(shè)計(jì)，包含數(shù)據(jù)導(dǎo)入引擎、數(shù)據(jù)管理引擎、查詢緩存引擎、用戶接口、權(quán)限管理等多個模塊，具備開放的接口。數(shù)據(jù)存儲層的功能如圖2所示。

圖2 數(shù)據(jù)存儲層功能示意

數(shù)據(jù)存儲層存儲的數(shù)據(jù)是海量的，目標(biāo)將達(dá)到PB級。以某省CDMA網(wǎng)絡(luò)的12年CDR數(shù)據(jù)為例，每天語音通話記錄為2.3億條，入庫后的數(shù)據(jù)量為0.8 TB；數(shù)據(jù)通話記錄為13.3億條，入庫后的數(shù)據(jù)量為2.3 TB。

數(shù)據(jù)存儲層應(yīng)實(shí)現(xiàn)如下功能。

·存儲入庫速度需達(dá)到100 Mbit/s以上。查詢最小并發(fā)SQL指令數(shù)量不小于20個，20 000行30個字段，最大完成時間小于5 s。

·基礎(chǔ)數(shù)據(jù)包括原始數(shù)據(jù)和部分預(yù)處理數(shù)據(jù)，將統(tǒng)一存儲一份供所有應(yīng)用使用，避免重復(fù)存儲，部分預(yù)處理數(shù)據(jù)可能與應(yīng)用密切相關(guān)，因此需要分庫存儲。

·系統(tǒng)存儲容量可支持PB級，而且支持遠(yuǎn)程容災(zāi)、備份機(jī)制。

·系統(tǒng)應(yīng)不存在單點(diǎn)瓶頸，所有節(jié)點(diǎn)應(yīng)對等均衡，應(yīng)支持大并發(fā)及復(fù)雜分析查詢，而且其性能不能受到影響。

3.4 接口服務(wù)層

接口服務(wù)層處于數(shù)據(jù)存儲層與應(yīng)用層之間。應(yīng)用訪問的所有服務(wù)都由接口服務(wù)層提供。隨著無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺應(yīng)用工具的擴(kuò)展，接口服務(wù)層所提供的接口服務(wù)也需不斷增加。

接口服務(wù)層滿足接口協(xié)議封裝要求，封裝使用者和服務(wù)通信時所使用網(wǎng)絡(luò)協(xié)議的各個方面；數(shù)據(jù)格式轉(zhuǎn)換要求，對使用者數(shù)據(jù)格式要求和服務(wù)接口所希望的數(shù)據(jù)格式進(jìn)行相互轉(zhuǎn)換；接口邊界管理要求，不同的使用者可能有不同的安全性要求，因此由服務(wù)接口實(shí)現(xiàn)這些使用者特定的要求；接口性能要求，保證服務(wù)滿足它向一組具體使用者所做的服務(wù)承諾；接口訪問要求，應(yīng)用層根據(jù)接口服務(wù)層提供的各種應(yīng)用業(yè)務(wù)接口開發(fā)用戶交互UI界面。

3.5 應(yīng)用工具層

無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺的應(yīng)用工具層，是對共享數(shù)據(jù)庫的數(shù)據(jù)挖掘及關(guān)聯(lián)分析后提供最終分析結(jié)果的部分，是平臺的最終呈現(xiàn)系統(tǒng)。

應(yīng)用工具可共享調(diào)用接口服務(wù)層的Web Service、API函數(shù)等接口，提取存儲于共享數(shù)據(jù)庫中的不同數(shù)據(jù)源，對數(shù)據(jù)進(jìn)行挖掘及關(guān)聯(lián)分析，為使用者提供結(jié)果的查詢和分析。

4 業(yè)內(nèi)其他平臺方案對比

目前，各運(yùn)營商均在其各自的系統(tǒng)和平臺上按照分層架構(gòu)的原則進(jìn)行搭建。無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺在IT架構(gòu)及功能性等方面仍有較鮮明的特點(diǎn)。

4.1 平臺性能

無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺采用的是開放式架構(gòu)，平臺的計(jì)算資源利用較合理，資源浪費(fèi)較小，管理較方便，擴(kuò)展性也較強(qiáng)。

目前大多數(shù)平臺的存儲采用陣列的方式，而無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺的存儲采用分布式數(shù)據(jù)存儲方式，硬件要求較低，擴(kuò)展更加靈活。同時具有海量數(shù)據(jù)存儲和處理、高并發(fā)及線性擴(kuò)展能力，提供多種索引技術(shù)能力、較強(qiáng)的數(shù)據(jù)壓縮能力、多級別負(fù)載均衡能力及完整的數(shù)據(jù)庫狀態(tài)監(jiān)控管理工具等。

4.2 平臺功能

目前大多數(shù)無線網(wǎng)絡(luò)運(yùn)行平臺的數(shù)據(jù)源比較單一，而大數(shù)據(jù)運(yùn)營共享平臺的數(shù)據(jù)源包括無線網(wǎng)絡(luò)側(cè)的CDR、PSMM、DT/CQT數(shù)據(jù)及Ev-Do Stream在內(nèi)的各種不同數(shù)據(jù)源，數(shù)據(jù)源比較豐富，并且具備較強(qiáng)的擴(kuò)展性。

其次，從功能上來看，目前平臺僅提供已定義過的記錄數(shù)據(jù)的查詢和訂閱功能，而大數(shù)據(jù)運(yùn)營共享平臺可以提供對已有數(shù)據(jù)的查詢、訂閱、二次統(tǒng)計(jì)加工服務(wù)等多種功能。同時，目前平臺的接口服務(wù)無法定制，即只能使用平臺規(guī)范中提供的接口服務(wù)，但大數(shù)據(jù)運(yùn)營共享平臺的接口服務(wù)則可以定制，第三方系統(tǒng)新增一個接口服務(wù)后，只需要注冊到平臺中，就可以被其他方所調(diào)用。

最后，在目前的平臺架構(gòu)中，分層不是十分徹底，部分上層應(yīng)用的功能也混在共享層，即無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺的接口層，而大數(shù)據(jù)運(yùn)營共享平臺的分層比較徹底，每一層的分工都很明確，各司其職。

5 現(xiàn)場試驗(yàn)環(huán)境測試情況

為驗(yàn)證無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺的平臺架構(gòu)及各層功能，搭建了如圖3所示的平臺，并在應(yīng)用工具層配置了室內(nèi)話務(wù)分離工具、網(wǎng)格化質(zhì)量分析評估工具及可視化測試數(shù)據(jù)展示工具3個應(yīng)用工具，對無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺的架構(gòu)及功能進(jìn)行了驗(yàn)證測試。

圖3 無線網(wǎng)數(shù)據(jù)共享平臺試驗(yàn)環(huán)境功能示意

經(jīng)過現(xiàn)場驗(yàn)證，3個應(yīng)用工具均可對共享數(shù)據(jù)進(jìn)行查詢分析，并集中呈現(xiàn)。通過應(yīng)用工具對接口和數(shù)據(jù)庫也進(jìn)行了并發(fā)測試，其中100個并發(fā)簡單和復(fù)雜查詢在無差錯的情況下分別在10 s和100 s以內(nèi)實(shí)現(xiàn)，實(shí)際驗(yàn)證了平臺開放的平臺架構(gòu)及功能模塊的可行性。

6 平臺演進(jìn)探討

無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺從整體架構(gòu)上看，分層合理，通過開放的架構(gòu)服務(wù)，完成各層間的數(shù)據(jù)流轉(zhuǎn)。

平臺目前采用分布式數(shù)據(jù)庫進(jìn)行搭建，數(shù)據(jù)按不同的要求進(jìn)行行和列式存儲，一定程度上能夠滿足大數(shù)據(jù)存儲的要求，但在實(shí)際運(yùn)行中也發(fā)現(xiàn)存在一些查詢和分析方面的不足。比如查詢或分析信令、DT/CQT數(shù)據(jù)時，發(fā)現(xiàn)這些數(shù)據(jù)都是不固定長度和非關(guān)系型的，數(shù)據(jù)達(dá)到一定量時查詢效率只能到秒級，還不能達(dá)到毫秒級別等。為此，未來的平臺有必要引入非關(guān)系型數(shù)據(jù)庫，如MongoDB等，通過內(nèi)存NoSQL冗余原始數(shù)據(jù)，并采用盡可能多的節(jié)點(diǎn)進(jìn)行并行冗余，徹底解決查詢效率低的問題。因此，在分布式數(shù)據(jù)庫的基礎(chǔ)上，未來無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺的數(shù)據(jù)存儲層應(yīng)該按照雙數(shù)據(jù)庫的模式搭建。同時搭建解決關(guān)系型數(shù)據(jù)（如各類指標(biāo)等）查詢和運(yùn)算問題的關(guān)系型數(shù)據(jù)庫和解決大量非結(jié)構(gòu)化數(shù)據(jù)（如信令等）查詢效率問題的非關(guān)系型數(shù)據(jù)庫，通過統(tǒng)一的接口服務(wù)層向外提供服務(wù)。

未來隨著應(yīng)用工具的增多、功能的擴(kuò)展，平臺需增加接口及平臺的管理模塊，以加強(qiáng)應(yīng)用工具及平臺功能模塊的管理。

7 結(jié)束語

無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺探討了基于開放的平臺架構(gòu)，定義了各層的功能和要求，為此，搭建現(xiàn)場測試環(huán)境試驗(yàn)了規(guī)范數(shù)據(jù)格式、存儲模型、接口規(guī)范、數(shù)據(jù)采集分揀等平臺底層模塊的算法，驗(yàn)證了可行性。同時，結(jié)合測試中發(fā)現(xiàn)的不足，從數(shù)據(jù)規(guī)范、數(shù)據(jù)庫的選用和發(fā)展、接口管理和平臺功能管理等方面對未來的無線網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營共享平臺提出了新的設(shè)想和要求，為盡快搭建一個可運(yùn)營、多應(yīng)用工具共享的無線應(yīng)用工具平臺提供參考，將無線網(wǎng)絡(luò)運(yùn)營集約化、精細(xì)化管理工作持續(xù)推進(jìn)和落實(shí)。

1 萬曉榆．CDMA移動通信網(wǎng)絡(luò)優(yōu)化．北京：人民郵電出版社，2003

2 Kyoung Il Kim.CDMA系統(tǒng)設(shè)計(jì)與優(yōu)化.劉曉宇，杜志敏譯.北京：人民郵電出版社,2000

3 中國電信無線網(wǎng)優(yōu)平臺二期需求規(guī)范（正式稿）V2.0，2009