牛曉丹, 韋薇, 張揚(yáng), 李心恬

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

1 信令監(jiān)測(cè)系統(tǒng)共享層架構(gòu)介紹

目前中國(guó)移動(dòng)定義的信令監(jiān)測(cè)系統(tǒng)在架構(gòu)上分為3層，第一層為信令采集層，由七號(hào)信令采集接入設(shè)備、IP信令采集接入設(shè)備和信令采集網(wǎng)關(guān)構(gòu)成，完成移動(dòng)通信網(wǎng)信令數(shù)據(jù)的實(shí)時(shí)采集，生成全量信令數(shù)據(jù)并向上傳送；第二層為共享層，完成信令消息的解碼合成、數(shù)據(jù)的計(jì)算、整理、統(tǒng)計(jì)，根據(jù)訂閱需求生成CDR/TDR信令數(shù)據(jù)、業(yè)務(wù)信令數(shù)據(jù)，合理組織和存儲(chǔ)數(shù)據(jù)，并通過(guò)接口對(duì)外提供信令數(shù)據(jù)的共享和傳輸；第三層為應(yīng)用層，主要完成信令數(shù)據(jù)的應(yīng)用處理、表示和呈現(xiàn)。

信令共享層是一個(gè)處于信令采集與信令監(jiān)測(cè)應(yīng)用之間的系統(tǒng)。主要包括信令處理模塊、接入模塊、管理模塊3大部分。

信令處理模塊主要完成對(duì)信令采集網(wǎng)關(guān)上報(bào)的全量信令數(shù)據(jù)進(jìn)行預(yù)處理以及在此基礎(chǔ)上的進(jìn)一步分析、合成以及處理等操作，生成應(yīng)用系統(tǒng)所需的業(yè)務(wù)信令數(shù)據(jù)、CDR/TDR信令數(shù)據(jù)或統(tǒng)計(jì)數(shù)據(jù)等；接入模塊采用集群或負(fù)載均衡方式，主要負(fù)責(zé)根據(jù)應(yīng)用系統(tǒng)的訂閱請(qǐng)求，進(jìn)行協(xié)議轉(zhuǎn)換以及數(shù)據(jù)分發(fā)功能；管理模塊主要負(fù)責(zé)訂閱、查詢、注冊(cè)以及安全控制等業(yè)務(wù)管理，網(wǎng)管等系統(tǒng)管理功能。

2 信令監(jiān)測(cè)系統(tǒng)共享層中的云計(jì)算特性

2.1 基于SOA的體系架構(gòu)

信令監(jiān)測(cè)系統(tǒng)共享層軟件設(shè)計(jì)采用了SOA架構(gòu)，對(duì)各類應(yīng)用進(jìn)行服務(wù)封裝，通過(guò)數(shù)據(jù)、服務(wù)等總線，保證封裝成SOA服務(wù)的各種應(yīng)用模塊能夠協(xié)同工作，并進(jìn)行靈活的構(gòu)建。在信令監(jiān)測(cè)系統(tǒng)共享層，所有資源包括計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源以及應(yīng)用都可以以服務(wù)的形式，按單個(gè)或是多個(gè)有機(jī)整合的方式向用戶提供服務(wù)。這是運(yùn)用云計(jì)算技術(shù)的必要條件，也使云計(jì)算技術(shù)應(yīng)用于信令監(jiān)測(cè)系統(tǒng)共享層成為可能。

2.2 分布式計(jì)算

信令監(jiān)測(cè)系統(tǒng)共享層的計(jì)算功能主要包括對(duì)信令的解碼合成、數(shù)據(jù)的整理統(tǒng)計(jì)、根據(jù)訂閱需求生成CDR數(shù)據(jù)及業(yè)務(wù)信令數(shù)據(jù)等。采用分布式計(jì)算平臺(tái)對(duì)各省上傳的大量原始信令數(shù)據(jù)進(jìn)行合成計(jì)算，并利用相關(guān)計(jì)算對(duì)各個(gè)計(jì)算資源進(jìn)行統(tǒng)一管理和動(dòng)態(tài)調(diào)配，充分利用各單位的服務(wù)器資源，滿足大計(jì)算量的需求。

2.3 海量數(shù)據(jù)存儲(chǔ)和處理

根據(jù)信令監(jiān)測(cè)系統(tǒng)的架構(gòu)，共享層需存儲(chǔ)所有原始數(shù)據(jù)及大量的CDR、統(tǒng)計(jì)報(bào)表數(shù)據(jù)，存儲(chǔ)量達(dá)到PB級(jí)。怎樣保證上述大規(guī)模數(shù)據(jù)進(jìn)行安全、可靠和高效的傳輸、存儲(chǔ)和管理是信令監(jiān)測(cè)系統(tǒng)迫切需要解決的關(guān)鍵問(wèn)題。原有系統(tǒng)通過(guò)UNIX小型機(jī)+磁盤陣列的方式對(duì)上述數(shù)據(jù)進(jìn)行存儲(chǔ)，造成系統(tǒng)建設(shè)的投資過(guò)大等問(wèn)題，如何根據(jù)應(yīng)用頻率、調(diào)用速度等因素合理部署上述數(shù)據(jù)是云計(jì)算技術(shù)在共享層部署的關(guān)鍵點(diǎn)。

3 云計(jì)算技術(shù)在共享層的部署策略

從云計(jì)算角度對(duì)信令監(jiān)測(cè)系統(tǒng)進(jìn)行邏輯上的劃分，大體可以分為信令合成處理部分、原始信令數(shù)據(jù)及CDR存儲(chǔ)部分和綜合分析部分。經(jīng)過(guò)分析，對(duì)于信令合成處理部分，能夠較好的運(yùn)用云計(jì)算的分布式計(jì)算技術(shù)，可采用若干臺(tái)X86架構(gòu)的服務(wù)器進(jìn)行大規(guī)模的計(jì)算，并有良好的分發(fā)機(jī)制，保證流量在各個(gè)服務(wù)器之間做到良好的負(fù)載均衡；對(duì)于原始信令數(shù)據(jù)及CDR數(shù)據(jù)的存儲(chǔ)，基本的存儲(chǔ)要求如表1所示。

由表1可見，信令監(jiān)測(cè)系統(tǒng)數(shù)據(jù)存儲(chǔ)量很大，但對(duì)于長(zhǎng)時(shí)間內(nèi)的全量原始數(shù)據(jù)及CDR數(shù)據(jù)的調(diào)用頻率較少，而這兩部分?jǐn)?shù)據(jù)量占到總存儲(chǔ)量的75%以上，這部分?jǐn)?shù)據(jù)可存儲(chǔ)在分布式文件系統(tǒng)中，并在HDFS中建立CDR的索引，以便需要用到CDR數(shù)據(jù)時(shí)，能保證較少的查詢時(shí)間；對(duì)于統(tǒng)計(jì)及報(bào)表數(shù)據(jù)，經(jīng)常會(huì)用于生成KPI等指標(biāo)，對(duì)這部分?jǐn)?shù)據(jù)查詢的相應(yīng)時(shí)間要求較高，可將時(shí)間段較長(zhǎng)（如一年）的數(shù)據(jù)存儲(chǔ)在HBase中，關(guān)系型數(shù)據(jù)庫(kù)中僅保存部分熱數(shù)據(jù)，以節(jié)省關(guān)系型數(shù)據(jù)庫(kù)的占用量。各部分具體部署策略如下。

表1 存儲(chǔ)設(shè)備配置要求

3.1 信令CDR合成功能與處理方案

信令合成處理系統(tǒng)總架構(gòu)如圖1所示。

信令共享平臺(tái)通過(guò)IF1口接入采集層全量原始信令，全量數(shù)據(jù)按流量分配進(jìn)入負(fù)載均衡機(jī)，負(fù)載均衡機(jī)根據(jù)CDR合成集群各節(jié)點(diǎn)負(fù)載情況，動(dòng)態(tài)分配全量原始信令到各CDR合成處理機(jī)， CDR合成后進(jìn)行預(yù)統(tǒng)計(jì)、用戶訂閱數(shù)據(jù)分發(fā)、實(shí)時(shí)跟蹤等業(yè)務(wù)應(yīng)用處理， 同時(shí)將CDR存入分步式存儲(chǔ)系統(tǒng)。

3.1.1 負(fù)載均衡機(jī)功能

圖1 信令合成處理系統(tǒng)架構(gòu)

監(jiān)控所有CDR合成機(jī)負(fù)載情況，動(dòng)態(tài)分配全量原始數(shù)據(jù)，監(jiān)控所有CDR合成機(jī)運(yùn)行狀態(tài)，如果發(fā)現(xiàn)CDR合成機(jī)出現(xiàn)問(wèn)題，那么就把分配給這臺(tái)機(jī)器的全量原始數(shù)據(jù)，重新分配到其他CDR合成機(jī)，以消除單點(diǎn)故障，提高系統(tǒng)可靠性。

負(fù)載均衡機(jī)采用Paxos 算法解決一致性問(wèn)題，集群在某一時(shí)刻只有一個(gè)Master負(fù)責(zé)均衡能力，當(dāng)Master宕機(jī)后，其他節(jié)點(diǎn)重新選舉Master。保證負(fù)載均衡機(jī)不會(huì)存在單點(diǎn)問(wèn)題，CDR合成機(jī)負(fù)載一致性。

3.1.2 CDR合成處理機(jī)功能

將全量原始信令進(jìn)行信令解碼、合成處理。生成后的不完整CDR進(jìn)入關(guān)聯(lián)合成模塊，補(bǔ)充完整CDR所有信息，合成完整的CDR。合成后的CDR分別進(jìn)入預(yù)統(tǒng)計(jì)模塊進(jìn)行1分鐘粒度統(tǒng)計(jì)、CDR分發(fā)模塊進(jìn)行按訂閱條件分發(fā)CDR 到各應(yīng)用系統(tǒng)、實(shí)時(shí)跟蹤模塊按條件分發(fā)CDR到用戶端、將CDR存入分步式存儲(chǔ)系統(tǒng)。

3.1.3 實(shí)時(shí)業(yè)務(wù)

對(duì)于實(shí)時(shí)性要求高的業(yè)務(wù)應(yīng)用，如：實(shí)時(shí)跟蹤、網(wǎng)絡(luò)指標(biāo)分析、告警等業(yè)務(wù)，走實(shí)時(shí)專道。

3.1.4 自管理系統(tǒng)

提供集群自管理功能，包括：拓?fù)涔芾?、告警管理、用戶?quán)限管理等。

圖2 數(shù)據(jù)存儲(chǔ)處理架構(gòu)

3.2 數(shù)據(jù)存儲(chǔ)功能與處理方案

數(shù)據(jù)存儲(chǔ)處理總架如圖2所示。

數(shù)據(jù)存儲(chǔ)系統(tǒng)提供如下功能。

3.2.1 CDR數(shù)據(jù)處理

接收來(lái)自CDR 合成系統(tǒng)的CDR數(shù)據(jù)， 索引模塊實(shí)時(shí)生成索引文件，以提高查詢速度。生成的索引文件存儲(chǔ)到HDFS中，以供查詢CDR使用。

專題業(yè)務(wù)分析，通過(guò)MapReduce并行計(jì)算，同期提取業(yè)務(wù)數(shù)據(jù)，將結(jié)果分存兩路，一路存入Hbase或日志詳單存儲(chǔ)， 一路存入關(guān)系型數(shù)據(jù)庫(kù)。

3.2.2 KPI指標(biāo)數(shù)據(jù)處理

CDR合成系統(tǒng)生成的1分鐘粒度的KPI統(tǒng)計(jì)數(shù)據(jù)分存兩路，一路存入分步式數(shù)據(jù)Hbase中， 一路存入關(guān)系性數(shù)據(jù)庫(kù)中，關(guān)系性數(shù)據(jù)庫(kù)保留近期數(shù)據(jù)，以供客戶實(shí)時(shí)查詢。 存入Hbase的KPI數(shù)據(jù)，周期的統(tǒng)計(jì)大粒度數(shù)據(jù)存入再分寫兩路，一路存入數(shù)據(jù)庫(kù)，另一路存入Hbase中。同樣的存入數(shù)據(jù)庫(kù)中的數(shù)據(jù)，也只保留近期數(shù)據(jù)。歷史數(shù)據(jù)全部保存在Hbase中，周期為一年。

3.2.3 原始全量信令數(shù)據(jù)處理

CDR合成系統(tǒng)生成的原始全量信令數(shù)據(jù)及其索引文件，存入資源池分布式存儲(chǔ)服務(wù)中，以供CDR查詢使用。

3.2.4 信令事件數(shù)據(jù)處理

CDR合成系統(tǒng)生成的信令事件數(shù)據(jù)處理，存入資源池分存式存儲(chǔ)服務(wù)中。以FTP接口方式對(duì)應(yīng)用層提供服務(wù)。

訂閱系統(tǒng)產(chǎn)生的用戶訂單，存入分存式存儲(chǔ)服務(wù)中。

系統(tǒng)管理系統(tǒng)數(shù)據(jù)，存入日志詳單類數(shù)據(jù)存儲(chǔ)服務(wù)中。

3.3 查詢分析功能與處理方案

存儲(chǔ)系統(tǒng)接入CDR合成系統(tǒng)，將CDR存入分步式文件系統(tǒng)HDFS，并同時(shí)建立索引，將索引文件存入HDFS。當(dāng)客戶發(fā)起請(qǐng)求后，客戶端把請(qǐng)求發(fā)向查詢接口服務(wù)器，查詢接口服務(wù)器解析查詢請(qǐng)求，后向Master任務(wù)調(diào)度機(jī)發(fā)送查詢?nèi)蝿?wù)執(zhí)行命令；Master回應(yīng)執(zhí)行命令節(jié)點(diǎn)信息，查詢服務(wù)器根據(jù)節(jié)點(diǎn)信息將查詢命令發(fā)向查詢計(jì)算模塊，進(jìn)行具體查詢操作，將查詢結(jié)果返回給客戶端，呈現(xiàn)給用戶。

3.4 CDR訂閱管理功能與處理方案

在數(shù)據(jù)存儲(chǔ)集群中劃分出訂閱系統(tǒng)構(gòu)成分組： 分為SDTP協(xié)議分發(fā)組、WebService協(xié)議分發(fā)組、Ftp協(xié)議分發(fā)組以及訂閱接口服務(wù)器組。

訂閱系統(tǒng)功能有：CDR、業(yè)務(wù)信令事件、指標(biāo)等數(shù)據(jù)訂閱功能、用戶管理、系統(tǒng)配置管理、權(quán)限管理、日志管理等。

訂閱系統(tǒng)所有管理數(shù)據(jù)存儲(chǔ)在日志類分步式文件系統(tǒng)中，所有用戶訂單存儲(chǔ)在資源池分存式存儲(chǔ)服務(wù)中，以供數(shù)據(jù)分發(fā)服務(wù)器獲取訂閱信息。

用戶訂閱后的數(shù)據(jù)，其中SDTP、WebService數(shù)據(jù)通過(guò)各接口服務(wù)器主動(dòng)推送給應(yīng)用層。Ftp數(shù)據(jù)存入資源池分存式存儲(chǔ)服務(wù)中， 用戶通過(guò)FTP服務(wù)接口服務(wù)器主動(dòng)獲取數(shù)據(jù)。

4 運(yùn)用的關(guān)鍵技術(shù)

4.1 負(fù)載均衡的實(shí)現(xiàn)方式

全量原始數(shù)據(jù)接入交換機(jī)，將數(shù)據(jù)發(fā)向指定IP的負(fù)載均衡機(jī)，負(fù)載均衡機(jī)向負(fù)載均衡Master節(jié)點(diǎn)請(qǐng)求CDR處理機(jī)，Master返回CDR合成的IP端口信息，負(fù)載均衡機(jī)根據(jù)CDR合成的IP端口信息將數(shù)據(jù)發(fā)向CDR合成機(jī)。

當(dāng)某一臺(tái)負(fù)載均衡機(jī)宕機(jī)后：

第一步 Master節(jié)點(diǎn)能過(guò)鏈接心跳得知宕機(jī)負(fù)載均衡機(jī)；

第二步 Master節(jié)點(diǎn)從所有均衡機(jī)中選出負(fù)載小的負(fù)載均衡機(jī)，啟動(dòng)虛擬IP及相關(guān)進(jìn)程；

第三步 啟動(dòng)虛擬IP接收原始信令數(shù)據(jù)，進(jìn)行負(fù)載均衡。

當(dāng)Master節(jié)點(diǎn)宕機(jī)后：

第一步Master節(jié)點(diǎn)宕機(jī)， 負(fù)載均衡節(jié)點(diǎn)及CDR節(jié)點(diǎn)能過(guò)鏈接心跳得知Master宕機(jī)；

第二步所有負(fù)載均衡節(jié)點(diǎn)，重選舉出Master節(jié)點(diǎn)，并通知CDR合成節(jié)點(diǎn)新Master節(jié)點(diǎn)，所有CDR合成節(jié)點(diǎn)，根據(jù)負(fù)載均衡IP列表，請(qǐng)求新Master節(jié)點(diǎn)，后向新Master節(jié)點(diǎn)上報(bào)負(fù)載狀態(tài)；

第三步 新Master節(jié)點(diǎn)接管所有工作，對(duì)宕機(jī)的Master節(jié)點(diǎn)容錯(cuò)。

4.2 CDR索引的建立方式

按照數(shù)據(jù)存儲(chǔ)處理方案的描述，需將CDR數(shù)據(jù)存入分布式存儲(chǔ)系統(tǒng)中，但由此又將帶來(lái)一個(gè)新的問(wèn)題，以文本或二進(jìn)制數(shù)據(jù)文件保存的CDR數(shù)據(jù)難以支持高效的數(shù)據(jù)查詢。

對(duì)CDR數(shù)據(jù)建立查詢索引是一個(gè)有效的解決方法，具體解決方案如下：

繞過(guò)HBase，在HDFS上直接構(gòu)建針對(duì)各種查詢方式的索引，且將索引直接存儲(chǔ)在HDFS上。由于采用了這種索引方式，可以基本上做到索引的構(gòu)建時(shí)間和查詢時(shí)間只會(huì)隨著數(shù)據(jù)量的增長(zhǎng)呈對(duì)數(shù)增長(zhǎng)，對(duì)于給定的數(shù)據(jù)流量和保存周期，每次檢索的訪問(wèn)存儲(chǔ)次數(shù)可以控制在幾十次之內(nèi)，因此可以保證實(shí)時(shí)性。具體設(shè)計(jì)實(shí)現(xiàn)方法如下。

首先，在HDFS文件中，通過(guò)READ按照各個(gè)號(hào)碼建立First-level索引表，并在每一單元列出該號(hào)碼所有CDR的offset，由于各用戶通話次數(shù)不一，因而每個(gè)單元數(shù)據(jù)的長(zhǎng)度不一，于是建立對(duì)應(yīng)號(hào)碼的Secondlevel索引表，其中的offset對(duì)應(yīng)First-level的位置信息，該表的各單元的數(shù)據(jù)長(zhǎng)度保持一致，可以通過(guò)二分法查找，最大查找次數(shù)為1bN (N為Second-level中所包含的號(hào)碼個(gè)數(shù)，該對(duì)數(shù)曲線如圖)，由于在Secondlevel中存有大量號(hào)碼，故最大查詢次數(shù)基本保持不變，以此保證了較高的查詢效率。

但是當(dāng)查詢某一號(hào)碼在一段時(shí)間內(nèi)如一星期的通話記錄時(shí)，就需要對(duì)許多個(gè)索引表去檢索，這就會(huì)導(dǎo)致檢索時(shí)間增加，假設(shè)某號(hào)碼一個(gè)星期的通話記錄，存在于K個(gè)檢索表中，需要檢索的最大次數(shù)為K×1bN，在K×N為常數(shù)的情況下，可以減小K值，由于N的增大對(duì)單個(gè)索引表的查詢來(lái)說(shuō)，最大查詢次數(shù)變化很?。ㄈ鐚?duì)數(shù)圖像所示），因此可采用歸并First-level文件，重新建立Second-level索引表，這樣大大減小了最大索引次數(shù)。目前采用的方案是將每一個(gè)小時(shí)生成的Firstlevel進(jìn)行歸并，然后重新建立該文件對(duì)應(yīng)的Seccondlevel,當(dāng)天過(guò)后，再將24個(gè)文件歸并為一個(gè)文件，建立該文件對(duì)應(yīng)的Second-level。

4.3 適應(yīng)需求的混合存儲(chǔ)策略

混合存儲(chǔ)策略可以簡(jiǎn)述為HDFS分布式文件系統(tǒng)用來(lái)存儲(chǔ)海量數(shù)據(jù)，可以根據(jù)存儲(chǔ)的數(shù)據(jù)類型建立索引，HBase也可用來(lái)存儲(chǔ)海量數(shù)據(jù)，其由查詢條件建立索引表， Database對(duì)小型數(shù)據(jù)的存儲(chǔ)處理。

分布式文件系統(tǒng)HDFS是一個(gè)開源云計(jì)算平臺(tái)Hadoop框架的底層實(shí)現(xiàn)部分，適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)，具有高容錯(cuò)性，能提高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合于大規(guī)模數(shù)據(jù)集上的應(yīng)用。MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)的并行框架，為用戶提供容易使用的并行編程模式，MapReduce計(jì)算包括兩個(gè)階段，Map（映射）階段和Reduce（規(guī)范）階段。首先，Map函數(shù)把一組(Key,Value)輸入，映射為一組中間結(jié)果 (Key,Value)，然后通過(guò)Reduce函數(shù)把具有相同Key值的中間結(jié)果，進(jìn)行合并化簡(jiǎn)。MapReduce將計(jì)算作業(yè)分成許多小的單元，同時(shí)數(shù)據(jù)也會(huì)被HDFS分為多個(gè)Block，并且每個(gè)數(shù)據(jù)塊被復(fù)制多份，保證系統(tǒng)的可靠性，HDFS按照一定的規(guī)則將數(shù)據(jù)塊放置在集群中的不同機(jī)器上，以便MapReduce在數(shù)據(jù)宿主機(jī)器上進(jìn)行計(jì)算。

HBase是一個(gè)分布式數(shù)據(jù)庫(kù)，是一個(gè)稀疏的，長(zhǎng)期存儲(chǔ)的，多維的，排序的映射表.這張表的索引是行關(guān)鍵字，列關(guān)鍵字和時(shí)間戳。所有數(shù)據(jù)庫(kù)的更新都是一個(gè)時(shí)間戳標(biāo)記，每個(gè)更新都是一個(gè)新的版本，而HBase會(huì)保留一定數(shù)量的版本，這個(gè)值是可以設(shè)定的?？蛻舳丝梢垣@取距離某個(gè)時(shí)間最近的版本，或者一次獲取所有版本。

5 結(jié)束語(yǔ)

信令監(jiān)測(cè)系統(tǒng)在保障移動(dòng)通信網(wǎng)絡(luò)高質(zhì)量運(yùn)行，快速響應(yīng)用戶投訴，提升用戶感知等方面發(fā)揮著重要作用。目前全國(guó)共有6個(gè)省采用云方案進(jìn)行共享層建設(shè)的試點(diǎn)工作，待試點(diǎn)結(jié)束后再向全國(guó)推廣。采用云方案在降低信令監(jiān)測(cè)系統(tǒng)造價(jià)的同時(shí)還能保證其較高的系統(tǒng)性能，使其與其他網(wǎng)絡(luò)運(yùn)維支撐系統(tǒng)合理分工、協(xié)作，共同成為中國(guó)移動(dòng)“業(yè)務(wù)和服務(wù)雙領(lǐng)先” 戰(zhàn)略的有力支撐。

[1] 中國(guó)移動(dòng)信令監(jiān)測(cè)系統(tǒng)總體技術(shù)要求[S].

[2] 中國(guó)移動(dòng)內(nèi)部云資源池系統(tǒng)總體技術(shù)要求[S].

[3] 中國(guó)移動(dòng)云存儲(chǔ)系統(tǒng)設(shè)備規(guī)范[S].

[4] 中國(guó)移動(dòng)云存儲(chǔ)系統(tǒng)接口規(guī)范[S].