王立夫 明慧芳

（1.海軍駐武漢地區(qū)通信軍事代表室 武漢 430079）（2.中船重工集團(tuán)公司第七二二研究所 武漢 430079）

1 引言

隨著3G數(shù)據(jù)業(yè)務(wù)的不斷深化和移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)通信的持續(xù)發(fā)展，帶來(lái)流量的快速增長(zhǎng)，業(yè)務(wù)類(lèi)型越來(lái)越豐富，為移動(dòng)網(wǎng)絡(luò)運(yùn)營(yíng)商帶來(lái)新的業(yè)務(wù)增長(zhǎng)點(diǎn)和創(chuàng)收點(diǎn)，移動(dòng)網(wǎng)絡(luò)的骨干出口呈現(xiàn)高寬帶和高流量化的發(fā)展趨勢(shì)。隨著寬帶和流量的增大移動(dòng)網(wǎng)絡(luò)運(yùn)營(yíng)將面臨網(wǎng)絡(luò)負(fù)荷和網(wǎng)絡(luò)設(shè)備數(shù)量不斷增大，網(wǎng)絡(luò)的質(zhì)量和性能的穩(wěn)定性難以保證，客戶投訴攀升等問(wèn)題。

通過(guò)獲取網(wǎng)絡(luò)接口控制信令和業(yè)務(wù)數(shù)據(jù)并快速在線關(guān)聯(lián)分析可以全面有效地掌握網(wǎng)絡(luò)運(yùn)行狀態(tài)、快速準(zhǔn)確定位網(wǎng)絡(luò)故障［1］、了解業(yè)務(wù)區(qū)域使用情況和用戶使用喜好和習(xí)慣，為用戶提供更可靠的網(wǎng)絡(luò)和個(gè)性化的服務(wù)。移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)的主要特征是數(shù)據(jù)流量大，會(huì)話關(guān)聯(lián)性強(qiáng)，因此在大流量數(shù)據(jù)接入系統(tǒng)中負(fù)載均衡技術(shù)必須能夠滿足根據(jù)實(shí)際流量可擴(kuò)展和保持會(huì)話關(guān)聯(lián)的需求。

本文提出并驗(yàn)證了一種適用于中國(guó)電信的CDMA2000 1XEV－DO 網(wǎng) 絡(luò) R－P（PCF 和 PDSN之間的連接）接口大流量數(shù)據(jù)處理（10G～40G）的負(fù)載均衡方法。

2 CDMA2000 1XEV－DO中R－P接口數(shù)據(jù)特征

CDMA2000 1XEV－DO技術(shù)是目前已經(jīng)商用的、成熟的第三代移動(dòng)通信標(biāo)準(zhǔn)。CDMA2000 1X EV－DO網(wǎng)絡(luò)與CDMA2000 1X網(wǎng)絡(luò)的無(wú)線接入網(wǎng)部分在邏輯功能上相互獨(dú)立，分組域核心網(wǎng)部分可以共用［10］，一般采用混合組網(wǎng)方式［11］，如圖1所示。

圖1 CDMA2000組網(wǎng)示意圖

R－P（Radio Network to PDSN）接口是無(wú)線網(wǎng)絡(luò)和核心網(wǎng)分組域的分界點(diǎn)［2］，它是無(wú)線網(wǎng)絡(luò)提供分組數(shù)據(jù)服務(wù)的基礎(chǔ)。R－P接口承載的交互信令和業(yè)務(wù)數(shù)據(jù)碼流，可以反映網(wǎng)絡(luò)原始流量特性。RP接口包括兩個(gè)邏輯接口，A11接口和A10接口［4］。A11是用戶的接入控制的信令接口，為用戶的分組數(shù)據(jù)業(yè)務(wù)維護(hù)PCF到PDSN之間的信令連接［5］，用于傳輸會(huì)話、連接以及其他相關(guān)消息。A10接口是數(shù)據(jù)接口，承載用戶的分組業(yè)務(wù)數(shù)據(jù)，用戶的數(shù)據(jù)業(yè)務(wù)（如：視頻、音樂(lè)、圖像等）所需要的數(shù)據(jù)流都由A10連接承載。A10鏈路由A11信令完成建立、維持和釋放［9］。在CDMA2000 1XEVDO中的數(shù)據(jù)業(yè)務(wù)都要經(jīng)過(guò)A10／A11接口的協(xié)商，R－P接口是移動(dòng)互聯(lián)網(wǎng)用戶數(shù)據(jù)業(yè)務(wù)通信必經(jīng)的接口，同時(shí)R－P接口是開(kāi)放接口，數(shù)據(jù)封裝在PPP協(xié)議中，沒(méi)有進(jìn)行加密處理，不同廠家的設(shè)備都按照R－P接口規(guī)定設(shè)計(jì)就可以實(shí)現(xiàn)互聯(lián)互通［6］。通過(guò)獲取R－P接口數(shù)據(jù)可以掌握網(wǎng)絡(luò)運(yùn)行狀態(tài)、定位網(wǎng)絡(luò)故障、了解業(yè)務(wù)區(qū)域使用情況和用戶使用喜好和習(xí)慣。

R－P接口中信令數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)之間存在緊密的關(guān)聯(lián)關(guān)系，要實(shí)現(xiàn)快速R－P接口業(yè)務(wù)流程還原、業(yè)務(wù)故障還原和用戶會(huì)話還原，要求大流量數(shù)據(jù)接入系統(tǒng)中的負(fù)載均衡技術(shù)能根據(jù)不同的關(guān)聯(lián)關(guān)系，按照一定的均衡策略將大流量數(shù)據(jù)在使用多個(gè)采集板協(xié)調(diào)工作的同時(shí)，保證同一用戶的數(shù)據(jù)在同一塊處理設(shè)備上進(jìn)行處理，不打亂用戶會(huì)話過(guò)程。

隨著移動(dòng)數(shù)據(jù)業(yè)務(wù)的快速發(fā)展，R－P接口數(shù)據(jù)流量增長(zhǎng)迅速，僅以中國(guó)電信一個(gè)中等規(guī)模的省會(huì)城市為例：目前的峰值流量已經(jīng)超過(guò)15Gbps，并且以每月5%左右的趨勢(shì)持續(xù)遞增。大流量數(shù)據(jù)接入系統(tǒng)中的負(fù)載均衡技術(shù)必須具有硬件設(shè)備的可擴(kuò)展性和均衡算法的可分層性，以適應(yīng)實(shí)際網(wǎng)絡(luò)發(fā)展。

3 常用負(fù)載均衡技術(shù)

常用的負(fù)載均衡方法都是將負(fù)載進(jìn)行平衡，平均分?jǐn)偟蕉鄠€(gè)操作單元［3］上執(zhí)行。如加權(quán)法、輪詢法［7］就是以報(bào)文分組為顆粒度［8］，在需要恢復(fù)用戶會(huì)話數(shù)據(jù)的應(yīng)用場(chǎng)景中采用傳統(tǒng)的負(fù)載均衡方法會(huì)使得具有相同屬性的流量可能被分離，失去了會(huì)話關(guān)聯(lián)性，導(dǎo)致有序數(shù)據(jù)處理亂序，數(shù)據(jù)分析存在較大的誤差和難度，無(wú)法滿足快速還原CDMA2000 1X EV－DO用戶會(huì)話流程的需要。

目前通用的數(shù)據(jù)接入系統(tǒng)中的負(fù)載均衡方法是將接入的數(shù)據(jù)通過(guò)單塊10G處理板將接入數(shù)據(jù)均衡地發(fā)送到多塊協(xié)議解析板卡上，由多塊協(xié)議解析版來(lái)承擔(dān)整個(gè)數(shù)據(jù)接入帶來(lái)的大負(fù)荷。但是，隨著移動(dòng)數(shù)據(jù)業(yè)務(wù)的快速發(fā)展，R－P接口數(shù)據(jù)流量增長(zhǎng)迅速，受制于硬件性能，單塊處理板入口峰值流量將遠(yuǎn)遠(yuǎn)超過(guò)10Gbps，單靠多塊協(xié)議解析板來(lái)進(jìn)行扁平化的負(fù)載均衡將導(dǎo)致相當(dāng)一部分有效數(shù)據(jù)由于處理板不能及時(shí)處理被丟棄，這種方法不能適應(yīng)大流量數(shù)據(jù)接入。

4 R－P接口大流量數(shù)據(jù)的負(fù)載均衡方案關(guān)鍵技術(shù)

針對(duì)CDMA2000 1XEV－DO實(shí)際網(wǎng)絡(luò)中的R－P接口數(shù)據(jù)流量大且持續(xù)遞增和數(shù)據(jù)間關(guān)聯(lián)關(guān)系緊密等特點(diǎn)，硬件上采用多級(jí)設(shè)備級(jí)聯(lián)的提升負(fù)載均衡的可擴(kuò)展性，軟件上采用基于會(huì)話關(guān)聯(lián)的分層負(fù)載均衡算法，實(shí)現(xiàn)將R－P接口接入的大流量數(shù)據(jù)均衡的發(fā)送到多套處理板卡上進(jìn)行處理，且保證每個(gè)用戶的數(shù)據(jù)在同一套處理板卡上。

具體實(shí)現(xiàn)方案中主要包括以下兩大技術(shù)：

1）硬件設(shè)備可擴(kuò)展的級(jí)聯(lián)結(jié)構(gòu)部署方式

硬件設(shè)備可擴(kuò)展的級(jí)聯(lián)結(jié)構(gòu)部署方式中采用商用成熟穩(wěn)定的10G處理板和10G交換設(shè)備，根據(jù)網(wǎng)絡(luò)中R－P接口的實(shí)際數(shù)據(jù)流量，按照每塊處理板負(fù)荷流量在10G以內(nèi)的原則，擴(kuò)展處理板數(shù)量，多塊處理板卡通過(guò)級(jí)聯(lián)方式均衡數(shù)據(jù)，通過(guò)中心交換設(shè)備進(jìn)行匯聚，適應(yīng)入口數(shù)據(jù)流量增長(zhǎng)。

2）基于會(huì)話關(guān)聯(lián)的分層負(fù)載均衡算法

基于會(huì)話關(guān)聯(lián)的分層負(fù)載均衡算法中首先通過(guò)接入數(shù)據(jù)所屬的PCF（分組控制功能設(shè)備）的IP標(biāo)識(shí)和處理板板號(hào)之間的對(duì)應(yīng)關(guān)系將數(shù)據(jù)包發(fā)送到對(duì)應(yīng)的處理板，進(jìn)行第一層數(shù)據(jù)負(fù)載均衡；緊接著按照用戶IMSI（國(guó)際移動(dòng)用戶標(biāo)識(shí)碼）和會(huì)話Key關(guān)聯(lián)信令和業(yè)務(wù)數(shù)據(jù)還原會(huì)話流程，以用戶IMSI為索引查找對(duì)應(yīng)協(xié)議解析板的MAC地址，將對(duì)應(yīng)用戶的數(shù)據(jù)發(fā)送到獲取到MAC地址的協(xié)議解析板上進(jìn)行協(xié)議處理，完成第二層數(shù)據(jù)負(fù)載均衡。

5 R－P接口大流量數(shù)據(jù)的負(fù)載均衡方案實(shí)施

5.1 硬件設(shè)備可擴(kuò)展的級(jí)聯(lián)結(jié)構(gòu)部署方法

本文針對(duì)R－P接口峰值流量為20Gbps和40Gbps的場(chǎng)景分別描述硬件設(shè)備可擴(kuò)展的級(jí)聯(lián)結(jié)構(gòu)的具體實(shí)施部署方式。

1）R－P接口數(shù)據(jù)峰值流量為20Gbps時(shí)硬件設(shè)備級(jí)聯(lián)部署

R－P接口20G的峰值流量數(shù)據(jù)通過(guò)10對(duì)千兆口發(fā)送到10G交換設(shè)備A中，交換設(shè)備A按照預(yù)先配置的原則（地市、區(qū)域等）將數(shù)據(jù)分為兩部分，并從交換設(shè)備萬(wàn)兆口發(fā)出。數(shù)據(jù)從兩塊10G處理板的后IO板中的萬(wàn)兆口進(jìn)入，處理板關(guān)聯(lián)分組報(bào)文協(xié)議上下文，并按IMSI關(guān)聯(lián)關(guān)系查找目的協(xié)議解析板卡MAC地址，數(shù)據(jù)從兩塊處理板的后IO千兆口發(fā)出進(jìn)入10G交換設(shè)備B，并經(jīng)其匯聚按目的MAC地址發(fā)往對(duì)應(yīng)的協(xié)議解析板卡，從而保證數(shù)據(jù)均衡并且屬于同一用戶的數(shù)據(jù)包發(fā)往一個(gè)協(xié)議解析板卡，硬件部署如圖2所示。

圖2 20G流量時(shí)硬件設(shè)備級(jí)聯(lián)部署圖

2）R－P接口數(shù)據(jù)峰值流量為40Gbps時(shí)硬件設(shè)備級(jí)聯(lián)部署

圖3 40G流量可擴(kuò)展的設(shè)備級(jí)聯(lián)結(jié)構(gòu)部署圖

40G的R－P接口數(shù)據(jù)通過(guò)10對(duì)千兆口發(fā)送到10G交換設(shè)備A中，交換設(shè)備A按照預(yù)先配置的原則（地市、區(qū)域等）將數(shù)據(jù)分成四部分，并從交換設(shè)備的萬(wàn)兆口發(fā)出。數(shù)據(jù)從四塊10G處理板的后IO板中的萬(wàn)兆口進(jìn)入，處理板關(guān)聯(lián)分組報(bào)文協(xié)議上下文，并按IMSI關(guān)聯(lián)關(guān)系查找協(xié)議解析辦卡MAC地址，數(shù)據(jù)從四塊處理板的后IO千兆口發(fā)出進(jìn)入10G交換設(shè)備B，并經(jīng)其匯聚進(jìn)入10G交換設(shè)備C，10G交換設(shè)備C按目的MAC地址發(fā)往對(duì)應(yīng)的協(xié)議解析板卡，從而保證數(shù)據(jù)均衡的同時(shí)屬于同一用戶的數(shù)據(jù)包發(fā)往同一個(gè)協(xié)議解析板卡，硬件部署如圖3所示。從20G流量數(shù)據(jù)和40G流量數(shù)據(jù)中的設(shè)備部署來(lái)看通過(guò)增加處理設(shè)備和交換設(shè)備的級(jí)聯(lián)數(shù)量可以實(shí)現(xiàn)更大流量數(shù)據(jù)的負(fù)載均衡，該方法具有可擴(kuò)展性。

5.2 負(fù)載均衡軟件實(shí)施流程

負(fù)載均衡算法軟件實(shí)施過(guò)程如圖4所示，包括如下過(guò)程：

1）解析數(shù)據(jù)包所屬PCF的IP地址，查找與該IP對(duì)應(yīng)的預(yù)先配置好的處理設(shè)備板卡號(hào)，將數(shù)據(jù)包發(fā)送到對(duì)應(yīng)的處理板上，完成第一層數(shù)據(jù)負(fù)載均衡；

2）處理設(shè)備板對(duì)R－P接口數(shù)據(jù)包進(jìn)行解析，在A11信令消息中解析Message Type字段，在Message Type等于Request的消息中，進(jìn)一步解析數(shù)據(jù)的IMSI、GRE key［5］值；

3）根據(jù)解析得到的IMSI、GRE key值確定一個(gè)用戶的一個(gè)會(huì)話，在A11和A10數(shù)據(jù)中對(duì)信令數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)進(jìn)行上下文關(guān)聯(lián)還原會(huì)話數(shù)據(jù)；

4）將IMSI作為索引，查找IMSI對(duì)應(yīng)用戶協(xié)議處理的協(xié)議解析板卡號(hào)，獲取該協(xié)議解析板卡的MAC地址；

5）將獲取到的MAC地址值改寫(xiě)為數(shù)據(jù)包的目的MAC地址，把數(shù)據(jù)發(fā)送到對(duì)應(yīng)的協(xié)議處理板卡上，完成大數(shù)據(jù)入口的負(fù)載均衡工作。

圖4 負(fù)載均衡軟件實(shí)現(xiàn)流程圖

6 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)中選用上海恒為科技的兩臺(tái)SF2300交換板作為負(fù)載均衡系統(tǒng)的10G交換設(shè)備，選用兩塊AC2620系列（或者更高端）網(wǎng)絡(luò)處理器的板卡作為系統(tǒng)10G處理設(shè)備，部署25塊協(xié)議解析板。SF2300和AC2620都是基于ATCA架構(gòu)，SF2300背板符合標(biāo)準(zhǔn)PICMG3.1規(guī)范，前面板提供11個(gè)萬(wàn)兆以太網(wǎng)接口；AC2620采用多路Cavium公司芯片，集成了多核處理器，配備高性能網(wǎng)絡(luò)I／O。

該策略充分利用硬件設(shè)備和軟件算法的性能和優(yōu)勢(shì)，可以處理10G以上的網(wǎng)絡(luò)數(shù)據(jù)流量，在多省份的CDMA2000 1XEV－DO網(wǎng)絡(luò)中得到了應(yīng)用，運(yùn)營(yíng)情況良好。表1和表2是實(shí)際流量為20G的某省商用點(diǎn)負(fù)載均衡系統(tǒng)的統(tǒng)計(jì)數(shù)據(jù)。

表1 系統(tǒng)運(yùn)行簡(jiǎn)協(xié)議解析板流量瞬時(shí)表

表2 系統(tǒng)負(fù)載均衡流量統(tǒng)計(jì)表

實(shí)驗(yàn)數(shù)據(jù)為系統(tǒng)運(yùn)行74天6小時(shí)43分鐘的數(shù)據(jù)，實(shí)驗(yàn)獲得數(shù)據(jù)的負(fù)載均衡系統(tǒng)的實(shí)時(shí)峰值流量約為14Gbps，最大峰值流量為15Gbps。負(fù)載均衡系統(tǒng)累計(jì)接收到5153817482340個(gè)數(shù)據(jù)包，發(fā)送5131656067165個(gè)數(shù)據(jù)包，瞬時(shí)丟包率為0.43%，在系統(tǒng)設(shè)計(jì)指標(biāo)（5%）以內(nèi)，系統(tǒng)在峰值為15Gbps的網(wǎng)絡(luò)中運(yùn)行正常符合設(shè)計(jì)要求。

7 結(jié)語(yǔ)

本文通過(guò)分析CDMA2000 1XEV－DO中R－P接口數(shù)據(jù)壓力和數(shù)據(jù)特征，提出了一種基于硬件設(shè)備的可擴(kuò)展性和保持會(huì)話的分層負(fù)載均衡方法，文章從硬件部署和軟件實(shí)施兩個(gè)方面對(duì)提出的負(fù)載均衡方法進(jìn)行了闡述。該方法能夠在保證一個(gè)用戶的所有會(huì)話從建立到拆除的整個(gè)過(guò)程數(shù)據(jù)集中在一個(gè)協(xié)議解析板中進(jìn)行處理的基礎(chǔ)上實(shí)現(xiàn)對(duì)峰值流量大于10Gbps小于40Gbps的數(shù)據(jù)進(jìn)行流量均衡。該方法可廣泛應(yīng)用于大流量強(qiáng)會(huì)話關(guān)聯(lián)數(shù)據(jù)的接入系統(tǒng)，具有較強(qiáng)的可擴(kuò)展性和易用性。

［1］李玉華，明慧芳，黃濤.TD－SCDMA中Gn接口數(shù)據(jù)均衡方案的研究與實(shí)現(xiàn)［J］.移動(dòng)通信研究，2012（6）：65－68.

［2］3GPP2A.S0017－D 2009.Interoperability Specification（IOS）for cdma2000Access Network Interfaces－Part2 Transport［S］.

［3］羅擁軍，李曉樂(lè)，孫如祥.負(fù)載均衡算法綜述［J］.科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì)，2008，23：134－135.

［4］3GPP2A.S0017－D 2011，Interoperability Specification（IOS）for cdma2000Access Network Interfaces－Part7（A10and A11Interfaces）［S］.

［5］劉旸.CDMA2000系統(tǒng)下無(wú)線接入網(wǎng)與核心網(wǎng)分組域協(xié)議的設(shè)計(jì)與實(shí)現(xiàn)［D］.南京：南京航空航天大學(xué)，2010.

［6］李玉華.基于Hadoop的CDMA分組域海量數(shù)據(jù)處理模型的研究［D］.武漢：武漢郵電科學(xué)研究院，2012.

［7］王彬.無(wú)線局域網(wǎng)中的負(fù)載均衡技術(shù)［J］.中興通訊技術(shù)，2006（3）：46－50.

［8］陳偉，蔣鈴鴿，何晨.一種基于負(fù)載均衡的WCDMA基站站址選擇算法［J］.上海交通大學(xué)學(xué)報(bào)，2007（5）.

［9］張強(qiáng).CDMA2000 1xEV－DO網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)研究與應(yīng)用［D］.重慶：重慶郵電大學(xué)，2010.

［10］劉申建.聯(lián)通CDMA網(wǎng)絡(luò)演進(jìn)相關(guān)問(wèn)題研究［D］.南京：南京航空航天大學(xué)，2010.

［11］張寅申.CDMA2000系統(tǒng)互操作規(guī)范R－P接口協(xié)議的研究與設(shè)計(jì)［D］.北京：北京郵電大學(xué)，2007.