閆飛翔，李煒，王純

（1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876；2 東信北郵信息技術(shù)有限公司，北京 100191）

1 引言

隨著激烈的市場(chǎng)競(jìng)爭(zhēng)和話音業(yè)務(wù)的趨于飽和，運(yùn)營(yíng)商話音業(yè)務(wù)利潤(rùn)不斷下降，同時(shí)傳統(tǒng)的話音和短信等業(yè)務(wù)已不能滿足用戶日趨增長(zhǎng)的多樣化需求。面對(duì)嚴(yán)峻的市場(chǎng)形勢(shì)，運(yùn)營(yíng)商必須調(diào)整業(yè)務(wù)模式，在優(yōu)化傳統(tǒng)業(yè)務(wù)的同時(shí)，另辟蹊徑，尋求新的業(yè)務(wù)增長(zhǎng)點(diǎn)。業(yè)務(wù)創(chuàng)新已經(jīng)成為了運(yùn)營(yíng)商發(fā)展的戰(zhàn)略性問(wèn)題。但是運(yùn)營(yíng)商傳統(tǒng)網(wǎng)絡(luò)具有明顯的封閉性，缺乏接受外來(lái)創(chuàng)新業(yè)務(wù)的能力。同時(shí)業(yè)務(wù)表現(xiàn)單一，用戶體驗(yàn)不夠豐富，特別是在面對(duì)互聯(lián)網(wǎng)開(kāi)放模式的挑戰(zhàn)時(shí)，這些弱點(diǎn)表現(xiàn)的尤為明顯?；ヂ?lián)網(wǎng)的開(kāi)放模式與運(yùn)營(yíng)商網(wǎng)絡(luò)的Walled Garden模式截然不同，互聯(lián)網(wǎng)的開(kāi)放性使得各種技術(shù)和業(yè)務(wù)的創(chuàng)新層出不窮，極大地豐富和滿足了用戶的業(yè)務(wù)需求，人們開(kāi)始將更多的目光投向互聯(lián)網(wǎng)。在互聯(lián)網(wǎng)開(kāi)放浪潮中，Google，Yahoo!，F(xiàn)acebook，校內(nèi)網(wǎng)，開(kāi)心網(wǎng)等大量的互聯(lián)網(wǎng)公司加入了開(kāi)放大軍，通過(guò)開(kāi)放自身資源并整合互聯(lián)網(wǎng)資源，提供開(kāi)放平臺(tái)，構(gòu)建價(jià)值鏈，聚攏了一批批的社會(huì)SP（Service Provider）、中小軟件公司，創(chuàng)造了大量的應(yīng)用，隨之帶動(dòng)了互聯(lián)網(wǎng)增值服務(wù)ARPU(Average Revenue Per User)的增長(zhǎng)。

CM-IMS吸收與借鑒了互聯(lián)網(wǎng)的開(kāi)放模式，其天生具備了開(kāi)放、融合的特性。CM-IMS能夠整合通信網(wǎng)與互聯(lián)網(wǎng)兩種異構(gòu)環(huán)境下的各類元素。運(yùn)營(yíng)商可以利用CM-IMS整合異構(gòu)能力的先天特性，打造一個(gè)“殺手級(jí)應(yīng)用”，即提供一個(gè)基礎(chǔ)通信能力開(kāi)放平臺(tái)，向互聯(lián)網(wǎng)開(kāi)放運(yùn)營(yíng)商的基礎(chǔ)通信能力，實(shí)現(xiàn)互聯(lián)網(wǎng)與通信網(wǎng)絡(luò)業(yè)務(wù)的融合與應(yīng)用的混搭（Mashup），同時(shí)，通過(guò)建立良好的商業(yè)模式，吸引互聯(lián)網(wǎng)SP入駐，讓SP自己開(kāi)發(fā)適合市場(chǎng)的“殺手級(jí)應(yīng)用”。在CMIMS基礎(chǔ)上，中國(guó)移動(dòng)提出了wIMS技術(shù), 通過(guò)wIMS技術(shù)為運(yùn)營(yíng)商打造一個(gè)基礎(chǔ)通信能力的開(kāi)放平臺(tái)[1]。

wIMS將要在多個(gè)地區(qū)進(jìn)行部署，上線后，平臺(tái)用戶會(huì)穩(wěn)定增長(zhǎng)，業(yè)務(wù)需要穩(wěn)定運(yùn)行，為了樹(shù)立移動(dòng)運(yùn)營(yíng)商的信息專家的形象，必須不斷提高wIMS平臺(tái)的服務(wù)能力，提高平臺(tái)的容錯(cuò)能力、可靠性。為此，實(shí)現(xiàn)wIMS平臺(tái)的集群化將能更好解決平臺(tái)的服務(wù)能力擴(kuò)展和容錯(cuò)性、穩(wěn)定性的提升問(wèn)題，更好地為移動(dòng)運(yùn)營(yíng)商提供綜合業(yè)務(wù)服務(wù)，故本文對(duì)wIMS平臺(tái)的集群進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)。

利用集群技術(shù)可以使用多個(gè)節(jié)點(diǎn)運(yùn)行同樣的程序，通過(guò)負(fù)載均衡技術(shù)把負(fù)載均勻的分布到各個(gè)節(jié)點(diǎn)上，這樣一方面可以提升系統(tǒng)的服務(wù)能力，另一方面，當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障不能提供服務(wù)時(shí)，可以使用其他的節(jié)點(diǎn)提供服務(wù)，從而系統(tǒng)可以保持可用狀態(tài)，避免出現(xiàn)單點(diǎn)故障。而負(fù)載均衡器則可以使用多種雙機(jī)熱備份方案來(lái)避免發(fā)生故障。集群服務(wù)能力的擴(kuò)展可以簡(jiǎn)單的通過(guò)增加節(jié)點(diǎn)的方式來(lái)實(shí)現(xiàn)，具備極強(qiáng)的可擴(kuò)展性。通過(guò)集群，wIMS系統(tǒng)將能做到高穩(wěn)定性、高可靠性、高可擴(kuò)展性。

2 wIMS網(wǎng)絡(luò)架構(gòu)

圖1所示為wIMS中間件平臺(tái)的分層網(wǎng)絡(luò)架構(gòu)圖，分為應(yīng)用層、wIMS中間件層、CM-IMS業(yè)務(wù)能力層和CM-IMS核心層，介紹了wIMS中間件在IMS網(wǎng)絡(luò)中的位置以及該平臺(tái)與所在網(wǎng)絡(luò)中相關(guān)網(wǎng)元之間的交互。

圖1 wIMS網(wǎng)絡(luò)架構(gòu)圖

3 wIMS平臺(tái)的集群部署

如圖2 wIMS集群的系統(tǒng)架構(gòu)所示，wIMS中間件集群系統(tǒng)由Load-Balancer、共享存儲(chǔ)和多個(gè)wIMS節(jié)點(diǎn)組成。下面對(duì)每個(gè)實(shí)體的主要功能及實(shí)體間的交互進(jìn)行詳細(xì)的描述。

集群系統(tǒng)增加Load-Balancer，作為負(fù)載均衡器，將互聯(lián)網(wǎng)上的HTTP請(qǐng)求分發(fā)給南向的多個(gè)wIMS節(jié)點(diǎn)。同時(shí)作為代理，將多個(gè)wIMS節(jié)點(diǎn)外發(fā)的HTTP請(qǐng)求，轉(zhuǎn)發(fā)給Internet中的用戶。Load-Balancer1和Load-Balancer2采用浮動(dòng)IP雙機(jī)熱備方案，正常工作時(shí)Load-Balancer1處理HTTP請(qǐng)求，當(dāng)發(fā)生宕機(jī)或網(wǎng)絡(luò)故障時(shí)，通過(guò)浮動(dòng)IP機(jī)制，由Load-Balancer2處理請(qǐng)求。這樣能保證HTTP客戶主觀上仍然感受到的是與單一工作站進(jìn)行通信，集群特性對(duì)用戶仍然透明[2]。同時(shí)，又能保證Load-Balancer的可靠性。

圖2 wIMS集群的系統(tǒng)架構(gòu)

共享存儲(chǔ)有兩個(gè)作用。一方面作為L(zhǎng)oad-Balancer和wIMS節(jié)點(diǎn)的中間存儲(chǔ)介質(zhì)，每個(gè)wIMS節(jié)點(diǎn)將心跳消息寫到共享存儲(chǔ)中，Load-Balancer啟動(dòng)定時(shí)任務(wù)到共享存儲(chǔ)中讀取多個(gè)wIMS節(jié)點(diǎn)的心跳消息，來(lái)判斷當(dāng)前存在wIMS節(jié)點(diǎn)個(gè)數(shù)，及獲得每個(gè)節(jié)點(diǎn)的IP和PORT。另外一方面作為多個(gè)wIMS節(jié)點(diǎn)間的共享存儲(chǔ)，wIMS平臺(tái)具有開(kāi)發(fā)者、應(yīng)用和用戶三種角色，需要對(duì)各個(gè)角色的SLA（Service-Level Agreement）進(jìn)行控制，比如規(guī)定某個(gè)應(yīng)用每秒發(fā)送短信最大數(shù)為20。此外wIMS平臺(tái)還需要保存每次通信能力調(diào)用的相關(guān)數(shù)據(jù)，比如每次點(diǎn)擊撥號(hào)（Click to Dial，CTD）呼叫的實(shí)時(shí)狀態(tài)，用來(lái)提供給外部互聯(lián)網(wǎng)應(yīng)用進(jìn)行查詢。由于外部應(yīng)用的HTTP請(qǐng)求是被Load-Balancer分發(fā)到各個(gè)wIMS節(jié)點(diǎn)的，所以wIMS集群系統(tǒng)需要這樣一個(gè)共享存儲(chǔ)。共享存儲(chǔ)1和共享存儲(chǔ)2采用邏輯上的雙機(jī)熱備份方案，寫操作和更新操作在兩個(gè)共享存儲(chǔ)中同時(shí)進(jìn)行，而讀操作選取一個(gè)共享存儲(chǔ)作為主機(jī)進(jìn)行讀取。

wIMS是業(yè)務(wù)能力處理的服務(wù)器，Load-Balancer在多個(gè)wIMS節(jié)點(diǎn)中采用Round-Robin算法，將HTTP請(qǐng)求轉(zhuǎn)發(fā)給一個(gè)wIMS節(jié)點(diǎn)，這樣能達(dá)到負(fù)載均衡，使每一個(gè)服務(wù)器都得到充分的利用[3，4]。在集群系統(tǒng)正常運(yùn)行時(shí)，增加或者刪除一個(gè)wIMS節(jié)點(diǎn)，系統(tǒng)都能自動(dòng)的恢復(fù)到正常運(yùn)行，不需要人工干預(yù)其他機(jī)器。增加時(shí)，只需要在此wIMS節(jié)點(diǎn)上配置好共享存儲(chǔ)的IP和PORT，新增wIMS節(jié)點(diǎn)就會(huì)定時(shí)將心跳消息寫到共享存儲(chǔ)中，Load-Balancer定時(shí)讀取心跳時(shí)，便知道系統(tǒng)中增加了一個(gè)wIMS節(jié)點(diǎn)；從系統(tǒng)中移除一個(gè)wIMS節(jié)點(diǎn)時(shí)，此臺(tái)服務(wù)器將不會(huì)再向共享存儲(chǔ)中寫心跳，Load-Balancer取不到此wIMS節(jié)點(diǎn)的心跳時(shí)，將不會(huì)再轉(zhuǎn)發(fā)HTTP消息到此wIMS節(jié)點(diǎn)，集群系統(tǒng)會(huì)馬上自動(dòng)恢復(fù)正常運(yùn)行。這樣符合集群系統(tǒng)的可伸縮特性。

wIMS南向連接處理業(yè)務(wù)的AS集群，AS同樣啟動(dòng)定時(shí)任務(wù)到共享存儲(chǔ)中讀取多個(gè)wIMS節(jié)點(diǎn)的心跳消息，來(lái)判斷當(dāng)前存在wIMS節(jié)點(diǎn)個(gè)數(shù)，及獲得每個(gè)節(jié)點(diǎn)的IP和PORT。然后定時(shí)向每個(gè)wIMS節(jié)點(diǎn)發(fā)送HTTP心跳消息，各wIMS節(jié)點(diǎn)便知道系統(tǒng)中AS的數(shù)量及IP和PORT。wIMS將來(lái)自互聯(lián)網(wǎng)上的HTTP請(qǐng)求處理后轉(zhuǎn)發(fā)給AS，給互聯(lián)網(wǎng)用戶提供基礎(chǔ)通信能力。

通過(guò)以上方案設(shè)計(jì)的wIMS集群系統(tǒng)符合高性能、高可靠性和伸縮性等要求。通過(guò)增加Load-Balancer和多個(gè)wIMS節(jié)點(diǎn)可以提高系統(tǒng)的處理能力；集群系統(tǒng)中的任何一臺(tái)服務(wù)器出現(xiàn)故障時(shí)，系統(tǒng)都能在短時(shí)間內(nèi)回復(fù)正常運(yùn)行；此外，可以隨意的增加和刪除wIMS節(jié)點(diǎn)，而無(wú)需人工干預(yù)其他服務(wù)器。

4 wIMS平臺(tái)的集群實(shí)現(xiàn)

Load-Balancer作為wIMS集群系統(tǒng)和Internet通信必須經(jīng)過(guò)的唯一節(jié)點(diǎn)，需要具有很高的I/O處理能力，可以采用硬件或者軟件來(lái)實(shí)現(xiàn)。硬件成本高，消息分發(fā)策略不靈活。軟件實(shí)現(xiàn)性能雖然比硬件低，但是能充分節(jié)約成本，可以隨意實(shí)現(xiàn)自己想要的消息分發(fā)策略。由于處理邏輯簡(jiǎn)單，所以考慮使用軟件來(lái)實(shí)現(xiàn)Load-Balancer，wIMS中間件平臺(tái)是基于tomcat容器開(kāi)發(fā)的[5]，為保持與系統(tǒng)的融合與一致，Load-Balancer仍然使用tomcat。在HP ProLiant BL460c G7服務(wù)器（操作系統(tǒng)Red Hat Enterprise Linux Server release 5.5，配置4C8T、64GB內(nèi)存)上對(duì)寫好的Load-Balancer做壓力測(cè)試,由于Load-Balancer內(nèi)部處理邏輯簡(jiǎn)單，每秒能處理1500個(gè)HTTP請(qǐng)求，完全符合目前業(yè)務(wù)開(kāi)展的能力要求[6]。

定時(shí)讀寫心跳功能使用Quartz來(lái)實(shí)現(xiàn)。Quartz是個(gè)開(kāi)源的作業(yè)調(diào)度框架，為在Java應(yīng)用程序中進(jìn)行作業(yè)調(diào)度提供了簡(jiǎn)單卻強(qiáng)大的機(jī)制。Quartz允許開(kāi)發(fā)人員根據(jù)時(shí)間間隔（或天）來(lái)調(diào)度作業(yè)。它實(shí)現(xiàn)了作業(yè)和觸發(fā)器的多對(duì)多關(guān)系，還能把多個(gè)作業(yè)與不同的觸發(fā)器關(guān)聯(lián)。整合了Quartz的應(yīng)用程序可以重用來(lái)自不同事件的作業(yè)，還可以為一個(gè)事件組合多個(gè)作業(yè)[7]。

Web容器中每個(gè)Servlet的生命周期長(zhǎng)短，直接影響到Web容器的處理性能。共享存儲(chǔ)頻繁被訪問(wèn)，需要選擇一個(gè)存儲(chǔ)速度較快的介質(zhì)，這樣每個(gè)Servlet才能迅速的處理完請(qǐng)求后被銷毀。NoSQL型數(shù)據(jù)庫(kù)redis正符合此種要求，redis本質(zhì)上是一個(gè)Key-value存儲(chǔ)系統(tǒng)。整個(gè)數(shù)據(jù)庫(kù)統(tǒng)統(tǒng)加載在內(nèi)存當(dāng)中進(jìn)行操作，定期通過(guò)異步操作把數(shù)據(jù)庫(kù)數(shù)據(jù)flush到硬盤上進(jìn)行保存但是他的數(shù)據(jù)可以持久化的保存在磁盤上，解決了服務(wù)重啟后數(shù)據(jù)丟失的問(wèn)題。它支持存儲(chǔ)的value類型相對(duì)更多，包括string(字符串)、list(鏈表)、set(集合)和zset(有序集合)。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，還支持各種不同的排序能力，而且這些操作都是原子性的。在此基礎(chǔ)上，redis支持各種不同方式的排序。官方給出的性能報(bào)告中redis每秒能做110000次SET操作，或者每秒能做81000次GET操作。目前來(lái)看redis無(wú)疑是共享存儲(chǔ)的最佳選擇[8]。

上文中介紹wIMS需要對(duì)開(kāi)發(fā)者、應(yīng)用和用戶三種角色的SLA進(jìn)行控制，其中有訪問(wèn)頻率類的控制，比如每個(gè)應(yīng)用每秒最多發(fā)起100次點(diǎn)擊撥號(hào)呼叫。由于集群系統(tǒng)中包含多個(gè)wIMS節(jié)點(diǎn)，故多個(gè)wIMS節(jié)點(diǎn)需要共同維護(hù)一個(gè)呼叫請(qǐng)求隊(duì)列系統(tǒng)?？梢允褂胷edis來(lái)構(gòu)建這樣一個(gè)訪問(wèn)控制模塊，可以通過(guò)參數(shù)對(duì)精度與性能之間進(jìn)行調(diào)整。首先，程序在某個(gè)時(shí)間要求加入一次訪問(wèn)記錄，會(huì)先針對(duì)當(dāng)前時(shí)間計(jì)算要用到的時(shí)間片，并對(duì)這個(gè)時(shí)間片的counter加1；然后，程序在判斷一段時(shí)間訪問(wèn)了多少次時(shí)，會(huì)先計(jì)算這段時(shí)間包含多少個(gè)時(shí)間片，然后取出所有這些時(shí)間片將counter相加后返回。當(dāng)請(qǐng)求數(shù)超過(guò)SLA的規(guī)定時(shí)，wIMS回403響應(yīng)，禁止發(fā)起呼叫請(qǐng)求。

Load-Balancer和wIMS都是基于tomcat容器開(kāi)發(fā)的，為了保證Load-Balancer和wIMS的java進(jìn)程能夠長(zhǎng)期穩(wěn)定的運(yùn)行，需要給二者添加守護(hù)進(jìn)程。守護(hù)進(jìn)程可以使用apache開(kāi)源項(xiàng)目commons-daemon中的jsvc工具，jsvc是一個(gè)庫(kù)和程序的集合，通過(guò)它能使java程序在UNIX系統(tǒng)上運(yùn)行的更加容易，tomcat可以作為一個(gè)守護(hù)進(jìn)程來(lái)啟動(dòng)以及停止，在Linux系統(tǒng)上以服務(wù)的方式啟動(dòng)tomcat程序。這樣就能保證在tomcat的java進(jìn)程因?yàn)槟承┰蝈礄C(jī)后能自動(dòng)啟動(dòng)[9]。

5 總結(jié)

采用tomcat實(shí)現(xiàn)了wIMS的集群式部署，利用負(fù)載均衡器將HTTP請(qǐng)求分發(fā)到多臺(tái)Web服務(wù)器上，當(dāng)一臺(tái)Web服務(wù)器發(fā)生故障時(shí)，其他Web服務(wù)器不受影響。多臺(tái)wIMS應(yīng)用服務(wù)器可以組成集群，在業(yè)務(wù)相同配置的情況下，應(yīng)用服務(wù)器群可以分發(fā)業(yè)務(wù)請(qǐng)求，在一臺(tái)應(yīng)用服務(wù)器發(fā)生故障時(shí)，可以將業(yè)務(wù)請(qǐng)求轉(zhuǎn)發(fā)到正常工作的服務(wù)器。可以看出，wIMS的集群化，一方面提升了wIMS平臺(tái)的性能，通過(guò)節(jié)點(diǎn)的增加就可以提高服務(wù)能力，實(shí)現(xiàn)了服務(wù)能力的高度可擴(kuò)展性，另一方面，提高了平臺(tái)的穩(wěn)定性，從而為用戶提供更好質(zhì)量的服務(wù)。

[1] 鄭侃，王純. IMS中基于REST的wIMS中間件平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2010,23(8):77-82.

[2] 李雙慶. Web服務(wù)器集群技術(shù)研究[D]. 重慶：重慶大學(xué), 2003,10月.

[3] 單志廣. Web服務(wù)器集群體系結(jié)構(gòu)[J]. 網(wǎng)絡(luò)世界，2002,09月.

[4] 黃海，廖建新，朱曉民. IMS實(shí)時(shí)計(jì)費(fèi)系統(tǒng)集群中的負(fù)載均衡研究[J]. 高技術(shù)通訊，2009,19(11):1117-1123.

[5] 孫衛(wèi)琴. Tomcat與Java Web開(kāi)發(fā)技術(shù)詳解[M]. 北京：電子工業(yè)出版社，2009.

[6] 約翰遜，威曾格普，拉瓦提著，韓智文譯. Linux服務(wù)器性能調(diào)整[M]. 北京：清華大學(xué)出版社，2009.

[7] Quartz官方網(wǎng)站.http://www.opensymphony.com/quartz/

[8] Redis官方網(wǎng)站.http://redis.io/

[9] jsvc官方網(wǎng)站.http://commons.apache.org/daemon/jsvc.html