姜良軍,萬(wàn)洪虹
(1 中國(guó)移動(dòng)通信集團(tuán)山東有限公司,濟(jì)南 250001; 2 中國(guó)聯(lián)通山東分公司,濟(jì)南 250013)
隨著移動(dòng)電話(huà)的普及,電信市場(chǎng)越來(lái)越接近飽和,市場(chǎng)競(jìng)爭(zhēng)不斷加劇,各運(yùn)營(yíng)商都在想盡辦法發(fā)展新用戶(hù)的同時(shí),保留住老用戶(hù)。而基于智能網(wǎng)的集團(tuán)虛擬網(wǎng)、家庭網(wǎng)近幾年快速發(fā)展,在方便用戶(hù)撥號(hào)、降低通話(huà)費(fèi)、捆綁客戶(hù)、控制離網(wǎng)率方面起到了非常重要的作用。各地經(jīng)常基于智能網(wǎng)推出業(yè)務(wù)促銷(xiāo)方案,出現(xiàn)突發(fā)性的批量開(kāi)戶(hù)業(yè)務(wù),由于智能網(wǎng)業(yè)務(wù)的開(kāi)戶(hù)處理能力限制,CRM側(cè)會(huì)出現(xiàn)大量指令積壓,造成用戶(hù)業(yè)務(wù)開(kāi)通延時(shí),無(wú)法及時(shí)享受短號(hào)功能和資費(fèi)優(yōu)惠,影響了客戶(hù)業(yè)務(wù)感知。需要針對(duì)智能網(wǎng)業(yè)務(wù)開(kāi)通涉及的各個(gè)環(huán)節(jié)進(jìn)行分析,找出優(yōu)化方案,滿(mǎn)足突發(fā)性業(yè)務(wù)批量開(kāi)通需求。
智能網(wǎng)業(yè)務(wù)開(kāi)通時(shí),先在CRM系統(tǒng)受理,轉(zhuǎn)到服務(wù)開(kāi)通系統(tǒng)處理,服務(wù)開(kāi)通系統(tǒng)按照智能網(wǎng)接口規(guī)范生成MML指令發(fā)送到智能網(wǎng)的業(yè)務(wù)管理節(jié)點(diǎn)(SMP,Service Managemant Point),由SMP將用戶(hù)業(yè)務(wù)參數(shù)寫(xiě)入到業(yè)務(wù)控制節(jié)點(diǎn)(SCP,Service Control Point)數(shù)據(jù)庫(kù)。如圖1所示。
圖1 智能網(wǎng)業(yè)務(wù)開(kāi)通流程
針對(duì)批量開(kāi)戶(hù)操作導(dǎo)致的CRM側(cè)指令積壓?jiǎn)栴}進(jìn)行了分析,主要是以下原因造成。
一是業(yè)務(wù)指令數(shù)據(jù)量大。正常情況僅有幾千個(gè)用戶(hù)的開(kāi)戶(hù)操作,業(yè)務(wù)推廣時(shí),存在大量用戶(hù)的業(yè)務(wù)批量開(kāi)通。以某地市為例,開(kāi)戶(hù)量由原先每天幾千戶(hù)突增到十幾萬(wàn),遠(yuǎn)超過(guò)系統(tǒng)的最大業(yè)務(wù)開(kāi)通處理能力,最多時(shí)積壓了20多萬(wàn)條業(yè)務(wù)開(kāi)通指令。
二是服務(wù)開(kāi)通系統(tǒng)的處理機(jī)制受限。服務(wù)開(kāi)通系統(tǒng)對(duì)每個(gè)地市僅開(kāi)啟一個(gè)處理進(jìn)程,進(jìn)程中的指令為串行執(zhí)行,每條指令待SMP返回結(jié)果后,才會(huì)處理下一條指令,如果SMP未返回結(jié)果,服務(wù)開(kāi)通系統(tǒng)一直保持等待狀態(tài),不做后續(xù)指令處理。
三是SMP處理能力存在瓶頸。SMP的硬件配置較低,處理能力較弱,平均每條指令2.5 s返回結(jié)果,按照此速度測(cè)算一個(gè)地市每天只能處理3.5萬(wàn)開(kāi)戶(hù)指令,如果地市每天開(kāi)銷(xiāo)戶(hù)量超過(guò)3.5萬(wàn),就會(huì)出現(xiàn)開(kāi)戶(hù)指令積壓,造成業(yè)務(wù)開(kāi)通延時(shí)。
通過(guò)對(duì)智能網(wǎng)業(yè)務(wù)開(kāi)戶(hù)問(wèn)題的原因分析,并考慮到短時(shí)間內(nèi)無(wú)法更換SMP的硬件配置,從兩個(gè)方面入手解決。一是優(yōu)化SMP性能,提升SMP處理能力;二是優(yōu)化服務(wù)開(kāi)通系統(tǒng)的處理機(jī)制,增加處理進(jìn)程提升處理速度。
SMP節(jié)點(diǎn)是智能網(wǎng)系統(tǒng)的管理單元,主要功能包括如下。
(1)SMP提供MML接口給服務(wù)開(kāi)通系統(tǒng),以實(shí)現(xiàn)服務(wù)開(kāi)通系統(tǒng)發(fā)起的開(kāi)銷(xiāo)戶(hù)、查詢(xún)等智能網(wǎng)用戶(hù)數(shù)據(jù)管理功能。
(2)智能網(wǎng)管理接入等應(yīng)用模塊通過(guò)SMP提供接口,實(shí)現(xiàn)對(duì)SCP的局?jǐn)?shù)據(jù)制作、業(yè)務(wù)加載等操作。
(3)SMP還需要處理上報(bào)給網(wǎng)管系統(tǒng)的報(bào)表數(shù)據(jù)。
通過(guò)對(duì)SMP的CPU、內(nèi)存和磁盤(pán)IO繁忙程度分析,目前SMP的硬件性能負(fù)荷基本達(dá)到飽和,而且CPU型號(hào)已經(jīng)無(wú)法升級(jí),只能擴(kuò)充內(nèi)存,可挖潛能力有限。分析SMP內(nèi)部的各個(gè)進(jìn)程占用的CPU負(fù)荷,發(fā)現(xiàn)SMP的報(bào)表處理進(jìn)程占用CPU資源約20%~30%,可以在業(yè)務(wù)開(kāi)通忙時(shí)臨時(shí)關(guān)閉報(bào)表處理進(jìn)程和相關(guān)定時(shí)任務(wù),釋放更多的CPU資源給MML接口使用。
SMP的軟件管理調(diào)度模式,可根據(jù)系統(tǒng)性能對(duì)每類(lèi)業(yè)務(wù)處理啟動(dòng)多個(gè)服務(wù)進(jìn)程,由系統(tǒng)提供輪詢(xún)機(jī)制實(shí)現(xiàn)每個(gè)進(jìn)程的負(fù)載均衡。為了提升SMP自身的MML處理能力,在確保系統(tǒng)CPU負(fù)荷安全的條件下,可以增加業(yè)務(wù)處理進(jìn)程來(lái)提升MML處理能力。SMP的SMS_VPN_SERV進(jìn)程負(fù)責(zé)處理MML指令,將SMS_VPN_SERV進(jìn)程由8個(gè)增加至14個(gè)后,SMP由原先平均約2.5 s處理一條MML指令提升至1.5 s,處理速度有了一定的改善,仍無(wú)法解決大量指令積壓?jiǎn)栴},須從CRM和服務(wù)開(kāi)通流程再進(jìn)行分析優(yōu)化。
目前服務(wù)開(kāi)通系統(tǒng)為每地市分配1個(gè)處理進(jìn)程,每個(gè)進(jìn)程處理指令為串行處理方式,且需要等待SMP的返回結(jié)果。對(duì)SMP進(jìn)行性能優(yōu)化后,SMP平均1.5 s返回結(jié)果估算,服務(wù)開(kāi)通系統(tǒng)每天每進(jìn)程只能提升到處理5.7萬(wàn)條指令。當(dāng)某地市每天的開(kāi)銷(xiāo)戶(hù)量超過(guò)5.7萬(wàn)條指令時(shí),就會(huì)出現(xiàn)業(yè)務(wù)指令積壓現(xiàn)象,造成用戶(hù)業(yè)務(wù)開(kāi)通延時(shí)。個(gè)別地市峰值每天有十幾萬(wàn)的業(yè)務(wù)批量開(kāi)通,仍然會(huì)出現(xiàn)了大量指令積壓,只能通過(guò)增加服務(wù)開(kāi)通處理進(jìn)程數(shù)量來(lái)提高M(jìn)ML指令處理速度。如圖2、3所示。
圖2 業(yè)務(wù)開(kāi)通單進(jìn)程處理
圖3 業(yè)務(wù)開(kāi)通多進(jìn)程處理
考慮到目前SMP的系統(tǒng)負(fù)荷較高,如果對(duì)每個(gè)地市都采用多進(jìn)程處理,將會(huì)對(duì)SMP的安全運(yùn)行造成較大影響,采用動(dòng)態(tài)多進(jìn)程調(diào)度方式,僅當(dāng)?shù)厥杏袠I(yè)務(wù)批量開(kāi)通或指令積壓時(shí),由服務(wù)開(kāi)通系統(tǒng)實(shí)施多進(jìn)程處理,最多增加4個(gè)處理進(jìn)程。以某地市為例,根據(jù)SMP系統(tǒng)負(fù)荷情況,服務(wù)開(kāi)通系統(tǒng)將處理進(jìn)程增加到4個(gè)后,積壓的26萬(wàn)指令48 h就處理完成,如果按以前單進(jìn)程處理機(jī)制需要156 h才能處理完成,處理能力提升3倍多,減少了用戶(hù)的業(yè)務(wù)開(kāi)通等待時(shí)間,提高了用戶(hù)業(yè)務(wù)感知。
串行處理進(jìn)程時(shí),服務(wù)開(kāi)通系統(tǒng)需要等待SMP返回結(jié)果后,才會(huì)處理下一條指令,如果SMP未返回結(jié)果,服務(wù)開(kāi)通系統(tǒng)一直保持等待狀態(tài),不做后續(xù)業(yè)務(wù)指令處理。在SMP和SCP進(jìn)程異常,個(gè)別用戶(hù)數(shù)據(jù)異常,IP網(wǎng)絡(luò)分組丟失導(dǎo)致返回消息丟失等臨時(shí)性錯(cuò)誤時(shí),將導(dǎo)致業(yè)務(wù)開(kāi)通進(jìn)程一直處于等待狀態(tài),影響后續(xù)的業(yè)務(wù)指令處理。為了避免上述異常情況,實(shí)施了5 min間隔的重發(fā)優(yōu)化機(jī)制,即5 min內(nèi)上一條業(yè)務(wù)指令仍無(wú)返回結(jié)果時(shí),重新發(fā)送該用戶(hù)出現(xiàn)異常的一組業(yè)務(wù)指令,如果仍存在異常,記錄出現(xiàn)異常的指令后,跳過(guò)該用戶(hù)的業(yè)務(wù)指令,執(zhí)行下一個(gè)用戶(hù)的業(yè)務(wù)開(kāi)通指令,連續(xù)5個(gè)用戶(hù)出現(xiàn)異常,暫停業(yè)務(wù)指令的執(zhí)行,同時(shí)產(chǎn)生告警提示維護(hù)人員查詢(xún)?cè)颉?/p>
通過(guò)對(duì)智能網(wǎng)SMP設(shè)備硬件和軟件能力挖潛,優(yōu)化相關(guān)業(yè)務(wù)流程、開(kāi)啟動(dòng)態(tài)多進(jìn)程處理機(jī)制,較好地滿(mǎn)足了地市的突發(fā)性業(yè)務(wù)批量開(kāi)通需求,有效提升了智能網(wǎng)業(yè)務(wù)的支撐能力,為市場(chǎng)的業(yè)務(wù)發(fā)展需求提供了保障。
(1)通過(guò)對(duì)SMP本身的硬件和軟件進(jìn)行潛力挖掘,采取關(guān)閉部分報(bào)表處理進(jìn)程的方式,釋放了20%~30%的CPU資源。
(2)通過(guò)對(duì)SMP業(yè)務(wù)進(jìn)程分析優(yōu)化,增開(kāi)部分業(yè)務(wù)進(jìn)程將SMP每條MML指令的處理時(shí)間由2.5 s縮短至1.5 s,處理能力提升40%。
(3)通過(guò)優(yōu)化服務(wù)開(kāi)通系統(tǒng)業(yè)務(wù)處理機(jī)制,增加相關(guān)進(jìn)程數(shù)量,使開(kāi)戶(hù)流程處理能力提升300%,同時(shí)解決了業(yè)務(wù)進(jìn)程吊死問(wèn)題。
通過(guò)以上方案的研究,針對(duì)SMP設(shè)備高負(fù)荷的情況,為了確保設(shè)備安全,同時(shí)有效支撐市場(chǎng)業(yè)務(wù)開(kāi)通需求,制定了動(dòng)態(tài)多進(jìn)程處理開(kāi)啟流程,為后續(xù)突發(fā)性業(yè)務(wù)開(kāi)通需求提供了有效的解決方案。
(1)當(dāng)某地市大力發(fā)展智能網(wǎng)業(yè)務(wù)用戶(hù),且開(kāi)戶(hù)數(shù)量超過(guò)了SMP每天最大處理能力時(shí),通過(guò)CRM上報(bào)多進(jìn)程開(kāi)啟申請(qǐng)。
(2)CRM確認(rèn)出現(xiàn)指令積壓,向智能網(wǎng)設(shè)備維護(hù)部門(mén)確認(rèn)SMP性能,如果設(shè)備性能允許的情況(SMP負(fù)荷較高時(shí),需臨時(shí)關(guān)閉報(bào)表處理程序),則啟用動(dòng)態(tài)多進(jìn)程機(jī)制,即根據(jù)地市每天新發(fā)展的智能網(wǎng)業(yè)務(wù)用戶(hù)量來(lái)增開(kāi)處理進(jìn)程數(shù)量,最多增開(kāi)至4個(gè)進(jìn)程。
(3)CRM確認(rèn)無(wú)指令積壓,并且地市已無(wú)明顯開(kāi)戶(hù)業(yè)務(wù)量后,停止動(dòng)態(tài)多進(jìn)程機(jī)制,恢復(fù)原先單進(jìn)程處理機(jī)制。
根據(jù)智能網(wǎng)業(yè)務(wù)開(kāi)通的端到端流程分析可知,SMP的硬件處理能力、軟件調(diào)度模式和服務(wù)開(kāi)通系統(tǒng)的處理流程是影響開(kāi)通能力的關(guān)鍵因素。通過(guò)SMP設(shè)備的硬件和軟件能力挖潛,優(yōu)化相關(guān)業(yè)務(wù)流程,尤其是開(kāi)通動(dòng)態(tài)多進(jìn)程處理機(jī)制,可以有效解決突發(fā)的批量業(yè)務(wù)開(kāi)戶(hù)指令積壓?jiǎn)栴}。
本文提出的優(yōu)化方案,在未新增硬件投資的情況下,通過(guò)設(shè)備能力挖潛和業(yè)務(wù)流程優(yōu)化,不但滿(mǎn)足了批量業(yè)務(wù)開(kāi)通需求,也為類(lèi)似的業(yè)務(wù)系統(tǒng)能力優(yōu)化提供了重要參考。
[1]劉海冰. 全力提升BOSS與HLR接口處理能力[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化,2005(8).
[2]李婷. 壓縮用戶(hù)繳費(fèi)開(kāi)機(jī)處理時(shí)方案[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化,2011(12).