燕鵬飛，張厚保

（中國(guó)交通通信信息中心，北京 100011）

1 引言

本文從實(shí)踐角度，闡述通信網(wǎng)管軟件OMC性能測(cè)試的理論和方法，希望能引領(lǐng)讀者從抽象的軟件性能測(cè)試?yán)碚摚成涞綄?shí)際項(xiàng)目中，對(duì)OMC系統(tǒng)的性能測(cè)試有所了解。

2 性能測(cè)試概述

2.1 性能測(cè)試在軟件開(kāi)發(fā)生命周期中的位置

圖1 性能測(cè)試在軟件開(kāi)發(fā)生命周期中的位置

軟件生命周期分為：需求、設(shè)計(jì)、編碼、單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試。以V模型為例，呈現(xiàn)如上圖。而性能測(cè)試屬于軟件系統(tǒng)級(jí)測(cè)試，其基礎(chǔ)是一個(gè)已經(jīng)完成功能測(cè)試的相對(duì)穩(wěn)定的軟件版本。

2.2 軟件性能測(cè)試的概念

軟件性能可以看作是一種指標(biāo)，是產(chǎn)品需求中明確約定軟件系統(tǒng)所要求達(dá)到的一種和時(shí)間相關(guān)或者與處理能力相關(guān)的指標(biāo)。

軟件性能的定義通常為：軟件系統(tǒng)對(duì)于及時(shí)性要求的符合程度。對(duì)于時(shí)間方面規(guī)定的軟件性能通常用響應(yīng)時(shí)間來(lái)定義。處理能力是另一個(gè)重要指標(biāo)，包括上行、下行以及系統(tǒng)內(nèi)部的消息處理等。可靠性同樣是軟件性能的一個(gè)重要的指標(biāo)，可靠性關(guān)乎到系統(tǒng)能否穩(wěn)定可靠，關(guān)乎到客戶對(duì)該系統(tǒng)的認(rèn)可程度。通信網(wǎng)管作為通信網(wǎng)絡(luò)的一部分，必須做到高可靠性。

軟件的性能測(cè)試，就是通過(guò)測(cè)試工具，測(cè)試軟件在各種使用環(huán)境下，是否能滿足既定的軟件性能指標(biāo)。

3 OMC的性能測(cè)試

3.1 OMC的性能測(cè)試過(guò)程

軟件的性能測(cè)試不是一勞永逸的，性能測(cè)試伴隨著軟件的生命周期持續(xù)開(kāi)展。在通信網(wǎng)管軟件OMC的測(cè)試過(guò)程中，隨著OMC的一系列版本發(fā)布，其性能測(cè)試過(guò)程可以描述為一個(gè)螺旋模型，如圖2所示：

圖2 OMC的性能測(cè)試過(guò)程

3.2 OMC的性能測(cè)試方法

性能測(cè)試的方法有多種，根據(jù)不同階段的需求，可以分別采用不同測(cè)試方法的組合。

3.3 性能測(cè)試

此處提到的性能測(cè)試，是狹義的性能測(cè)試，是軟件性能測(cè)試的基本方法。性能測(cè)試方法是通過(guò)模擬實(shí)際運(yùn)行場(chǎng)景的業(yè)務(wù)壓力量進(jìn)行測(cè)試，驗(yàn)證系統(tǒng)的性能是否滿足預(yù)期的性能指標(biāo)。這種方法針的測(cè)試結(jié)果，可以具體考量系統(tǒng)的響應(yīng)時(shí)間、處理能力等性能指標(biāo)。OMC系統(tǒng)，根據(jù)電信運(yùn)營(yíng)商的測(cè)試規(guī)范，有諸多性能指標(biāo)，如界面響應(yīng)時(shí)間、設(shè)備上報(bào)消息延時(shí)、告警呈現(xiàn)延時(shí)、性能文件上報(bào)等。OMC性能測(cè)試中，通過(guò)模擬規(guī)模數(shù)據(jù)的網(wǎng)元，構(gòu)造批量變化的配置數(shù)據(jù)、告警數(shù)據(jù)、性能上報(bào)數(shù)據(jù)等場(chǎng)景，測(cè)試系統(tǒng)的各個(gè)性能指標(biāo)。這個(gè)測(cè)試方法貫穿于OMC性能測(cè)試的始終。

3.3.1 配置測(cè)試

配置測(cè)試是指通過(guò)被測(cè)系統(tǒng)的軟/硬件環(huán)境調(diào)整，了解不同環(huán)境對(duì)系統(tǒng)性能影響的程度。具體地說(shuō)，就是服務(wù)器類型和操作系統(tǒng)類型的不同，對(duì)于OMC系統(tǒng)的性能指標(biāo)影響不同。軟件系統(tǒng)的性能都是在一定的環(huán)境下表現(xiàn)出來(lái)的綜合性能。環(huán)境因素包括很多：硬件環(huán)境（CPU主頻，個(gè)數(shù)，單個(gè)CPU的核數(shù)，單核CPU的并發(fā)線程數(shù)；物理內(nèi)存大小，虛擬內(nèi)存大小；磁盤的I/O處理能力）；所依賴的軟件環(huán)境（操作系統(tǒng)的相關(guān)配置，數(shù)據(jù)庫(kù)的相關(guān)配置）；自身的軟件環(huán)境（如：并發(fā)線程的設(shè)置；虛擬機(jī)內(nèi)存設(shè)置等）。

進(jìn)行同一個(gè)典型業(yè)務(wù)在不同的配置環(huán)境下的測(cè)試，并進(jìn)行結(jié)果對(duì)比分析可以有效的發(fā)現(xiàn)系統(tǒng)的性能瓶頸，可以找到對(duì)系統(tǒng)進(jìn)行優(yōu)化的依據(jù)；也可以根據(jù)對(duì)比結(jié)果選擇最適合系統(tǒng)的硬件環(huán)境，以及評(píng)估如何調(diào)整才能實(shí)現(xiàn)系統(tǒng)的拓展性。

在OMC的設(shè)備選型測(cè)試中，此處采用了多輪配置測(cè)試方法，對(duì)系統(tǒng)進(jìn)行評(píng)估、優(yōu)化，以及優(yōu)化后進(jìn)行設(shè)備選型。

3.3.2 負(fù)載測(cè)試

負(fù)載測(cè)試是模擬實(shí)際軟件系統(tǒng)所承受的負(fù)載條件的系統(tǒng)負(fù)荷，通過(guò)不斷加載（如逐漸增加模擬用戶的數(shù)量）或其他加載方式來(lái)觀察不同負(fù)載下系統(tǒng)的響應(yīng)時(shí)間和數(shù)據(jù)吞吐量、系統(tǒng)占用的資源（如CPU、內(nèi)存）等。用這種測(cè)試方法，可以找到系統(tǒng)的處理極限。在網(wǎng)管軟件OMC的選型測(cè)試中，使用了負(fù)載測(cè)試方法，對(duì)于不同的軟硬件配置環(huán)境，對(duì)比系統(tǒng)運(yùn)行的性能容量，為OMC的軟硬件選型提供依據(jù)。

3.3.3 壓力測(cè)試

壓力測(cè)試是在強(qiáng)負(fù)載（大數(shù)據(jù)量、大量并發(fā)用戶等）下的測(cè)試，查看應(yīng)用系統(tǒng)在峰值使用情況下操作行為，從而有效地發(fā)現(xiàn)系統(tǒng)的某項(xiàng)功能隱患、系統(tǒng)是否具有良好的容錯(cuò)能力和可恢復(fù)能力。壓力測(cè)試分為高負(fù)載下的長(zhǎng)時(shí)間（如24小時(shí)以上）的穩(wěn)定性壓力測(cè)試和極限負(fù)載情況下導(dǎo)致系統(tǒng)崩潰的破壞性壓力測(cè)試。在OMC的穩(wěn)定性測(cè)試環(huán)節(jié)，采用了壓力測(cè)試的方法。

3.3.4 并發(fā)測(cè)試

并發(fā)測(cè)試驗(yàn)證系統(tǒng)的并發(fā)處理能力。一般是和服務(wù)器端建立大量的并發(fā)連接，通過(guò)客戶端的響應(yīng)時(shí)間和服務(wù)器端的性能監(jiān)測(cè)情況來(lái)判斷系統(tǒng)是否達(dá)到了既定的并發(fā)能力指標(biāo)。

OMC系統(tǒng)是通信網(wǎng)管軟件，其重點(diǎn)應(yīng)用場(chǎng)景不是多用戶的并發(fā)場(chǎng)景，而是大量業(yè)務(wù)并發(fā)場(chǎng)景。因此，在實(shí)際測(cè)試中，并發(fā)測(cè)試針對(duì)的是OMC系統(tǒng)內(nèi)部實(shí)現(xiàn)的并發(fā)，多線程并發(fā)、數(shù)據(jù)庫(kù)死鎖、數(shù)據(jù)庫(kù)事務(wù)處理等方面。

3.3.5 可靠性測(cè)試

可靠性測(cè)試方法通過(guò)給系統(tǒng)加載一定的業(yè)務(wù)壓力，例如資源在70%～90%的情況下，系統(tǒng)持續(xù)運(yùn)行一段時(shí)間后，測(cè)試系統(tǒng)是否穩(wěn)定。OMC系統(tǒng)的穩(wěn)定性測(cè)試使用了該測(cè)試方法，通過(guò)在持續(xù)的業(yè)務(wù)壓力下運(yùn)行，查看OMC系統(tǒng)的處理能力、響應(yīng)時(shí)間、內(nèi)存和CPU使用狀況，以及查看是否有錯(cuò)誤處理等情況。

3.3.6 失敗恢復(fù)測(cè)試

失敗恢復(fù)測(cè)試方法是針對(duì)有冗余備份和負(fù)載均衡系統(tǒng)設(shè)計(jì)的。這種方法可以用來(lái)檢驗(yàn)系統(tǒng)在局部故障情況下，是否能正常運(yùn)行。OMC系統(tǒng)采用集群策略部署，針對(duì)集群策略，進(jìn)行主備切換測(cè)試、主機(jī)或備機(jī)宕機(jī)測(cè)試。測(cè)試過(guò)程中查看是否有業(yè)務(wù)丟失（如配置、告警消息丟失、性能文件處理丟失等），查看系統(tǒng)的處理能力是否正常等。

3.3.7 性能測(cè)試各階段的方法應(yīng)用

綜上，OMC系統(tǒng)的性能測(cè)試各個(gè)階段，對(duì)于測(cè)試方法的應(yīng)用分布為：

圖3 測(cè)試方法的應(yīng)用分布

3.4 測(cè)試結(jié)果分析方法

3.4.1 操作系統(tǒng)計(jì)數(shù)器分析法

操作系統(tǒng)計(jì)數(shù)器分析方法，在OMC性能測(cè)試結(jié)果分析中，起到重要作用。操作系統(tǒng)計(jì)數(shù)器分析法重點(diǎn)關(guān)注內(nèi)存、處理器（CPU）、磁盤I/O這些方面。

內(nèi)存：使用操作系統(tǒng)命令，在OMC運(yùn)行過(guò)程中，記錄內(nèi)存使用情況、內(nèi)存交換區(qū)使用情況。統(tǒng)計(jì)記錄的數(shù)據(jù)，查看內(nèi)存占用走勢(shì)以及內(nèi)存泄漏情況。然后用代碼走查分析方法，或使用內(nèi)存查看工具，來(lái)對(duì)內(nèi)存使用問(wèn)題進(jìn)行定位分析。

處理器（CPU）：用OMC相關(guān)進(jìn)程的%CPU Usage衡量OMC系統(tǒng)對(duì)CPU的使用情況。一般上限不超過(guò)85%。

磁盤I/O：磁盤I/O也是影響系統(tǒng)性能的一個(gè)關(guān)鍵因素。在OMC系統(tǒng)測(cè)試過(guò)程中，發(fā)現(xiàn)OMC系統(tǒng)在存儲(chǔ)過(guò)程中磁盤I/O是性能瓶頸，因此有針對(duì)性的進(jìn)行了系統(tǒng)優(yōu)化，同時(shí)在磁盤硬件選型方面采取了一定措施，解決這個(gè)瓶頸。

3.4.2 分層分析法

OMC系統(tǒng)包含多個(gè)邏輯層次。在實(shí)際測(cè)試中，采用分層分析法對(duì)測(cè)試結(jié)果進(jìn)行分析。

圖4 分層分析法

無(wú)論是上下行數(shù)據(jù)，都記錄各個(gè)邏輯層次處理的時(shí)間段耗時(shí)。如下行操作：從客戶端界面üü業(yè)務(wù)層調(diào)用üü平臺(tái)支撐層處理üü和設(shè)備之間交互（或與數(shù)據(jù)庫(kù)交互）。將操作在各個(gè)邏輯層次的耗時(shí)進(jìn)行統(tǒng)計(jì)，分析得出系統(tǒng)瓶頸產(chǎn)生的層次。當(dāng)分析出某個(gè)邏輯層耗時(shí)占比大后，還可以進(jìn)一步分解該邏輯層次，繼續(xù)深入采用此方法進(jìn)行測(cè)試分析，逐步排查系統(tǒng)瓶頸產(chǎn)生的原因。

3.4.3 統(tǒng)計(jì)法

對(duì)于一個(gè)典型的業(yè)務(wù)進(jìn)行相同的環(huán)境下（軟件，硬件）進(jìn)行多次測(cè)試，對(duì)多次測(cè)試結(jié)果進(jìn)行統(tǒng)計(jì)分析是性能分析的常用辦法。單次測(cè)試往往具有偶然性，對(duì)同一個(gè)操作進(jìn)行多次測(cè)試，通過(guò)統(tǒng)計(jì)的方法進(jìn)行結(jié)果分析。在進(jìn)行統(tǒng)計(jì)分析的時(shí)候，要符合統(tǒng)計(jì)要求的樣本數(shù)量，同時(shí)對(duì)異常點(diǎn)進(jìn)行分離。如下示例：

表1 五次測(cè)試情況

圖5 五次測(cè)試統(tǒng)計(jì)

上面圖表是對(duì)同一個(gè)操作進(jìn)行了五次測(cè)試，對(duì)測(cè)試結(jié)果進(jìn)行統(tǒng)計(jì)后，可以作為最終的參考測(cè)試結(jié)果。

3.4.4 性能曲線趨勢(shì)分析法

通過(guò)分析性能曲線的變化趨勢(shì)對(duì)系統(tǒng)的性能進(jìn)行分析。這個(gè)方法適用的場(chǎng)景很多，如：典型業(yè)務(wù)/操作隨著并發(fā)數(shù)目增多的性能曲線下降的分析方法：性能主要通過(guò)時(shí)間來(lái)衡量。如圖6所示，隨著某一業(yè)務(wù)的增加，處理時(shí)間增加，系統(tǒng)的性能下降。

通常系統(tǒng)的性能曲線是一個(gè)平滑的曲線，隨著并發(fā)的增加，時(shí)間平滑上升，性能平滑下降，找到性能跳變的位置，該位置為系統(tǒng)的性能拐點(diǎn)。在該拐點(diǎn)后，性能急劇下降，超出需求的范圍。在性能評(píng)估中，改點(diǎn)可視為系統(tǒng)的處理能力的上限。OMC 系統(tǒng)的網(wǎng)元管理能力，就可以通過(guò)這個(gè)方法找到上限。圖7是針對(duì)硬件環(huán)境變更進(jìn)行性能分析，是OMC系統(tǒng)對(duì)于網(wǎng)元上行的消息風(fēng)暴作受系統(tǒng)主頻的變化的處理能力的變化：

圖6 性能曲線趨勢(shì)分析法

圖7 針對(duì)硬件環(huán)境變更進(jìn)行性能分析

從圖7可以看出，在一定范圍內(nèi)提升硬件的CPU 主頻是有助于性能提升的，但是提升到一定水平后系統(tǒng)的性能不再有明顯的改善，說(shuō)明此時(shí)系統(tǒng)的性能瓶頸已經(jīng)不在處理器的主頻了，需要分析其他因素了。

3.5 測(cè)試工具的引入

工欲善其事必先利其器，測(cè)試工具在性能測(cè)試中其中非常重要的作用。在OMC系統(tǒng)的性能測(cè)試過(guò)程中，模擬通信網(wǎng)元，構(gòu)造通信場(chǎng)景的大量數(shù)據(jù)，使用發(fā)包工具模擬通信消息等。除了這些構(gòu)造測(cè)試場(chǎng)景的工具外，還引入了如JProbe、JProfiler等工具協(xié)助定位和分析問(wèn)題。

圖8 使用JProbe工具查看客戶端內(nèi)存使用情況

如圖8所示，使用JProbe工具查看客戶端內(nèi)存使用情況，一級(jí)一級(jí)追究java調(diào)用，直到定位出內(nèi)存溢出調(diào)用的代碼，最終使得客戶端內(nèi)存溢出問(wèn)題得到定位和解決。

4 結(jié)束語(yǔ)

綜上所述，OMC系統(tǒng)的性能測(cè)試，在OMC的系列版本開(kāi)發(fā)過(guò)程中，做到了及時(shí)發(fā)現(xiàn)各種性能問(wèn)題，幫助團(tuán)隊(duì)盡可能的對(duì)OMC進(jìn)行了合理優(yōu)化，順利通過(guò)了性能要求。未來(lái)的性能測(cè)試方案，針對(duì)不同的系統(tǒng)架構(gòu)，需要不斷重新設(shè)計(jì)和優(yōu)化，把理論結(jié)合實(shí)際，實(shí)施適合項(xiàng)目的流程和技術(shù)測(cè)量，這是工程師們應(yīng)該完成的責(zé)任和使命。