馬莉

（中國(guó)移動(dòng)（深圳）有限公司，廣東　深圳　518048）

淺談后端應(yīng)用系統(tǒng)性能測(cè)試方法

馬莉

（中國(guó)移動(dòng)（深圳）有限公司，廣東深圳518048）

由于后端應(yīng)用系統(tǒng)的復(fù)雜性，業(yè)界常用的負(fù)載工具很難模擬后端系統(tǒng)的運(yùn)作。對(duì)于應(yīng)用系統(tǒng)來(lái)說(shuō)，僅通過(guò)前端模擬用戶的方式來(lái)定位后端應(yīng)用系統(tǒng)的問(wèn)題總會(huì)差強(qiáng)人意，因此本文提出一種針對(duì)后端應(yīng)用系統(tǒng)的性能測(cè)試方法，得出后端系統(tǒng)的最大處理能力以及擴(kuò)容的方法，進(jìn)而提高整個(gè)應(yīng)用系統(tǒng)的性能。

后端應(yīng)用系統(tǒng)；性能測(cè)試；指標(biāo)值分析

1　引言

隨著應(yīng)用軟件用戶負(fù)載的增加和應(yīng)用環(huán)境越趨于復(fù)雜，用戶的響應(yīng)速度、系統(tǒng)的安全運(yùn)行等性能問(wèn)題,逐漸成為軟件系統(tǒng)必須考慮的指標(biāo)之一。性能測(cè)試通常通過(guò)自動(dòng)化的測(cè)試工具模擬多種正常、峰值以及異常的負(fù)載條件來(lái)對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行測(cè)試，用來(lái)檢測(cè)軟件是否達(dá)到用戶提出的性能指標(biāo)，及時(shí)發(fā)現(xiàn)軟件系統(tǒng)中存在的瓶頸，升級(jí)軟件、擴(kuò)容硬件，最后起到優(yōu)化系統(tǒng)的目的。目前已經(jīng)存在的性能測(cè)試工具數(shù)量不下一百種，從單一的開(kāi)放源碼的免費(fèi)工具如OpenSTA,TestMaker、Jmeter等，到商業(yè)性能測(cè)試工具QALoad、LoadRunner、Webstress等。任何性能測(cè)試工具都有其優(yōu)缺點(diǎn)，可以根據(jù)實(shí)際情況挑選用最合適的工具。但是對(duì)于后臺(tái)服務(wù)器的復(fù)雜性，目前針對(duì)性的測(cè)試工具匱乏，測(cè)試方法和策略也不像前端性能測(cè)試那么明確。

2　后端性能測(cè)試實(shí)施過(guò)程

性能測(cè)試需要經(jīng)過(guò)需求分析、測(cè)試準(zhǔn)備、搭建環(huán)境、測(cè)試執(zhí)行和測(cè)試結(jié)果分析等幾個(gè)重要階段，在此我們著重介紹需求分析、準(zhǔn)備階段測(cè)試環(huán)境的準(zhǔn)備，以及測(cè)試執(zhí)行階段關(guān)于后端系統(tǒng)需要重點(diǎn)關(guān)注的幾個(gè)方面。

2.1需求

后端應(yīng)用系統(tǒng)性能測(cè)試的需求來(lái)源主要是隨著前端請(qǐng)求數(shù)的快速增長(zhǎng)，對(duì)系統(tǒng)進(jìn)行后端改造，需要了解改造后的系統(tǒng)性能情況。因此在測(cè)試前，需要了解系統(tǒng)目標(biāo)TPS、單個(gè)功能域的目標(biāo)處理速度、系統(tǒng)目標(biāo)承載能力等。

有了目標(biāo)后，首先要了解各個(gè)系統(tǒng)之間的通信形式，了解組網(wǎng)中各個(gè)模塊之間的通信方式、接口調(diào)用方式等信息，對(duì)于測(cè)試用例的設(shè)計(jì)以及測(cè)試環(huán)境的搭建是至關(guān)重要。其次了解系統(tǒng)進(jìn)程處理的邏輯和順序，啟動(dòng)進(jìn)程時(shí)需要調(diào)用和匹配哪些數(shù)據(jù)，以及數(shù)據(jù)在系統(tǒng)中被處理時(shí)的存放機(jī)制等，利用設(shè)計(jì)測(cè)試用例，精準(zhǔn)的用例可以直擊系統(tǒng)問(wèn)題的本質(zhì)，減少摸索的時(shí)間。

較為復(fù)雜的系統(tǒng)，都會(huì)有自己的模塊組合方式。需要了解整個(gè)系統(tǒng)由幾個(gè)模塊組成，各個(gè)模塊的耦合關(guān)系是怎樣的，不僅對(duì)于功能測(cè)試中的異常測(cè)試用例的設(shè)計(jì)有很大幫助，而且對(duì)于性能測(cè)試的幫助也同樣不可小覷。如有一個(gè)性能需求是發(fā)現(xiàn)現(xiàn)網(wǎng)有一個(gè)查詢分支性能是否有問(wèn)題，那么就需要很快地鎖定關(guān)鍵的模塊，瓶頸很可能存在于處理這條分支的server上。同時(shí)了解系統(tǒng)的各個(gè)模塊以及模塊之間的耦合關(guān)系，對(duì)理解性能曲線、調(diào)整測(cè)試方案同樣重要。

2.2建立業(yè)務(wù)數(shù)據(jù)模型

在了解到詳細(xì)的測(cè)試需求和系統(tǒng)架構(gòu)的基礎(chǔ)上，需要做好充足的測(cè)試準(zhǔn)備，在數(shù)據(jù)準(zhǔn)備方面，可以建立相應(yīng)的數(shù)據(jù)模型，按照模型的配比準(zhǔn)備數(shù)據(jù)。建立業(yè)務(wù)模型首先要關(guān)注的是現(xiàn)網(wǎng)運(yùn)行的業(yè)務(wù)數(shù)據(jù)，并建立相應(yīng)的業(yè)務(wù)模型。以某計(jì)費(fèi)系統(tǒng)上線測(cè)試為例，計(jì)費(fèi)系統(tǒng)主要的功能模塊有計(jì)費(fèi)模塊、合帳模塊、出賬展示模塊，目的是為了在系統(tǒng)上線前需要全面掌握系統(tǒng)的性能情況。

(1)對(duì)系統(tǒng)近幾個(gè)月的業(yè)務(wù)總量進(jìn)行統(tǒng)計(jì)分析，分析得出辦理較多的交易（約占業(yè)務(wù)辦理總量的90%左右）。

(2)對(duì)業(yè)務(wù)量辦理較多的幾支交易，按天統(tǒng)計(jì)當(dāng)月的交易量。

(3)對(duì)每個(gè)月的高峰日交易量進(jìn)行分析，按小時(shí)統(tǒng)計(jì)每支交易的占比，獲取最大的小時(shí)交易量，顆粒度越小，數(shù)據(jù)越精準(zhǔn)。

表1　分別按月、按天、按時(shí)段交易量統(tǒng)計(jì)

(4)對(duì)小時(shí)交易量進(jìn)行分析，獲取各支交易的占比，該業(yè)務(wù)占比的比例關(guān)系，也是在測(cè)試執(zhí)行過(guò)程中，并發(fā)用戶數(shù)的配比關(guān)系。

表2　高峰時(shí)段交易量占比統(tǒng)計(jì)

2.3測(cè)試環(huán)境的準(zhǔn)備

測(cè)試環(huán)境的搭建往往要根據(jù)測(cè)試用例的設(shè)計(jì)而確定。對(duì)于初次進(jìn)行性能測(cè)試的系統(tǒng)，目標(biāo)是盡可能和現(xiàn)網(wǎng)一致?？紤]到測(cè)試環(huán)境成本問(wèn)題，可搭建縮小版的測(cè)試環(huán)境，但需要注意測(cè)試環(huán)境與現(xiàn)網(wǎng)系統(tǒng)架構(gòu)必須相同，使用的操作系統(tǒng)、各軟件版本、參數(shù)配置必須相同，硬件型號(hào)、配置需與現(xiàn)網(wǎng)相同等等。

(1)測(cè)試數(shù)據(jù)準(zhǔn)確性

大數(shù)據(jù)量以及數(shù)據(jù)的多樣性往往是模擬的難點(diǎn)，數(shù)據(jù)量配比可以按照業(yè)務(wù)數(shù)據(jù)模型占比準(zhǔn)備，數(shù)據(jù)準(zhǔn)備通常有三種方法：

1)大數(shù)據(jù)量需要自己寫(xiě)腳本將數(shù)據(jù)庫(kù)填充到一定的程度。

2)如對(duì)數(shù)據(jù)的一致性要求高的話，可以采用從現(xiàn)網(wǎng)對(duì)數(shù)據(jù)做攔截、備份、導(dǎo)入的方法。

3)會(huì)話消息類(lèi)型的數(shù)據(jù)可以采用模擬器生成的方式，生成所需要的會(huì)話類(lèi)型，采集部分歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)特性分析，包括數(shù)據(jù)封裝規(guī)則、數(shù)據(jù)大小范圍、數(shù)據(jù)大小波動(dòng)方差、時(shí)長(zhǎng)范圍、時(shí)長(zhǎng)波動(dòng)方差等，通過(guò)模擬器配置控制數(shù)據(jù)的樣式、數(shù)據(jù)大小、時(shí)長(zhǎng)，以及隨機(jī)抖動(dòng)的程度，這種方法可實(shí)現(xiàn)數(shù)據(jù)多維度多樣性，達(dá)到模擬的效果。

(2)測(cè)試環(huán)境網(wǎng)絡(luò)時(shí)延

網(wǎng)絡(luò)時(shí)延和IDC機(jī)器管理有著密切聯(lián)系。但是卻常常被測(cè)試人員忽略，測(cè)試機(jī)器也和運(yùn)營(yíng)機(jī)器一樣，分布在不同的IDC，在挑選機(jī)器部署時(shí)，需要先了解一下現(xiàn)網(wǎng)運(yùn)營(yíng)機(jī)器之間的網(wǎng)絡(luò)時(shí)延。

(3)測(cè)試環(huán)境配置

日志級(jí)別的配置、線程或進(jìn)程的個(gè)數(shù)配比需要與現(xiàn)網(wǎng)盡可能一致，在診斷問(wèn)題時(shí)可以將日志級(jí)別降低，以便發(fā)現(xiàn)定位問(wèn)題。

(4)測(cè)試工具準(zhǔn)備

直接針對(duì)后端性能測(cè)試的工具較少，往往在統(tǒng)計(jì)測(cè)試結(jié)果時(shí)需要大量的人為操作，對(duì)于后端服務(wù)系統(tǒng)來(lái)說(shuō)，這就需要提前準(zhǔn)備的數(shù)據(jù)統(tǒng)計(jì)的方法、腳本等分別從數(shù)據(jù)庫(kù)和日志中計(jì)算出系統(tǒng)的處理能力。

2.4TPS模型配比

后端系統(tǒng)改造往往沒(méi)有歷史的性能情況，這種情況下，可以采用目標(biāo)TPS的方式壓測(cè)，即業(yè)務(wù)模型的比例是由總的目標(biāo)TPS得出各業(yè)務(wù)之間的目標(biāo)TPS的比例，再反向推出并發(fā)用戶數(shù)的配比。

步驟一，需要知道每種業(yè)務(wù)在單個(gè)并發(fā)情況下對(duì)系統(tǒng)資源消耗的情況，即將2.2章節(jié)中的業(yè)務(wù)模型所涉及的所有業(yè)務(wù)，單用戶執(zhí)行多次，獲取該業(yè)務(wù)單TPS值和響應(yīng)時(shí)間time。

步驟二，根據(jù)最終要達(dá)到的整個(gè)系統(tǒng)的目標(biāo)TPS_all以及2.2章節(jié)中該業(yè)務(wù)A的占比，計(jì)算該業(yè)務(wù)需要應(yīng)達(dá)到的目標(biāo)TPS_every=TPS_all*業(yè)務(wù)A占比；

步驟三，根據(jù)基準(zhǔn)TPS_all和目標(biāo)TPS_every，計(jì)算虛擬用戶數(shù)，即Vuser_every=TPS_all/TPS_every,得到的Vuser_every值往往不是整數(shù)，在設(shè)定并發(fā)時(shí)需要對(duì)Vuser_every取整；

步驟四，根據(jù)Vuser_every和目標(biāo)TPS_all，反推出單個(gè)用戶的TPS_every1,TPS_every1=TPS_all/Vuser；

步驟五，計(jì)算各業(yè)務(wù)之間的延遲時(shí)間，延遲時(shí)間為實(shí)際的響應(yīng)時(shí)間time和計(jì)算得出響應(yīng)時(shí)間time1的差值。根據(jù)TPS_every1，計(jì)算出各業(yè)務(wù)單個(gè)用戶響應(yīng)時(shí)間time1，響應(yīng)時(shí)間與TPS成反比，即time1=1/TPS_every1，延遲時(shí)間=time1-time；

綜上，得出的并發(fā)用戶數(shù)量和延遲時(shí)間，就可以應(yīng)用在后續(xù)的測(cè)試執(zhí)行中。

2.5測(cè)試執(zhí)行與數(shù)據(jù)統(tǒng)計(jì)

性能測(cè)試執(zhí)行流程如圖1所示。傳統(tǒng)的性能測(cè)試方法都是按照業(yè)務(wù)模型各業(yè)務(wù)間的比例設(shè)置并發(fā)用戶數(shù)，或是基于TPS的模型的負(fù)載配置方法，使應(yīng)用系統(tǒng)的測(cè)試結(jié)果符合業(yè)務(wù)模型的預(yù)期。而后端的壓測(cè)方法和網(wǎng)站等形式的系統(tǒng)差異較大：

(1)準(zhǔn)備充足的業(yè)務(wù)數(shù)據(jù)，根據(jù)2.4章節(jié)得到的并發(fā)用戶數(shù)量和延遲時(shí)間，準(zhǔn)備相應(yīng)的業(yè)務(wù)數(shù)據(jù)，用擋板技術(shù)使其停留在系統(tǒng)前端，等待處理；

(2)配比處理該業(yè)務(wù)進(jìn)程（或服務(wù)）的個(gè)數(shù)，以及個(gè)業(yè)務(wù)進(jìn)程之間的比例；

(3)首輪壓測(cè)的進(jìn)程個(gè)數(shù)不易太多，假設(shè)業(yè)務(wù)A部署N個(gè)進(jìn)程、業(yè)務(wù)B部署M個(gè)進(jìn)程，進(jìn)程啟動(dòng)后，放開(kāi)前端準(zhǔn)備好的測(cè)試數(shù)據(jù)，待系統(tǒng)穩(wěn)定運(yùn)行后，記錄進(jìn)程（或服務(wù)）個(gè)數(shù)，以及此時(shí)測(cè)試的時(shí)間和后端服務(wù)器的消耗（CPU、內(nèi)存等）；

(4)增加進(jìn)程（或服務(wù)）的配置個(gè)數(shù)，等比例增長(zhǎng)，并記錄當(dāng)前測(cè)試時(shí)間和后端服務(wù)器的消耗（CPU、內(nèi)存等）；

(5)重復(fù)步驟4，直至系統(tǒng)資源消耗達(dá)到預(yù)期（一般CPU達(dá)到70%以上即認(rèn)為已達(dá)到系統(tǒng)最大承載能力）、某臺(tái)服務(wù)器發(fā)出告警或是報(bào)錯(cuò)，停止增加進(jìn)程（或服務(wù)）。

(6)整個(gè)壓測(cè)過(guò)程中，每輪測(cè)試的起止時(shí)間是關(guān)鍵，測(cè)試結(jié)束后，根據(jù)測(cè)試時(shí)間統(tǒng)計(jì)后端服務(wù)器處理業(yè)務(wù)的速率，大致可分為兩種情況：一種是可落地直接寫(xiě)進(jìn)物理庫(kù)的數(shù)據(jù)，直接按照梯度增加進(jìn)程的每個(gè)時(shí)間段，統(tǒng)計(jì)處理業(yè)務(wù)的筆數(shù)；另外一種是中間進(jìn)程（或服務(wù)）處理，存儲(chǔ)在文件系統(tǒng)中的數(shù)據(jù)，根據(jù)情況需要從處理日志中統(tǒng)計(jì)業(yè)務(wù)處理的筆數(shù)。

圖1　性能測(cè)試執(zhí)行流程圖

3　性能指標(biāo)分析

系統(tǒng)的性能指標(biāo)可以分為兩大類(lèi)，系統(tǒng)指標(biāo)和資源指標(biāo)。典型的系統(tǒng)指標(biāo)有在線用戶數(shù)、吞吐量、響應(yīng)時(shí)間等，系統(tǒng)指標(biāo)有CPU、內(nèi)存分配和使用、文件、網(wǎng)絡(luò)IO操作、數(shù)據(jù)庫(kù)連接數(shù)操作等。近幾年隨著后端系統(tǒng)的出現(xiàn)，對(duì)于大型服務(wù)器來(lái)說(shuō)，硬件資源不足已經(jīng)不再是系統(tǒng)性能的瓶頸了，大型后端系統(tǒng)往往資源都十分充足，那么在評(píng)價(jià)后端系統(tǒng)性能時(shí)可以將關(guān)注重點(diǎn)放到系統(tǒng)吞吐量的波動(dòng)情況、系資源使用的波動(dòng)情況等，可以用數(shù)學(xué)理論統(tǒng)計(jì)、指標(biāo)值變化的情況，利用方差的概率建立波動(dòng)模型。得出抖動(dòng)率越小說(shuō)明數(shù)據(jù)的振幅越小，系統(tǒng)越穩(wěn)定。

設(shè)指標(biāo)值為xi,i=1-n

由于后端服務(wù)器的復(fù)雜性，測(cè)試統(tǒng)計(jì)出的指標(biāo)值很難是一條直線，那么指標(biāo)值波動(dòng)的程度決定了系統(tǒng)的情況，如有明顯的波動(dòng)（有規(guī)律、無(wú)規(guī)律），表示系統(tǒng)不穩(wěn)定，常見(jiàn)瓶頸在于系統(tǒng)軟件、軟負(fù)載不均衡。小量的波動(dòng)在一定程度上是可以容忍的，因此這時(shí)就需要建立一套指標(biāo)值的波動(dòng)范圍，建立的依據(jù)可以通過(guò)對(duì)歷史數(shù)據(jù)的統(tǒng)計(jì)分析得出。

4　結(jié)束語(yǔ)

本文針對(duì)后端應(yīng)用系統(tǒng)提出性能測(cè)試方法，和前端WEB系統(tǒng)的性能測(cè)試的數(shù)據(jù)準(zhǔn)備、測(cè)試方法、結(jié)果采集、結(jié)果分析等多個(gè)層面差異較大，后端應(yīng)用系統(tǒng)的處理能力直接影響前端頁(yè)面處理能力，因此對(duì)于后臺(tái)服務(wù)器的性能瓶頸診斷和優(yōu)化才是整個(gè)應(yīng)用系統(tǒng)的關(guān)鍵。

[1]李少杰．面向移動(dòng)智能終端應(yīng)用性能測(cè)試平臺(tái)的研究[M]．廣東：華南理工大學(xué)出版社，2014．

[2]黃文高．深入性能測(cè)試[M]．北京：中國(guó)水利水電出版社，2013．

[3]馮艷紅．軟件性能測(cè)試實(shí)施過(guò)程研究[J]．軟件導(dǎo)刊，2011，10 (2)：3-4．

[4]陳能技．軟件測(cè)試技術(shù)大全[M]．北京：人民郵電出版社，2015．

Discussion on the Performance Testing Method for Back-endApplication System

Ma Li
(China Mobile(Shenzhen)Limited Company,Shenzhen 518048,Guangdong)

The complexity of the back-end application systems makes it difficult to be simulated by the common load tools.For the application system,it is barely satisfactory that only using the front-end user simulation mod to solve the problems of back-end application system.This paper presents a performance testing method for back-end application system,obtaining the maximum processing capacity and capacity expansion method,and improving the performance of the whole application system.

back-end application system;performance testing;index value analysis

TP311.52

A

1008-6609(2016)06-0062-03

馬莉，女，廣東人，碩士研究生，研究方向：軟件測(cè)試技術(shù)。