朱 欣，黃茂生，羅 銀

（工業(yè)和信息化部電子第五研究所軟件質(zhì)量工程研究中心，廣州 510610）

基于比對測試的LoadRunner工具測試結(jié)果有效性驗(yàn)證

朱 欣，黃茂生，羅 銀

（工業(yè)和信息化部電子第五研究所軟件質(zhì)量工程研究中心，廣州 510610）

隨著軟件測試逐漸被重視，如何使用軟件測試工具進(jìn)行高效準(zhǔn)確的測試成為一個(gè)值得探討的問題。LoadRunner是一種預(yù)測系統(tǒng)行為和性能的負(fù)載測試工具，它通過模擬成千上萬用戶實(shí)施并發(fā)負(fù)載及實(shí)時(shí)性能檢測的方式來確認(rèn)和查找問題。而其測試結(jié)果的有效性驗(yàn)證是所要探討的問題。

軟件性能測試；LoadRunner；比對測試；有效性驗(yàn)證

0 引言

ISO/IEC 17025:2005《檢測和校準(zhǔn)實(shí)驗(yàn)室認(rèn)可準(zhǔn)則》[1]中明確要求用于檢測和/或校準(zhǔn)的所有設(shè)備，包括對檢測、校準(zhǔn)和抽樣結(jié)果的有效性或有效性有顯著影響的輔助測量設(shè)備（例如用于測量環(huán)境條件的設(shè)備），在投入使用前應(yīng)進(jìn)行校準(zhǔn)，因此軟件類檢測工具存在校準(zhǔn)的必要性。但是由于軟件類檢測工具的特殊性，一般難以直接對其檢測結(jié)果的有效性進(jìn)行判定。

LoadRunner是性能測試領(lǐng)域應(yīng)用廣泛的測試工具之一，其測試結(jié)果能夠?yàn)樘岣哕浖こ痰恼w質(zhì)量提供很重要的參考，因此需要一種方法來驗(yàn)證LoadRunner工具檢測結(jié)果的有效性。本文提出通過實(shí)驗(yàn)室間比對測試的方法，來驗(yàn)證各實(shí)驗(yàn)室使用LoadRunner工具測試結(jié)果的有效性；實(shí)驗(yàn)室的用戶、監(jiān)督和管理機(jī)構(gòu)、評價(jià)機(jī)構(gòu)等可通過能力比對結(jié)果，判斷實(shí)驗(yàn)室是否具備使用LoadRunner工具進(jìn)行性能測試的能力。

1 LoadRunner簡介

LoadRunner是一種預(yù)測系統(tǒng)行為和性能的負(fù)載測試工具[2]。LoadRunner可以通過建立虛擬用戶（Virtual Users）來替代真實(shí)用戶的操作，模擬實(shí)際場景下多用戶同時(shí)在客戶端進(jìn)行業(yè)務(wù)操作，從而實(shí)施并發(fā)負(fù)載及實(shí)時(shí)性能監(jiān)測的方式來確認(rèn)和查找軟件系統(tǒng)可能存在的性能問題。LoadRunner可適用于各種體系架構(gòu)的自動負(fù)載測試，能預(yù)測系統(tǒng)行為并評估系統(tǒng)性能。由于通過使用LoadRunner，企業(yè)能夠最大限度的縮短測試時(shí)間，優(yōu)化性能和加速應(yīng)用系統(tǒng)的發(fā)布周期[3]，因此目前LoadRunner已廣泛應(yīng)用于軟件性能測試領(lǐng)域，大部分專業(yè)檢測實(shí)驗(yàn)室也都配備了LoadRunner這個(gè)商業(yè)性能測試工具。

2 LoadRunner比對測試設(shè)計(jì)

2.1 比對測試環(huán)境設(shè)計(jì)

在使用LoadRunner進(jìn)行性能測試時(shí)，為了保證測試環(huán)境的可控性和一致性，控制影響比對測試最終測試結(jié)果的因素只有LoadRunner工具本身，我們需要盡可能地排除其他因素的影響，為此，建議作如下約束：

①各實(shí)驗(yàn)室在相同的軟硬件配置環(huán)境下進(jìn)行測試；

②各實(shí)驗(yàn)室對同一套系統(tǒng)進(jìn)行測試；

③各實(shí)驗(yàn)室用同一套腳本進(jìn)行測試；

④測試過程中每個(gè)實(shí)驗(yàn)室在測試開始前重啟應(yīng)用、重啟服務(wù)器。

2.2 評價(jià)標(biāo)準(zhǔn)確定

選定樣品后，需要對樣品進(jìn)行測試以確定比對測試的評價(jià)標(biāo)準(zhǔn)。樣品測試由若干個(gè)實(shí)驗(yàn)室共同完成，在

相同的測試環(huán)境下各自的LoadRunner工具測試相同測試樣本的相同測試場景，記錄實(shí)驗(yàn)室1、實(shí)驗(yàn)室2…實(shí)驗(yàn)室n的平均響應(yīng)時(shí)間為t1、t2…tn，根據(jù)式（1）計(jì)算出基準(zhǔn)值

根據(jù)式（2）計(jì)算出相對誤差判斷閾值C：

最后依據(jù)樣品測試結(jié)果提出LoadRunner比對測試評估原則：

（1）單性能點(diǎn)結(jié)果評價(jià)原則：在關(guān)鍵事務(wù)成功率為100%的情況下，以全部實(shí)驗(yàn)室測試得到的平均響應(yīng)時(shí)間求和后計(jì)算算術(shù)平均值，以該算術(shù)平均值作為基準(zhǔn)值，各實(shí)驗(yàn)室與基準(zhǔn)值之間計(jì)算相對誤差。若某性能點(diǎn)的平均響應(yīng)時(shí)間測試結(jié)果相對誤差不大于相對誤差判斷閾值C，則認(rèn)為該性能點(diǎn)的平均響應(yīng)時(shí)間測試結(jié)果不離群，測試結(jié)果是滿意的；否則為不滿意；

（2）測試結(jié)果總體評價(jià)原則：若實(shí)驗(yàn)室各性能點(diǎn)測試的平均響應(yīng)時(shí)間測試結(jié)果均不離群，則認(rèn)為該實(shí)驗(yàn)室的LoadRunner工具比對總體測試結(jié)果是滿意的；否則為不滿意。

3 實(shí)例演示

3.1 實(shí)例概述

本實(shí)例由4家實(shí)驗(yàn)室共同進(jìn)行LoadRunner測試結(jié)果有效性驗(yàn)證比對測試，選取的實(shí)例為某航班訂票系統(tǒng)。結(jié)合系統(tǒng)的業(yè)務(wù)需求，選取了較為典型的三個(gè)業(yè)務(wù)場景作為性能測試點(diǎn)。

3.2 評價(jià)標(biāo)準(zhǔn)

由具備軟件性能測試能力的若干家實(shí)驗(yàn)室共同對樣品進(jìn)行測試，確定樣品各個(gè)指標(biāo)的基準(zhǔn)值以及相對誤差判斷閾值。收集樣品測試結(jié)果，依據(jù)式（2）計(jì)算得出本實(shí)例比對測試的相對誤差判斷閾值為5%。

3.3 比對結(jié)果

各實(shí)驗(yàn)室使用LoadRunner測試某訂票系統(tǒng)的平均響應(yīng)時(shí)間測試結(jié)果如表1：

依據(jù)式（1）和式（2）計(jì)算得出的平均值及相對誤差分別見表2。

根據(jù)上述測試結(jié)果及相關(guān)分析可知，本次比對測試中，各參與實(shí)驗(yàn)室在各性能點(diǎn)的平均響應(yīng)時(shí)間測試結(jié)果相對誤差均需不大于5%，依據(jù)結(jié)果評價(jià)原則，得出結(jié)論：此次參加比對的四家實(shí)驗(yàn)室的LoadRunner工具測試結(jié)果均滿足預(yù)期的要求，符合結(jié)果評價(jià)標(biāo)準(zhǔn)，各家LoadRunner工具的性能測試結(jié)果均是可信的。

4 結(jié)語

本文探討了使用比對測試來驗(yàn)證LoadRunner測試結(jié)果有效性的方法。實(shí)驗(yàn)室間比對驗(yàn)證作為實(shí)驗(yàn)室改進(jìn)工作質(zhì)量的基礎(chǔ)和重要手段，在實(shí)驗(yàn)室質(zhì)量體系建設(shè)中起著重要的作用。同時(shí)通過比對測試活動還可增進(jìn)實(shí)驗(yàn)室間的技術(shù)交流，識別實(shí)驗(yàn)室間的差異，確定實(shí)驗(yàn)室進(jìn)行某些特定測試的能力，增加實(shí)驗(yàn)室用戶的信心，提高實(shí)驗(yàn)室的可信度，因此，通過開展實(shí)驗(yàn)室間工具比對測試來驗(yàn)證軟件類檢測工具測試結(jié)果的可信度是一種可行有效的方法。

表2 平均響應(yīng)時(shí)間測試結(jié)果

表3 平均值及相對誤差

[1]ISO/IEC17025∶2005檢測和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則(一)[J].現(xiàn)代測量與實(shí)驗(yàn)室管理，2005(06).

[2]楊萍，李杰.利用LoadRunner實(shí)現(xiàn)Web負(fù)載測試的自動化[J].計(jì)算機(jī)技術(shù)與發(fā)展，2007(01).

[3]郝煒.性能測試工具LoadRunner介紹[J].電腦知識與技術(shù)，2008(17).

Validity Verification of Results Tested by LoadRunner Based on Comparison Test

ZHU Xin，HUANG Mao-sheng，LUO Yin

（CEPREI Software Testing Center，Guangzhou 510610）

With the gradual emphasis on software testing,how to use software testing tools to ensure the high efficiency of software test has becoming a problem that seriously need to be solved.LoadRunner is a software testing tool that can predict the behavior and performance of software system,it finds problem through simulating thousands of users to implement concurrent load and detect the real-time performance. And discusses the validity of test results by LoadRunner.

Software Performance Test;Loadrunner;Comparison Test;Validation of Effectiveness

1007-1423（2016）30-0054-03

10.3969/j.issn.1007-1423.2016.30.014

朱欣（1989-），男，江蘇泰州人，本科，助理工程師，研究方向?yàn)榈谌较到y(tǒng)評測、軟件工程化等

黃茂生（1973-），男，廣東肇慶人，碩士，高級工程師，研究方向?yàn)檐浖|(zhì)量與可靠性，Email：hmosen@126.com

羅銀（1984-），男，湖南，碩士，高級工程師

2016-10-15

2016-10-20