楊德成， 李利平， 薛振偉

(中國(guó)工程物理研究院計(jì)算機(jī)應(yīng)用研究所，四川綿陽(yáng)621900)

0 引言

能力驗(yàn)證是利用實(shí)驗(yàn)室間比對(duì)來(lái)判定實(shí)驗(yàn)室能力的活動(dòng)。中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì)(CNAS)根據(jù)國(guó)際實(shí)驗(yàn)室認(rèn)可合作組織(ILAC)、亞太實(shí)驗(yàn)室認(rèn)可合作組織(APLAC)相關(guān)要求制定了能力驗(yàn)證政策和要求，組織開(kāi)展能力驗(yàn)證活動(dòng)并參加國(guó)際能力驗(yàn)證計(jì)劃［1-2］。

能力驗(yàn)證有助于檢驗(yàn)各實(shí)驗(yàn)室對(duì)相應(yīng)領(lǐng)域基本技術(shù)的掌握能力，提高相應(yīng)領(lǐng)域檢測(cè)結(jié)果的準(zhǔn)確性和可比性，為相應(yīng)領(lǐng)域的實(shí)驗(yàn)室管理和認(rèn)可提供技術(shù)依據(jù)［1-3］。實(shí)驗(yàn)室可以通過(guò)利用能力驗(yàn)證這種外部質(zhì)量保證(EQA)工具，識(shí)別與同行機(jī)構(gòu)之間的差異，補(bǔ)充其內(nèi)部質(zhì)量控制技術(shù)，為自身的持續(xù)改進(jìn)和質(zhì)量管理提供信息［1-4］。實(shí)驗(yàn)室的用戶、監(jiān)督和管理機(jī)構(gòu)、評(píng)價(jià)機(jī)構(gòu)等可以利用CNAS能力驗(yàn)證結(jié)果，判斷實(shí)驗(yàn)室是否具有從事檢測(cè)活動(dòng)的能力［5-6］。

到目前為止，在軟件測(cè)試領(lǐng)域，CNAS開(kāi)展過(guò)效率測(cè)試、功能性測(cè)試及易用性測(cè)試能力驗(yàn)證活動(dòng)。

1 軟件效率測(cè)試的能力驗(yàn)證活動(dòng)的基本情況

軟件效率測(cè)試能力驗(yàn)證由CNAS組織，國(guó)家應(yīng)用軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心負(fù)責(zé)具體實(shí)施，共有48家軟件測(cè)試實(shí)驗(yàn)室參加。本次能力驗(yàn)證的軟件效率測(cè)試是基于軟件需求的效率測(cè)試，依據(jù)的標(biāo)準(zhǔn)是 GB/T 17544-1998信息技術(shù) 軟件包 質(zhì)量要求和測(cè)試，所有測(cè)試過(guò)程的文檔格式由各參加實(shí)驗(yàn)室自定。

軟件效率測(cè)試的目的在于檢測(cè)軟件系統(tǒng)是否滿足用戶的效率指標(biāo)，發(fā)現(xiàn)在滿足用戶需求的條件下可能存在的效率瓶頸和其它效率問(wèn)題［7-10］。軟件效率測(cè)試主要包含以下幾個(gè)方面的工作［11-14］:

(1)對(duì)系統(tǒng)的效率做量化的綜合評(píng)估;

(2)發(fā)現(xiàn)系統(tǒng)可能存在的效率瓶頸;

(3)對(duì)系統(tǒng)可能出現(xiàn)的效率故障分析定位;

(4)為系統(tǒng)資源優(yōu)化提供參考;

(5)評(píng)估系統(tǒng)的可擴(kuò)展性。

1．1 軟件效率測(cè)試能力驗(yàn)證活動(dòng)樣品軟件簡(jiǎn)介

樣品軟件是一個(gè)網(wǎng)站稿件管理發(fā)布系統(tǒng)，有稿件管理和文檔上傳下載2個(gè)功能，系統(tǒng)采用B/S架構(gòu)，客戶端用戶使用IE瀏覽器即可登錄并使用系統(tǒng)。樣品軟件是一個(gè)獨(dú)立封裝的自解壓運(yùn)行的數(shù)據(jù)包，按照用戶手冊(cè)的說(shuō)明，在滿足軟件測(cè)試環(huán)境要求的服務(wù)器上進(jìn)行軟件的安裝和啟動(dòng)，不需要另行安裝中間件和數(shù)據(jù)庫(kù)環(huán)境。安裝完成以后，測(cè)試數(shù)據(jù)(5 309篇稿件、2個(gè)各包含1篇文檔的文件夾。)已經(jīng)加載到系統(tǒng)。在簡(jiǎn)單的局域網(wǎng)環(huán)境下，在當(dāng)前數(shù)據(jù)量級(jí)下，執(zhí)行本次效率測(cè)試。

1．2 樣品軟件效率要求及運(yùn)行環(huán)境規(guī)定

本次能力驗(yàn)證樣品軟件功能劃分如圖1所示。

圖1 樣品軟件功能劃分圖

1．2．1 效率要求

樣品軟件應(yīng)用于局域網(wǎng)環(huán)境，并要滿足以下效率要求:

(1)主要單點(diǎn)操作在5 s內(nèi)完成;

(2)系統(tǒng)支持50人在線;

(3)稿件管理的主要功能至少支持20人并發(fā)訪問(wèn);

(4)上傳512 kB大小文檔，速度達(dá)到20篇/min;(5)系統(tǒng)可以連續(xù)穩(wěn)定運(yùn)行12 h。

注:單點(diǎn)操作指單用戶對(duì)單一功能點(diǎn)的操作;主要功能指能夠體現(xiàn)系統(tǒng)效率特征的操作。

1．2．2 運(yùn)行環(huán)境規(guī)定

樣品軟件是采用J2EE架構(gòu)開(kāi)發(fā)的B/S系統(tǒng)，運(yùn)行環(huán)境如下。

(1)硬件要求。服務(wù)器:CPU主頻1 GHz以上，內(nèi)存1 GB以上，硬盤自由空間在1 GB以上。

(2)支持軟件。服務(wù)器:操作系統(tǒng)為Windows2003 Server或Windows XP;

瀏覽器:IE6+sp2;

數(shù)據(jù)庫(kù):MySQL-5．1．28;

中間件:Tomcat6．0;

應(yīng)用軟件:Liferay Portal 5．1．1、JDK1．6．0_07。

(3)客戶端。

操作系統(tǒng):Microsoft WindowsXP SP2;

瀏覽器:IE6+sp2;

Word版本為office 2000或office XP或office 2003。

(4)用戶接口。軟件為B/S架構(gòu)，用戶使用IE瀏覽器即可登錄并訪問(wèn)系統(tǒng)。

2 軟件效率測(cè)試的一些具體做法

2．1 對(duì)軟件效率需求的理解

準(zhǔn)確理解需求是做好軟件測(cè)試工作的基礎(chǔ)［15］，在分析軟件效率需求時(shí)，需要結(jié)合軟件需求規(guī)格說(shuō)明書和用戶手冊(cè)一起分析研究。相對(duì)而言，用戶手冊(cè)往往能提供更加詳盡的信息，對(duì)功能的描述比需求規(guī)格說(shuō)明書對(duì)功能的描述要更加明確和詳細(xì)。

以“增加稿件”功能為例，軟件需求規(guī)格說(shuō)明書描述如下:

(1)應(yīng)能逐條增加稿件。

(2)一條完整的稿件信息包括稿件的編號(hào)、狀態(tài)、標(biāo)題和內(nèi)容。

(3)編號(hào)由系統(tǒng)自動(dòng)生成，不需要用戶輸入。增加稿件時(shí)，只須輸入稿件標(biāo)題和稿件內(nèi)容，點(diǎn)擊保存即可。

用戶手冊(cè)對(duì)“增加稿件”實(shí)際描述了4種不同的業(yè)務(wù)操作方式，要考慮到不同的業(yè)務(wù)操作方式的效率表現(xiàn)可能有明顯的差異。

用戶手冊(cè)對(duì)“增加稿件”功能描述如下:

在稿件管理頁(yè)面點(diǎn)擊“增加稿件”按鈕后進(jìn)入稿件編輯頁(yè)面。輸入稿件的標(biāo)題和內(nèi)容，其中稿件標(biāo)題的長(zhǎng)度要求在50個(gè)中文字符以內(nèi)，然后點(diǎn)擊“保存并返回”按鈕可保存稿件并返回稿件管理頁(yè)面;點(diǎn)擊“保存”按鈕后，保存稿件并停留在稿件編輯頁(yè)面;點(diǎn)擊“批準(zhǔn)”，保存稿件且稿件狀態(tài)變更為批準(zhǔn)狀態(tài)，返回稿件管理頁(yè)面;點(diǎn)擊“取消”，不保存稿件并退出稿件編輯頁(yè)面，返回稿件管理頁(yè)面。實(shí)際測(cè)試結(jié)果見(jiàn)表1。

針對(duì)主要單點(diǎn)操作在5 s內(nèi)完成的效率需求，我們?cè)跍y(cè)試方案中整理出了主要單點(diǎn)操作，優(yōu)先分析選擇最有可能影響效率的操作。以參加技術(shù)考試的心態(tài)，對(duì)所有單點(diǎn)操作都做了效率測(cè)試，包含涉及數(shù)據(jù)量非常少的文檔管理相關(guān)的操作。

2．2 測(cè)試計(jì)劃制定、測(cè)試用例設(shè)計(jì)和執(zhí)行

2．2．1 測(cè)試要求

在測(cè)試計(jì)劃中明確提出了如下要求:

表1 對(duì)“增加稿件”單點(diǎn)操作能否在5 s內(nèi)完成的測(cè)試結(jié)果

(1)每個(gè)測(cè)試用例開(kāi)始執(zhí)行前要保證數(shù)據(jù)容量為待測(cè)樣品的初始狀態(tài)，即:稿件5 309篇、2個(gè)各含1篇文檔的文件夾。

(2)每個(gè)測(cè)試用例開(kāi)始執(zhí)行前，要保證相關(guān)操作的Java組件執(zhí)行過(guò)一次。

(3)對(duì)測(cè)試工具不能錄制的客戶端操作要手工執(zhí)行測(cè)試并記錄系統(tǒng)響應(yīng)時(shí)間。

(4)對(duì)單用戶單點(diǎn)操作，要針對(duì)不同的數(shù)據(jù)至少測(cè)試5次，取多次完成時(shí)間的平均值。

2．2．2 測(cè)試方案和測(cè)試用例

測(cè)試用例中的業(yè)務(wù)操作以樣品軟件用戶手冊(cè)為準(zhǔn)，針對(duì)每一個(gè)需求條目單獨(dú)設(shè)計(jì)測(cè)試用例和執(zhí)行測(cè)試［16-17］。

考慮到本次測(cè)試的具體要求和待測(cè)軟件的實(shí)際情況，用例設(shè)計(jì)時(shí)采用以下策略及順序:

(1)先做基準(zhǔn)測(cè)試(單用戶測(cè)試);

(2)對(duì)單用戶單點(diǎn)操作，取單用戶對(duì)不同數(shù)據(jù)5次迭代運(yùn)行的系統(tǒng)平均響應(yīng)時(shí)間;

(3)再做20用戶并發(fā)測(cè)試;

(4)最后做穩(wěn)定性測(cè)試。

在測(cè)試方案中重點(diǎn)提出了當(dāng)測(cè)試涉及到查詢操作時(shí)，要注意消除各級(jí)緩存給效率測(cè)試帶來(lái)的影響。

以稿件查詢?yōu)槔瑹o(wú)論是基本查詢還是高級(jí)查詢，無(wú)論是有條件查詢還是無(wú)條件查詢，只要本次查詢條件或查詢出的結(jié)果與前一次不同，單用戶稿件查詢的響應(yīng)時(shí)間都超過(guò)5 s。

能力驗(yàn)證活動(dòng)結(jié)束后，發(fā)現(xiàn)另一家實(shí)驗(yàn)室的測(cè)試結(jié)果［18］如表2所示，可以看出第一次測(cè)試沒(méi)有考慮緩存給效率測(cè)試結(jié)果帶來(lái)的影響。

表2 另一家實(shí)驗(yàn)室的測(cè)試結(jié)果

2．2．3 對(duì)測(cè)試工具不能解決的問(wèn)題的處理

當(dāng)測(cè)試文檔上傳下載操作的系統(tǒng)響應(yīng)時(shí)間性能時(shí)，目前主流的性能測(cè)試工具都不能錄制客戶端的動(dòng)作，如果實(shí)際的業(yè)務(wù)操作是在向服務(wù)器發(fā)起請(qǐng)求之前或之后需要在客戶端進(jìn)行一定處理，用工具測(cè)試出的性能可能會(huì)失真，此時(shí)就不能完全依賴測(cè)試工具，需要結(jié)合測(cè)試工具和人工計(jì)時(shí)一起來(lái)完成。

2．3 簡(jiǎn)要測(cè)試結(jié)論

我們?cè)跍y(cè)試報(bào)告中給出的簡(jiǎn)要測(cè)試結(jié)論如下:

(1)除稿件查詢、批準(zhǔn)稿件、稿件到期和刪除、文檔上傳外，其它主要單點(diǎn)操作能在5 s鐘內(nèi)完成。

(2)系統(tǒng)能支持50人在線。

(3)稿件管理的主要功能能支持20人并發(fā)訪問(wèn)，但批準(zhǔn)稿件、稿件到期和刪除功能當(dāng)20人并發(fā)訪問(wèn)時(shí)系統(tǒng)響應(yīng)時(shí)間較長(zhǎng)(超過(guò)15 s)。

(4)20并發(fā)用戶各自上傳1篇512KB大小文檔，時(shí)間不超過(guò)1 min。但當(dāng)單用戶連續(xù)手工上傳20篇(512 KB/篇)文檔，時(shí)間將超過(guò)1 min。

(5)系統(tǒng)可以連續(xù)穩(wěn)定運(yùn)行12 hr。

3 軟件效率測(cè)試結(jié)果及實(shí)驗(yàn)室間比對(duì)結(jié)果

參加本次能力驗(yàn)證活動(dòng)的48家軟件測(cè)試實(shí)驗(yàn)室來(lái)自全國(guó)19個(gè)省、市，業(yè)務(wù)領(lǐng)域覆蓋了通信、電子、交通、航天航空、金融、醫(yī)學(xué)、軍事、教育、電子政務(wù)等。本次能力驗(yàn)證未對(duì)測(cè)試結(jié)果做精度比對(duì)，考核的重點(diǎn)是:對(duì)測(cè)試需求理解的全面性，測(cè)試方案的完整性，測(cè)試執(zhí)行的正確性和測(cè)試報(bào)告的完整性。通過(guò)對(duì)返回的效率測(cè)試結(jié)果進(jìn)行評(píng)分來(lái)衡量各實(shí)驗(yàn)室的能力，最終給出能力評(píng)價(jià)報(bào)告。

本次軟件效率測(cè)試能力驗(yàn)證結(jié)果的判定原則為:效率測(cè)試結(jié)果應(yīng)完整體現(xiàn)樣品軟件需求規(guī)格說(shuō)明書中規(guī)定的5項(xiàng)效率要求，正確給出一項(xiàng)測(cè)試結(jié)果記20分，合計(jì)100分;另外分別在測(cè)試報(bào)告、測(cè)試計(jì)劃、用例設(shè)計(jì)和原始記錄文檔中針對(duì)5項(xiàng)效率要求給出完整描述的各記5分，合計(jì)25分，最后的總滿分為125分。作者所在的軟件測(cè)試實(shí)驗(yàn)室與另外5家實(shí)驗(yàn)室一起以各項(xiàng)考核指標(biāo)均為滿分的優(yōu)異成績(jī)成為并列第一。

4 結(jié)論

軟件效率測(cè)試是軟件測(cè)試的重要組成部分，通過(guò)參加本次軟件效率測(cè)試能力驗(yàn)證活動(dòng)，我們得到以下幾點(diǎn)比較突出的啟示:

(1)參加軟件效率測(cè)試能力驗(yàn)證活動(dòng)有助于檢驗(yàn)軟件測(cè)試實(shí)驗(yàn)室對(duì)軟件效率測(cè)試基本技術(shù)的掌握能力，了解國(guó)內(nèi)同行的技術(shù)水平、認(rèn)識(shí)差距、提高實(shí)驗(yàn)室技術(shù)能力;

(2)本次軟件效率測(cè)試能力驗(yàn)證活動(dòng)未對(duì)測(cè)試結(jié)果做精度比對(duì)，與傳統(tǒng)行業(yè)產(chǎn)品檢測(cè)相比，還沒(méi)有達(dá)到完全成熟的狀態(tài);

(3)對(duì)軟件效率測(cè)試結(jié)果是否能在軟件測(cè)試實(shí)驗(yàn)室間開(kāi)展比對(duì)，有些專家還存在疑議。

［1］ 中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì)．能力驗(yàn)證簡(jiǎn)介［EB/OL］．［2012-09-21］．http://219．238．178．49/PT．

［2］ 宋桂蘭，翟培軍．十年磨一劍 我國(guó)能力驗(yàn)證工作進(jìn)入新階段［J］．中國(guó)計(jì)量，2010(12):39-41．

［3］ 陳 進(jìn)．能力驗(yàn)證在實(shí)驗(yàn)室管理中的應(yīng)用初探［J］．上海標(biāo)準(zhǔn)化，2009(3):33-34．

［4］ 劉付建．淺析能力驗(yàn)證在實(shí)驗(yàn)室能力建設(shè)的應(yīng)用［J］．現(xiàn)代測(cè)量與實(shí)驗(yàn)室管理，2010(5):60-62．

［5］ 張樹(shù)敏，葛曼麗．能力驗(yàn)證是保障實(shí)驗(yàn)室檢測(cè)能力的重要手段［J］．現(xiàn)代測(cè)量與實(shí)驗(yàn)室管理，2007(5):59-60．

［6］ 劉 暢，陳爻熙．信息技術(shù)檢測(cè)領(lǐng)域?qū)嶒?yàn)室認(rèn)可評(píng)審工作的點(diǎn)滴體會(huì)［J］．現(xiàn)代測(cè)量與實(shí)驗(yàn)室管理，2010(5):60-62．

［7］ 柳純錄，黃子河，陳淥萍．軟件評(píng)測(cè)師教程［M］．北京:清華大學(xué)出版社，2005．

［8］ 朱 鴻，金凌紫．軟件質(zhì)量保障與測(cè)試［M］．北京:科學(xué)出版社，1997．

［9］ 朱少民．全程軟件測(cè)試［M］．北京:電子工業(yè)出版社，2007．

［10］ 趙 斌．軟件測(cè)試技術(shù)經(jīng)典教程［M］．北京:科學(xué)出版社，2007．

［11］ 陳紹英，夏海濤，金成姬．Web性能測(cè)試實(shí)戰(zhàn)［M］．北京:電子工業(yè)出版社，2006．

［12］ 姜 艷，于 波．LoadRunner性能測(cè)試應(yīng)用［M］．北京:電子工業(yè)出版社，2009．

［13］ 柳 勝．性能測(cè)試從零開(kāi)始—LoadRunner入門［M］．北京:電子工業(yè)出版社，2008．

［14］ 于 涌．軟件性能測(cè)試與LoadRunner實(shí)戰(zhàn)［M］．北京:人民郵電出版社，2008．

［15］ 左家平，張海濤，宋紅波．應(yīng)用軟件效率測(cè)試策略設(shè)計(jì)剖析［J］．監(jiān)督與選擇，2006(6):68-69．

［16］ 任 穎，李華偉，張 杰．基于故障樹(shù)分析法的軟件測(cè)試技術(shù)［J］．實(shí)驗(yàn)室研究與探索，2011，30(8):78-80．

［17］ 王 欣．軟件檢測(cè)實(shí)驗(yàn)室能力驗(yàn)證方案研究［J］．信息技術(shù)與標(biāo)準(zhǔn)化，2008(7):68-70．

［18］ 陳 江．軟件效率測(cè)試與分析［J］．福建質(zhì)量管理．2009(3):48-50．