陳 輝，周 豐

（華北計算技術研究所，北京100083）

0 引 言

要想對軟件進行盡可能完備的測試，需要設計和執(zhí)行充足的測試用例。但是，測試用例也不是無止盡的越多越好，因為需要設計和執(zhí)行的測試用例越多，測試成本也就越高。在現實中，很多軟件項目存在開發(fā)進度延遲的問題，導致測試工時有限乃至不足，而軟件又面臨按時發(fā)布的壓力。因此，有必要研究在測試工時受限條件下，如何使用較少的測試用例進行盡可能充分的測試。

當前，對如何使用較少的測試用例進行盡可能充分的測試，主要集中在回歸測試領域，如測試用例優(yōu)先排序［1－3］、測試用例集縮減和測試用例集擴充［4，5］，這些技術無法在測試用例設計好之前使用。也有一些技術可以在測試用例設計前使用，如統(tǒng)計測試方法［6］，但是應用該方法之前需要建立軟件使用模型，這本身就很消耗工作量，而且因為是一種隨機測試方法，難以在軟件投入使用之前判定測試的充分性。另外，張德平［7］等人研究了劃分測試中劃分方案確定情形下，如何在各個子域中合理選擇測試用例問題，但是由于要求測試人員了解待測軟件的錯誤分布，并給出失效概率矩陣，因此不便于在實際應用領域使用。為此，分析了制定測試策略時需要考慮的幾個因素，提出了一種對將要設計的測試用例進行優(yōu)先級估計的方法，該方法的最大特點就是可在設計測試用例之前使用，在以上基礎上，提出了測試工時受限的測試策略。

1 影響測試策略的因素

制定測試策略時需要考慮的因素有很多，下面只對測試工時、測試充分性展開探討。

1.1 測試工時

在本文中，測試工時表示分配給測試工作的時間，也指完成測試工作所需要的時間。測試工作包括測試策劃、測試設計和實現、測試執(zhí)行、測試總結。假設有一個測試項目，有m個全職測試人員，要求在n個工作日內完成，每個工作日有t小時的有效工作時間，那么對這個測試項目的測試工時有

測試策略的制定必然受到分配給測試工作的時間的影響，如果分配給測試工作的時間少于完成測試工作所需要的時間，則需要對測試策略進行必要的調整和優(yōu)化。測試需求直接決定了完成測試工作所需要的時間，測試需求直接決定了需要進行哪些類型的測試以及相應的測試設計方法，及測試用例的最少數量。測試用例的設計執(zhí)行所需時間直接受到測試用例類型、測試用例數量及單位測試用例的設計執(zhí)行時間的影響。

1.2 測試充分性

從測試設計角度上看，采用的測試類型和測試用例設計方法，以及設計的有效測試用例數量，會影響到測試充分性。采用的測試類型越多，不同測試用例設計方法設計出的有效測試用例數量越多，則能達到的測試覆蓋率越高，也越可能發(fā)現更多的潛在缺陷，從而更能保證測試的充分性。但是另外一方面，采用的測試類型越多，測試用例數量越多，也會導致測試成本更高。因此，在測試實踐當中，需要在測試充分性與測試成本之間尋找合適的平衡點。

假設測試發(fā)現的所有缺陷都被修復，測試成本與有效測試用例數量直接相關，則判斷有效測試用例數量是否足夠的一個方法是:潛在的遺留缺陷（即在測試中未被發(fā)現的潛在缺陷）導致的質量風險成本≤測試成本，如圖1所示。

圖1 測試用例數量、測試成本與質量風險成本的關系

2 一種測試用例優(yōu)先級估計方法

在有限的測試工時中，如果依照測試類型和相應的測試方法設計所有的用例，則必然會消耗較多的寶貴的測試工時，因此有必要對將要設計的測試用例進行優(yōu)先級估計，然后再有選擇地設計較高優(yōu)先級的測試用例。

目前，對于已設計或執(zhí)行的測試用例的優(yōu)先級研究較多［8－10］，但是卻沒有適合在測試用例設計前就預估其優(yōu)先級的實用方法，為此假設每個測試用例被設計之前都有針對性的測試目標，通過專家經驗及實際測試經驗，提出了測試用例優(yōu)先級的6個度量元（見表1）供參考，即被測目標重要度、被測目標復雜度、被測目標緊迫度、用例重要度、預計用例的檢測缺陷能力、開發(fā)團隊信心度，然后依據這6個度量元去估算測試用例的優(yōu)先級。記這6個度量元分別為ap、ac、ae、tp、td、tc，則測試用例的優(yōu)先級p的計算方法如下

表1 測試用例優(yōu)先級的度量元權值

3 測試工時受限的測試策略

在制定測試計劃時，進行測試設計之前，需要依據測試需求確定相應的測試類型，提出測試的基本方法，估計可產生的各類測試用例及其優(yōu)先級、測試用例數量以及單位測試用例所需的測試時間，然后進行測試用例選擇，僅設計和執(zhí)行選中的測試用例，從而能夠在測試設計階段就力爭用最少的測試用例發(fā)現盡可能多的缺陷。

3.1 測試用例估計

測試設計人員可依照“測試用例優(yōu)先級的度量元權值”（見表1）估算測試用例的優(yōu)先級，然后依據經驗或者歷史測試數據，估算出各測試目標對應的測試用例數量以及每個測試用例所需的測試時間，填寫測試用例估計表（見表2）。

表2 測試用例估計表（示例）

完成測試用例估計后，測試用例可表示為

式中:TC——測試用例，ID——用例標識，SM——被測軟件模塊，TK——測試目標，即采用何種測試類型及測試方法，測試相應種類的缺陷，SF——是否合法用例，MP——測試用例的優(yōu)先級，TT——測試所需的時間。

3.2 測試用例選擇方法

依據測試用例優(yōu)先級，以及設計、執(zhí)行這些測試用例所需的測試工時，可以計算出整個測試所需的測試工時。假設可設計出i個測試用例，第i個測試用例的優(yōu)先級、所需測試時間分別為pi、ti，則這些測試用例所需的測試工時ts為

記可支配的測試工時為tp，依據tp與ts的大小關系，判斷是否需要進行測試用例選擇:

（1）如果tp＝ts，則表示可以按時完成預計的所有測試用例的設計和執(zhí)行。

（2）如果tp＞ts，則表示可以提前完成預計的所有測試用例的設計和執(zhí)行，可以考慮是否補充更多的測試用例。

（3）如果tp＜ts，則表示無法按時完成預計的所有測試用例的設計和執(zhí)行，需要通過測試用例的選擇來調整測試用例數量，以減少測試所需時間。

本文著重考慮第三種狀況，即無法在可支配的測試工時范圍內，按時完成預計的所有測試用例的設計和執(zhí)行。對于這種狀況，需要進行測試用例選擇，然后僅設計和執(zhí)行選中的測試用例。

測試用例選擇策略如下:

（1）對每一個功能模塊，從其相應的測試用例中，選擇一個優(yōu)先級最高的合法用例，從而確保每一個軟件功能至少被一個合法用例所覆蓋；

（2）按第一個策略選擇完測試用例后，優(yōu)先選擇優(yōu)先級高的測試用例，如果兩個測試用例的優(yōu)先級相同，則優(yōu)先選擇預計所需測試工時較少的那個。

假設可選測試用例的集合為T，已選擇的測試用例的集合為S，已選擇用例的累計所需測試工時為ts，可支配的測試工時為tp，則上述測試策略對應的算法如下:

（1）0→ts；

（2）計算各測試用例的優(yōu)先級；

（3）將T中的測試用例按照被測軟件模塊分組，依次從每組測試用例中選擇最高優(yōu)先級的合法測試用例到S中（如果同組中有多個用例的優(yōu)先級并列第一，則從這些用例中隨機選擇一個），同時從T中刪除相應測試用例；

（4）S中所有測試用例所需的測試工時→ts；

（5）如果ts≥tp或者T中的測試用例數為0，則算法終止，否則轉入（6）；

（6）將T中的測試用例按照優(yōu)先級升序排序；

（7）選取T中的最后一個測試用例到S中，同時從T中刪除相應測試用例，ts＋該測試用例所需測試時間→ts；

（8）如果ts≥tp或者T中的測試用例數為0，則算法終止，否則轉入（7）。

需要說明的是，如果已選中的用例所需測試工時遠超可支配的測試工時，則說明測試工時嚴重不足，一定需要增加更多的可支配工時。另外，對未被選擇的測試用例，可能需要視情況決定是否進行風險決策。假設單位測試工時的成本為c，則設計和執(zhí)行該測試用例的成本ct＝c＊ti，假設該測試用例預計所檢測的缺陷在軟件實際運行中出現的概率為pt，該缺陷顯現導致的損失和修復成本為qt，如果ct＜pt，則表示該測試用例值得設計和執(zhí)行。另外，如果有嚴格的測試內容、測試類型覆蓋要求，還需要驗證選擇的測試用例是否完全覆蓋了測試內容，是否有對應必要測試類型的測試用例。

4 實驗結果與分析

以某辦公系統(tǒng)為實驗對象，該辦公系統(tǒng)功能包括用戶登錄、系統(tǒng)管理（含部門管理、用戶管理、通知公告管理、消息管理等）、資源共享、考勤管理、假期管理等，其中用戶登錄、部門管理、用戶管理部分復用代碼庫中的代碼，其余部分為新編寫的代碼。使用功能點估算法估計的系統(tǒng)規(guī)模為286FP。首先依據測試需求、計劃采用的測試類型及測試設計方法，估算出預計產生的各類測試用例的優(yōu)先級、數量、單位用例設計和執(zhí)行所需的工時，形成測試用例估計表（見表3）。如果不進行測試用例選擇，預計會產生1447個測試用例，完成所有測試工作大約需要142人時。

表3 測試用例估計（用戶登錄功能）

隨后，不進行測試用例選擇，按照測試需求、計劃采用的測試類型及測試方法，設計和執(zhí)行所有的測試用例。最后再依據測試用例估計表，假設事先進行了測試用例選擇，則不同的測試用例選擇數的設計執(zhí)行時間（測試工時，單位:人時）、檢出缺陷數、單位測試用例的設計執(zhí)行時間（人時/用例）、單位測試用例檢出的缺陷數（檢出缺陷數/用例）、檢出缺陷數/人時的比較結果見表4。從表4可看出，分配給測試的時間越少，能選擇的測試用例數越少，但是按照測試用例的估計和選擇方法選擇出的測試用例，平均每個用例檢出了更多的缺陷，單位時間檢出的缺陷數也更多。

表4 不同的測試用例選擇數（示例）

選擇不同數量的測試用例時，平均每個測試用例檢出的缺陷數的趨勢如圖2所示，利用本文的測試策略，確實選擇出了檢出缺陷能力更強的測試用例。

選擇不同數量的測試用例時，檢出的各級缺陷數如圖3所示，在4個缺陷級別中，一級缺陷表示致命缺陷，二級缺陷表示嚴重缺陷，三級缺陷表示一般缺陷，四級缺陷表示不影響用戶使用的缺陷。在選擇出的測試用例數比較少時，所選的測試用例檢出重大缺陷的能力較強，但是也說明，要想檢測出所有較重大的缺陷，測試用例數不能太少，也就是說分配給測試工作的時間不能太少。

實驗結果表明，所提出的測試工時受限的測試策略，能夠選擇出檢出缺陷能力更強，尤其是檢出重大缺陷能力更強的測試用例，從而可以在適當減少需設計的測試用例數量的基礎上，達到較好的測試效果。

圖2 單位測試用例檢出的缺陷數

圖3 選擇的測試用例檢出的各級缺陷數

5 結束語

在測試工時受限的情況，如何制定有效的測試策略是一個有待解決的現實問題，為此提出了測試工時受限的基于測試用例優(yōu)先級的測試策略。該策略將測試用例按被測目標重要度、被測目標復雜度、被測目標緊迫度、用例重要度、預計用例的檢測缺陷能力、開發(fā)團隊信心度等多種因素綜合考慮，計算出各類測試用例的優(yōu)先級，接著估算各類測試用例的數量、設計和執(zhí)行單位用例所需的工時，然后采用測試用例選擇方法，確保在有限的測試工時內，設計和執(zhí)行盡可能多的優(yōu)先級高的測試用例，且力保每個功能至少被一個合法測試用例所覆蓋。實驗結果表明了該測試策略的有效性。

［1］CHEN Xiang，CHEN Jihong，JU Xiaolin，et al.Survey of test case prioritization techniques for regression testing［J］.Journal of Software，2013，24（8）:1695－1712（in Chinese）.［陳翔，陳繼紅，鞠小林，等.回歸測試中的測試用例優(yōu)先排序技術述評［J］.軟件學報，2013，24（8）:1695－1712.］

［2］Mei H，Hao D，Zhang LM，et al.A static approach to prioritizing JUnit test cases［J］.IEEE Trans on Software Engineering，2012，38（6）:1258－1275.

［3］YANG Guanghua，BAO Yang，LI Donghong，et al.Test case prioritization based on requirement［J］.Computer Engineering and Design，2011，32（8）:2724－2728（in Chinese）.［楊廣華，包陽，李東紅，等.基于需求的測試用例優(yōu)先級排序［J］.計算機工程與設計，2011，32（8）:2724－2728.］

［4］ZHANG Xiaofang，CHEN Lin，XU Baowen，et al.Survey of test suite reduction problem［J］.Journal of Frontiers of Computer Science and Technology，2008，2（3）:235－247（in Chinese）.［章曉芳，陳林，徐寶文，等.測試用例集約簡問題研究及其進展［J］.計算機科學與探索，2008，2（3）:235－247.］

［5］Yoo S，Harman M.Regression testing minimization，selection and prioritization:A survey［J］.Software Testing，Verification ＆Reliability，2012，22（2）:67－120.

［6］ZHANG Deping，NIE Changhai，XU Baowen.Acceleration testing method of safety－critical software with testing resource constraint［J］.Computer Science，2009，36（5）:138－141（in Chinese）.［張德平，聶長海，徐寶文.測試資源受約束的安全關鍵軟件加速測試方法［J］.計算機科學，2009，36（5）:138－141.］

［7］ZHANG Deping，ZHA Rijun.Risk decision approach to test allocation problem in partition testing［J］.Application Research of Computers，2010，27（12）:4536－4540（in Chinese）.［張德平，查日軍.劃分測試用例選擇的風險決策方法［J］.計算機應用研究，2010，27（12）:4536－4540.］

［8］DAI Ruxin，GU Chunhua.Advanced test case prioritization for black box testing［J］.Computer Engineering and Design，2010，31（20）:4343－4346（in Chinese）.［戴如昕，顧春華.用于黑盒測試的測試用例優(yōu)先級改進算法［J］.計算機工程與設計，2010，31（20）:4343－4346.］

［9］PAN Weifeng，LI Bing，MA Yutao.Test case prioritization based on complex software networks［J］.Acta Electronica Sinica，2012，40（12）:2456－2465（in Chinese）.［潘偉豐，李兵，馬于濤.基于復雜軟件網絡的回歸測試用例優(yōu)先級排序［J］.電子學報，2012，40（12）:2456－2465.］

［10］Pravin A，Srinivasan S.Effective test case selection and prioritization in regression testing［J］.Journal of Computer Science，2013，9（5）:654－659.