摘 要：通過分析軟件測試故障的分布特性，研究故障發(fā)現(xiàn)、分布與測試用例設(shè)計(jì)、測試人員等的相關(guān)性，提出一種基于帕累托法則的測試策略優(yōu)化改進(jìn)方法，在測試設(shè)計(jì)方法的應(yīng)用、人員的任務(wù)分配、測試重點(diǎn)等方面進(jìn)行有效的優(yōu)化，并介紹該方法的具體應(yīng)用步驟。最后，通過幾個(gè)項(xiàng)目的應(yīng)用結(jié)果表明：該方法簡單、實(shí)用，可以有效地提高測試效率和暴露軟件缺陷的概率。

關(guān)鍵詞：軟件測試;故障數(shù)據(jù)分析;帕累托;策略優(yōu)化

中圖分類號：TP311文獻(xiàn)標(biāo)識碼：B

文章編號：1004-373X(2008)24-089-04

Optimization of Software Testing Strategy Based on Pareto

HUANG Maosheng，YANG Chunhui

(Software Quality Engineering Research Center，The 5th Electronics Research Institute of MII，Guangzhou，510610，China)

Abstract：This paper analyses the distribution of bugs and studies the relation between bugs and the method of uncovering them，then proposes a method to optimize the strategy of software testing based on Pareto，the method introduces how to assign the method of test case design，test engineer and function point.The paper also introduces how to apply the method.Finally，the result of using this method in several projects shows that the method is simple and useful，it can improve the efficiency of software testing and the possibility of uncovering bug.

Keywords：software testing;analysis of fault data;Pareto;strategy;optimization

1 引 言

軟件測試策略是在一定的軟件測試標(biāo)準(zhǔn)、測試規(guī)范的指導(dǎo)下，依據(jù)測試項(xiàng)目的特定環(huán)境約束而規(guī)定的軟件測試的原則、方式、方法的集合。依據(jù)軟件本身性質(zhì)、規(guī)模和應(yīng)用場合等的不同，選擇不同測試方案，以最少的軟硬件、人力資源投入得到最佳的測試效果，這是測試策略的目標(biāo)所在^［1］。按照當(dāng)前的技術(shù)發(fā)展趨勢，軟件規(guī)模和復(fù)雜程度急劇地提高，在軟件測試工作需要更多時(shí)間的同時(shí)，項(xiàng)目周期卻比以前大大縮短，如何在有限的時(shí)間內(nèi)，利用有限的資源完成軟件測試工作，盡最大的可能暴露軟件中隱含的缺陷，實(shí)施高效的軟件測試，是軟件測試工作中亟待解決的問題。

針對這一問題，對軟件測試故障特性進(jìn)行分析，根據(jù)被測軟件中故障的分布特性，對測試方法、人員等資源進(jìn)行優(yōu)化配置，進(jìn)行測試過程進(jìn)行改進(jìn)是一種有效的途徑。Myers 曾在其經(jīng)典著作《The Art of Software Testing》中說到“研究軟件錯(cuò)誤對改進(jìn)將來的設(shè)計(jì)和測試過程有無法估量的意義”^［2］，但對軟件故障分析的內(nèi)容、方法研究，以及如何利用故障分析結(jié)果改進(jìn)測試過程是目前工程實(shí)踐中亟待解決的問題。

本文分析了軟件故障與帕累托法則的相關(guān)性，并基于帕累托法則，統(tǒng)計(jì)分析軟件故障的分布特性，研究故障發(fā)現(xiàn)與測試用例設(shè)計(jì)、測試人員等的相關(guān)性，結(jié)合測試項(xiàng)目實(shí)踐，提出基于帕累托（Pareto）法則的測試策略優(yōu)化方法，并給出具體應(yīng)用的步驟，介紹實(shí)際應(yīng)用效果。

2 軟件故障分布與帕累托法則的相關(guān)性

帕累托法則是由19世紀(jì)末和20世紀(jì)初意大利經(jīng)濟(jì)學(xué)家及社會(huì)學(xué)家帕累托研究國民收入的差異時(shí)提出，又稱2/8定則。帕累托分布的分布函數(shù)為P{X>t}=(-a)，其中t>1，a>0，帕累托分布在自然界的廣泛存在是由以下定理保證的：

定理1：獨(dú)立同分布的隨機(jī)量之和服從stable分布（正態(tài)分布只是stable分布的一個(gè)特例，中心極限定理也是本定理的特例）。

定理2：當(dāng)x→無窮時(shí)，stable分布近似于Pareto分布（Pareto分布是大樣本情況下stable分布的近似）。

Mller早在1984年就報(bào)道這樣一個(gè)分布規(guī)律：45％的錯(cuò)誤集中在10%代碼，而最后的50％代碼包含只有10％的錯(cuò)誤，IBM等公司的統(tǒng)計(jì)數(shù)據(jù)也表明：80％的缺陷是在20％的模塊中發(fā)現(xiàn)的，由此可見，軟件故障是有類聚性的^［3］，遵循帕累托分布規(guī)律，即20％的模塊包含了80%的錯(cuò)誤。此外，開發(fā)人員的思維定勢也會(huì)造成同樣的錯(cuò)誤在其編寫的代碼中一再重復(fù)出現(xiàn)，而測試工作由于人員和設(shè)計(jì)方法的不同，也使其發(fā)現(xiàn)的故障呈現(xiàn)一定的分布規(guī)律。由此可見軟件故障在模塊、人員、測試設(shè)計(jì)方法等方面，遵循帕累托分布規(guī)律。

3 基于帕累托法則的故障分布特性分析及測試優(yōu)化策略

3.1 針對故障類型與模塊分布特性的測試策略優(yōu)化

（1） 違反編碼規(guī)則和度量指標(biāo)的問題分布。

根據(jù)對多個(gè)測試項(xiàng)目的測試結(jié)果分析表明：靜態(tài)分析發(fā)現(xiàn)問題較多的模塊，在動(dòng)態(tài)測試中也會(huì)出現(xiàn)較多的缺陷，靜態(tài)分析結(jié)果與動(dòng)態(tài)問題數(shù)有一定的關(guān)聯(lián)性；缺陷的密度分布與子系統(tǒng)的復(fù)雜程度有關(guān)，如一些圈復(fù)雜度較高的代碼，其出現(xiàn)問題的可能性較高。因此，靜態(tài)分析結(jié)果可以用來指導(dǎo)動(dòng)態(tài)測試的測試用例設(shè)計(jì)，進(jìn)行的測試用例時(shí)，針對程序最容易出現(xiàn)的故障的地方有所側(cè)重和重點(diǎn)關(guān)注，可以提高測試用例發(fā)現(xiàn)故障的概率，進(jìn)一步提高測試效能。

在具體應(yīng)用上，可以利用測試工具進(jìn)行靜態(tài)分析和人工評估分析來實(shí)現(xiàn)分布特性分析。靜態(tài)分析包括代碼檢查、控制流分析、數(shù)據(jù)流分析、表達(dá)式分析和靜態(tài)度量指標(biāo)分析等項(xiàng)目。檢查的規(guī)則和度量指標(biāo)值根據(jù)一些統(tǒng)計(jì)數(shù)據(jù)（即經(jīng)驗(yàn)數(shù)據(jù)）來確定，也可以依據(jù)一些國際上常用的標(biāo)準(zhǔn)，如歐洲防務(wù)標(biāo)準(zhǔn)和汽車工業(yè)標(biāo)準(zhǔn)等。測試工具分析后的數(shù)據(jù)再進(jìn)行人工分析定位、統(tǒng)計(jì)、評估，形成被測試軟件的編碼規(guī)則和度量指標(biāo)的問題分布表，并用來指導(dǎo)動(dòng)態(tài)測試用例的設(shè)計(jì)。

（2） 故障在各個(gè)模塊中的分布。

IBM等公司的統(tǒng)計(jì)數(shù)據(jù)表明：80％的缺陷是在20％的模塊中發(fā)現(xiàn)的，而這20％易出錯(cuò)的模塊，基本上對開發(fā)人員來說是新技術(shù)或者難度高、技術(shù)含量高的部分。在軟件測試中應(yīng)把握這一規(guī)律，對軟件開發(fā)人員以前未曾開發(fā)過或未接觸過的、對軟件運(yùn)行起到關(guān)鍵作用的模塊和代碼尤其注意，對其進(jìn)行充分的測試以發(fā)現(xiàn)更多的錯(cuò)誤^［4］。

因此，在用例執(zhí)行過程中對發(fā)現(xiàn)的故障，進(jìn)行初步的統(tǒng)計(jì)分類，計(jì)算其在不同軟件功能模塊中的分布（即軟件故障的區(qū)域分布），根據(jù)軟件缺陷的類聚性，“發(fā)現(xiàn)的軟件缺陷越多，表明未發(fā)現(xiàn)軟件缺陷越多” ［3］，對發(fā)現(xiàn)較多缺陷的模塊增加針對性測試用例，盡可能暴露更多的軟件缺陷，可以有效提高測試用例的故障發(fā)現(xiàn)率。

（3） 故障類型的分布。

一個(gè)錯(cuò)誤往往是由類似的同一原因引起的更多錯(cuò)誤的征兆，這些錯(cuò)誤往往會(huì)在同一個(gè)人或同一團(tuán)體已經(jīng)完成的工作中被找到。通過分析故障類型的分布，得出出現(xiàn)較多的典型錯(cuò)誤，對分析的結(jié)果可以馬上應(yīng)用于開發(fā)一個(gè)更有效的檢查單和測試用例，選擇更重要的回歸測試，發(fā)現(xiàn)更多的同一類型錯(cuò)誤或由同一原因引起的錯(cuò)誤。

3.2 針對故障與人員相關(guān)性的測試策略優(yōu)化

（1） 不同開發(fā)人員編寫的代碼中故障數(shù)據(jù)分布。

每個(gè)人都有其固定的思維特點(diǎn)和偏好，程序員往往會(huì)犯相同的錯(cuò)誤，同一個(gè)開發(fā)人員在其開發(fā)的程序中常會(huì)反復(fù)犯其容易犯的錯(cuò)誤。通過對發(fā)現(xiàn)的故障數(shù)據(jù)進(jìn)行分析，統(tǒng)計(jì)故障數(shù)和故障類型在不同開發(fā)人員開發(fā)的程序中的分布情況，對發(fā)現(xiàn)較多故障的模塊（代碼），確定其開發(fā)者，然后對其開發(fā)的其他模塊（代碼）加強(qiáng)測試，在測試用例的設(shè)計(jì)上，也要側(cè)重于其所引入的故障類型，使測試用例能達(dá)到較高的缺陷發(fā)現(xiàn)率。

（2） 不同研制單位的故障數(shù)據(jù)分布。

軟件的開發(fā)人員及研制單位都常會(huì)犯一些相同的錯(cuò)誤，導(dǎo)致一些典型的軟件缺陷。通過對發(fā)現(xiàn)的故障數(shù)據(jù)分析，可以設(shè)法找到一個(gè)軟件研制單位所常犯的典型錯(cuò)誤，這些典型錯(cuò)誤通常是由于欠缺規(guī)范（或標(biāo)準(zhǔn)）、配置管理、設(shè)計(jì)訓(xùn)練或單元測試，或其他原因而引起的。通過統(tǒng)計(jì)分析不同單位開發(fā)軟件的測試故障數(shù)據(jù)發(fā)現(xiàn)，一個(gè)單位開發(fā)軟件出現(xiàn)的較多的某種錯(cuò)誤類型，在另外一個(gè)單位開發(fā)的軟件中卻很少或幾乎不會(huì)出現(xiàn)，而另一種錯(cuò)誤類型的出現(xiàn)情況則相反。

（3） 不同測試人員發(fā)現(xiàn)故障的特點(diǎn)分析。

測試人員與開發(fā)人員同樣具有其固定的思維特點(diǎn)和偏好，這些特點(diǎn)和偏好往往有助于其去發(fā)現(xiàn)某些特定類型的軟件缺陷，卻不利于其發(fā)現(xiàn)另外一些類型的軟件缺陷，這個(gè)特性在使用猜錯(cuò)法進(jìn)行測試和進(jìn)行代碼走查時(shí)尤其明顯。對不同測試人員發(fā)現(xiàn)故障類型的分類和特點(diǎn)分析，其目的就是對測試組內(nèi)不同的測試工程師的優(yōu)缺點(diǎn)進(jìn)行分析，在測試工作中用其所長，避其所短，提高測試發(fā)現(xiàn)缺陷的效率，也為對測試人員進(jìn)行合理的調(diào)配，組建高效率測試組提供有益的借鑒。

不同測試人員發(fā)現(xiàn)故障的分類及其特點(diǎn)分析主要統(tǒng)計(jì)所有發(fā)現(xiàn)缺陷，進(jìn)行故障分類；并將這些分類與測試工程師進(jìn)行關(guān)聯(lián)分析，查找每個(gè)測試工程師在發(fā)現(xiàn)缺陷方面的特點(diǎn)；然后利用這些特點(diǎn)，在組建測試組和進(jìn)行測試組內(nèi)工作分工時(shí)將這些因素和特點(diǎn)考慮進(jìn)去，則可以有效地提高測試組發(fā)現(xiàn)軟件缺陷的效率。

3.3 針對各研發(fā)階段的故障分布的測試策略優(yōu)化

“什么時(shí)候出的錯(cuò)？是最難回答的一個(gè)問題，但也是最有價(jià)值的問題”^［2］，通過查閱設(shè)計(jì)文件和設(shè)計(jì)的歷史資料查找和分析直接導(dǎo)致故障出現(xiàn)的原因根源，其可能是需求中的一個(gè)二義性語句、修改先前的錯(cuò)誤所造成的或沒有考慮非法輸入導(dǎo)致的，用故障分析去確定每個(gè)故障是什么時(shí)候和誰造成的還遠(yuǎn)遠(yuǎn)不夠，還要確定到底為什么出錯(cuò)^［5］，如果找出一個(gè)錯(cuò)誤的問題根源，就能用同樣的方法發(fā)現(xiàn)更多同類性質(zhì)的錯(cuò)誤。

3.4 針對故障類型與用例設(shè)計(jì)方法相關(guān)性的測試策略優(yōu)化

故障分析還要回答一個(gè)問題“用例是怎樣發(fā)現(xiàn)錯(cuò)誤的？”^［5］，如果一個(gè)測試用例成功地發(fā)現(xiàn)了一個(gè)故障，就要對這一用例的設(shè)計(jì)方法和輸入的測試數(shù)據(jù)進(jìn)行分析“為什么這個(gè)測試用例成功？”^［5］。對于其他測試用例能否從這得到有益的借鑒，使本次測試、也使將來的測試有所改進(jìn)。進(jìn)行故障類型與用例設(shè)計(jì)方法之間關(guān)聯(lián)分析，才能利用成功的測試經(jīng)驗(yàn)來改進(jìn)檢查和測試過程，以便在將來的設(shè)計(jì)中更好地發(fā)現(xiàn)這一類型的錯(cuò)誤。

4 應(yīng)用步驟和實(shí)踐

4.1 步驟

（1） 收集故障數(shù)據(jù)。

在測試過程中，對每一個(gè)用例的實(shí)際輸出和故障現(xiàn)象進(jìn)行詳細(xì)的記錄，形成測試問題報(bào)告單，然后按故障分析對象和分析內(nèi)容，分類收集測試故障數(shù)據(jù)。

（2） 計(jì)算整理。

對收集來的數(shù)據(jù)資料進(jìn)行整理和加工，并按不同分析類型要求進(jìn)行分類（如模塊分布、類型分布等），計(jì)算故障數(shù)，故障數(shù)占總數(shù)的百分比，如表1所示。

（3） 數(shù)據(jù)分類排序。

根據(jù)選擇定的分析類型要求（如模塊分布）對計(jì)算整理后的數(shù)據(jù)進(jìn)行從大到小的排序，然后計(jì)算故障累計(jì)比率，并將計(jì)算結(jié)果填寫在表格最右邊一列，如表1所示。

表1 故障數(shù)據(jù)表

模塊代號故障數(shù)故障比例累計(jì)故障比例模塊代號故障數(shù)故障比例累計(jì)故障比例

M12526.9%26.9%M1511.1%96.8%

M22122.6%49.5%M1611.1%97.8%

M31314.0%63.4%M1711.1%98.9%

M466.5%69.9%M1811.1%100.0%

M555.4%75.3%M1900.0%100.0%

M655.4%80.6%M2000.0%100.0%

M744.3%84.9%M2100.0%100.0%

M833.2%88.2%M2200.0%100.0%

M911.1%89.2%M2300.0%100.0%

M1022.2%91.4%M2400.0%100.0%

M1111.1%92.5%M2500.0%100.0%

M1211.1%93.5%M2600.0%100.0%

M1311.1%94.6%M2700.0%100.0%

M1411.1%95.7%M2800.0%100.0%

（4） 繪制帕累托圖。

用表1所列數(shù)據(jù)繪制雙坐標(biāo)圖，首先以模塊代號為橫坐標(biāo)，模塊故障數(shù)為縱坐標(biāo)，繪制直方圖，從大到小顯示不同模塊的故障數(shù)，然后再以累計(jì)故障比例為縱坐標(biāo)，繪制折線圖。

（5） 提出測試側(cè)重點(diǎn)，優(yōu)化測試策略。

根據(jù)帕累托圖，查找故障累計(jì)達(dá)到80％之前的模塊代號，在圖1中為M1～M6。在補(bǔ)充和選取回歸測試用例時(shí)，側(cè)重性地針對這幾個(gè)模塊補(bǔ)充和選取測試用例。

同樣道理，在補(bǔ)充測試用例時(shí)，所使用的設(shè)計(jì)方法也應(yīng)是基于帕累托法則分析所得到的20％最有效的設(shè)計(jì)方法。

圖1 帕累托圖

4.2 應(yīng)用實(shí)踐

（1） 故障在模塊中的分布特性分析及測試策略優(yōu)化。

根據(jù)在裝備軟件第三方測試工作中的嘗試，根據(jù)帕累托法則對測試進(jìn)行優(yōu)化，改進(jìn)測試重點(diǎn)和測試設(shè)計(jì)方法，提高了缺陷的發(fā)現(xiàn)率和測試用例的效率，取得了比較明顯的效果，見表2所示。項(xiàng)目1中提高了11.7％的缺陷數(shù)，而項(xiàng)目2則提高了15.6％，其他項(xiàng)目也普遍占10％以上。在測試用例的效率上，項(xiàng)目1和項(xiàng)目2在優(yōu)化前分別為25和16.9個(gè)測試用例發(fā)現(xiàn)1個(gè)軟件故障，而經(jīng)過優(yōu)化后增加的測試用例則分別為7.7和14個(gè)測試用例發(fā)現(xiàn)1個(gè)軟件故障。

表2 測試策略優(yōu)化應(yīng)用效果統(tǒng)計(jì)表

項(xiàng)目名

項(xiàng)目基本情況測試策略優(yōu)化后

總用例數(shù)總?cè)毕輸?shù)增加用例數(shù)新發(fā)現(xiàn)缺陷數(shù)占總?cè)毕輸?shù)比例

項(xiàng)目11 02145 46613.3%

項(xiàng)目226416 28212.5%

（2） 測試人員發(fā)現(xiàn)故障的特點(diǎn)分析。

首先，對3個(gè)裝備軟件測試項(xiàng)目的代碼檢查數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分類后，剔除測試工具發(fā)現(xiàn)的問題，不列入故障數(shù)據(jù)統(tǒng)計(jì)范圍。項(xiàng)目1和項(xiàng)目2由A，B，C三位測試工程師參加代碼走查，項(xiàng)目3由A，B，C，D四個(gè)測試工程師進(jìn)行代碼走查，對每個(gè)測試人員代碼走查發(fā)現(xiàn)問題數(shù)轉(zhuǎn)換成其占該類問題的百分比，見表3所示，然后通過比較發(fā)現(xiàn)以下規(guī)律：

①測試工程A在3個(gè)項(xiàng)目中，發(fā)現(xiàn)的“指針內(nèi)存”和“循環(huán)結(jié)構(gòu)”類問題基本上占了該類問題總數(shù)一半以上，而其他的測試工程師在發(fā)現(xiàn)該類問題上，在不同的項(xiàng)目是隨機(jī)的，沒有一定的規(guī)律和趨勢。

②在“指針內(nèi)存”問題上C測試工程師在3個(gè)項(xiàng)目的代碼走查中發(fā)現(xiàn)問題數(shù)占該類型問題數(shù)都較少甚至沒有。

其次，根據(jù)上述不同測試人員發(fā)現(xiàn)故障的特點(diǎn)，在第4個(gè)測試項(xiàng)目的分工上，讓測試工程師A在第四個(gè)項(xiàng)目代碼走查中，負(fù)責(zé)對“指針內(nèi)存”和“循環(huán)結(jié)構(gòu)”類問題進(jìn)行重點(diǎn)審查，其他測試工程師則不進(jìn)行側(cè)重性分工，統(tǒng)計(jì)結(jié)果表明，工程師A發(fā)現(xiàn)問題的比例和絕對數(shù)量提高明顯。

表3 項(xiàng)目代碼走查數(shù)據(jù)分類統(tǒng)計(jì)表

問題 /%

項(xiàng)目1項(xiàng)目2項(xiàng)目3項(xiàng)目4

ABCABCABCDABCD

宏定義100.00093.106.9000100.0000100.0

循環(huán)結(jié)構(gòu)75.025.0046.22.651.350.00050.075.025.000

指針內(nèi)存55.644.4050.0050.00000100.0000

最后，由于測試工程師未參加第1、第2個(gè)項(xiàng)目，則在4個(gè)項(xiàng)目中在進(jìn)行比較，又可以發(fā)現(xiàn)測試工程師A和D在發(fā)現(xiàn)“宏定義”類問題的能力上基本相當(dāng)，但比測試工程師B和C更有效率，因此，在后續(xù)的項(xiàng)目中可以根據(jù)這一特點(diǎn)，對測試人員A，B，C，D進(jìn)行合理的調(diào)配，組建高效率測試組，而且隨著可分析項(xiàng)目的數(shù)量增加，測試人員的特長會(huì)分析的越來越精確，對測試組內(nèi)人員分工就可以越細(xì)化，工作也越高效。

5 結(jié) 語

基于帕累托法則的測試策略優(yōu)化，一方面，在項(xiàng)目測試工作過程中，通過對故障類型和分布特性進(jìn)行分析，查找故障缺陷模塊類聚性和故障類型的類聚性，改進(jìn)軟件測試設(shè)計(jì)過程和提高測試的效能；另一方面，進(jìn)行故障與人員相關(guān)性分析，查找發(fā)現(xiàn)軟件設(shè)計(jì)人員、開發(fā)過程等方面的不足，根據(jù)其薄弱點(diǎn)提出一個(gè)機(jī)構(gòu)或個(gè)人在那一方面需要提高或需要加強(qiáng)培訓(xùn)，并提出針對性培訓(xùn)建議，從而促進(jìn)開發(fā)過程的改進(jìn)。此外，利用測試人員發(fā)現(xiàn)故障特點(diǎn)分析結(jié)果，對測試人員進(jìn)行針對性的調(diào)配，組建高效率測試組和進(jìn)行合理的組內(nèi)分工，可以提高測試故障的發(fā)現(xiàn)率，促進(jìn)測試過程的改進(jìn)。通過多個(gè)項(xiàng)目的實(shí)踐證明，基于帕累托法則的測試策略優(yōu)化可以明顯提高測試效率。

參考文獻(xiàn)

［1］朱少民.軟件測試技術(shù)和方法［M］.北京:清華大學(xué)出版社，2005.

［2］GLenford J Myers.計(jì)算機(jī)軟件測試技巧［M］.周芝英，譯.北京:清華大學(xué)出版社，1985.

［3］Ron Patton.軟件測試［M］.周予濱，譯.北京:機(jī)械工業(yè)出版社，2002.

［4］肖瑜.測試用例自動(dòng)生成方法研究與實(shí)現(xiàn).現(xiàn)代電子技術(shù)，2008，31（16）：100-102.

［5］Endres A.An Analysis of Errors and Their Causes in System Programs［J］.IEEE Transactions on Software Engineering SE-1，1975:140-149.

［6］李寧.軟件測試策略研究與實(shí)踐［A］.國防科技工業(yè)軟件評測技術(shù)交流會(huì)論文集，2007.

［7］鄭人杰.計(jì)算機(jī)軟件測試技巧［M］.北京:清華大學(xué)出版社，1992.

［8］William E Lewis.軟件測試與持續(xù)質(zhì)量改進(jìn)［M］.2版.陳紹英，譯.北京:人民郵電出版社，2008.

［9］Marnie L Hutcheson.Software Testing Fundamentals Methods and Metrics［M］.人民郵電出版社，2007.

［10］羅圣儀.計(jì)算機(jī)軟件質(zhì)量保證的方法和實(shí)踐［M］.北京:科學(xué)出版社，1999.

作者簡介 黃茂生 男，1973年出生，廣東肇慶人，高級工程師，學(xué)士。主要研究方向?yàn)檐浖y試、軟件可靠性。

楊春暉 女，1965年出生，湖南洞口人，研究員，碩士。主要研究方向?yàn)檐浖|(zhì)量工程、項(xiàng)目管理。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文