孫智超,張 策,江文倩,劉凱衛(wèi),范苗苗,李文毓,溫雅菲

(1.哈爾濱工業(yè)大學(xué)(威海)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東 威海 264209；2.華為技術(shù)有限公司南京研究所,江蘇 南京 210012)

1 引言

隨著信息技術(shù)與網(wǎng)絡(luò)的發(fā)展，計(jì)算機(jī)的應(yīng)用也越來(lái)越廣泛。計(jì)算機(jī)軟件作為用戶使用計(jì)算機(jī)的主要載體與功能提供者，在生產(chǎn)生活中具有重要作用。人類對(duì)軟件功能的要求不斷增加，軟件的規(guī)模與復(fù)雜度也在不斷增加，軟件質(zhì)量管理在軟件開發(fā)與測(cè)試中愈加重要。軟件可靠性是軟件質(zhì)量評(píng)估的重要因素，高質(zhì)量的軟件必然是高可靠的。軟件可靠性增長(zhǎng)模型SRGM(Software Reliability Growth Model)是軟件可靠性研究的主流方法之一。在一般的SRGM模型中，有2大重要參數(shù)[1]，一是軟件總故障，它對(duì)軟件系統(tǒng)中整體故障數(shù)量進(jìn)行了抽象；二是故障檢測(cè)率FDR(Fault Detection Rate)，它描述了軟件測(cè)試環(huán)境的測(cè)試能力。為了更好地掌握軟件可靠性，以達(dá)到預(yù)期(發(fā)布)要求，需要分析故障檢測(cè)率在可靠性研究中的作用。

故障檢測(cè)率FDR刻畫了測(cè)試環(huán)境、測(cè)試技術(shù)、測(cè)試資源消耗情況及測(cè)試人員技能的綜合能力[2]?？陀^上測(cè)試環(huán)境的不同，以及測(cè)試人員實(shí)施測(cè)試策略的差異，都會(huì)使不同軟件系統(tǒng)在測(cè)試中表現(xiàn)出不同的外在特征。從建立數(shù)學(xué)模型的角度來(lái)看，不同模型的區(qū)別與故障檢測(cè)率FDR關(guān)聯(lián)緊密。這樣，故障檢測(cè)率FDR從整體上刻畫了測(cè)試效果，使其成為影響SRGM性能的主要評(píng)測(cè)點(diǎn)，對(duì)軟件可靠性建模、軟件故障數(shù)量預(yù)測(cè)、最優(yōu)發(fā)布時(shí)間的確定和測(cè)試成本的控制等工作具有重要意義。

近些年，軟件可靠性增長(zhǎng)模型的研究重點(diǎn)主要集中于軟件可靠性模型[2,3]、模型參數(shù)估計(jì)方法[4]和確定軟件發(fā)布時(shí)間[5]等方面，而對(duì)于已有模型的研究不夠深入，特別是SRGM的2大重要參數(shù)對(duì)模型性能的影響分析。本文主要從故障檢測(cè)率出發(fā)，在失效數(shù)據(jù)集FDS(Failure Date Set)上建立統(tǒng)一的模型，提出2種評(píng)測(cè)機(jī)制：?jiǎn)蜸RGM單FDS多FDR模式和多SRGM多FDS多FDR模式。通過(guò)多屬性決策的評(píng)測(cè)算法，分析可靠性模型、失效數(shù)據(jù)集FDS與故障檢測(cè)率FDR三者之間的關(guān)聯(lián)?；趯?shí)驗(yàn)結(jié)果分析故障檢測(cè)率對(duì)于SRGM的影響。

本文結(jié)構(gòu)組織如下：第2節(jié)回顧了目前已有的故障檢測(cè)率函數(shù);第3節(jié)闡述了SRGM的建模方法，包括基本假設(shè)、建模方法與具體計(jì)算方法等;第4節(jié)基于2個(gè)方案分析了不同故障檢測(cè)率函數(shù)對(duì)SRGM模型的擾動(dòng)影響；最后對(duì)全文進(jìn)行總結(jié)。

2 故障檢測(cè)率回顧

故障檢測(cè)率表示單位時(shí)間內(nèi)單個(gè)故障被檢測(cè)到的平均概率[6]，通常用b(t)表示。Goel與Okumoto[7]提出了最早的SRGM模型——G-O模型。在此模型中，故障檢測(cè)率被認(rèn)為是常量型的，即b(t)=b，并不能反映出隨著測(cè)試時(shí)間的增加，測(cè)試人員熟練程度的變化，具有明顯的缺陷。Yamada等[8]提出了S型增長(zhǎng)趨勢(shì)的故障檢測(cè)率函數(shù)——延遲SRGM模型和變動(dòng)SRGM模型，具有更強(qiáng)的適應(yīng)能力，靈活性更高，模型性能預(yù)測(cè)效果更好。Yamada等[9]提出了考慮測(cè)試工作量的軟件可靠性增長(zhǎng)模型，所提模型具有良好的性能。Huang等[10]提出了一個(gè)考慮學(xué)習(xí)因子的故障檢測(cè)率模型，并完成了相關(guān)SRGM模型推導(dǎo)工作。Pham[11]提出了一個(gè)Vtub型的故障檢測(cè)率函數(shù)，在測(cè)試初期考慮了軟件剛加入測(cè)試，故障檢測(cè)率較高，隨著測(cè)試時(shí)間的增加，故障檢測(cè)率逐漸降低并趨于穩(wěn)定，在測(cè)試工作的末期，隨著上線日期的臨近，故障檢測(cè)率又呈現(xiàn)出升高的趨勢(shì)。Song等[12]提出了基于操作環(huán)境不確定性的廣義模型,其核心是在故障檢測(cè)率函數(shù)中增加了體現(xiàn)環(huán)境變動(dòng)的隨機(jī)變量，一般為伽瑪分布。此外，Pham等[13]提出了一個(gè)具有隨機(jī)性的通用故障檢測(cè)率模型，并考慮了加性高斯白噪聲與靜態(tài)乘性噪聲2種不同情況。

本文遴選了6個(gè)廣泛應(yīng)用的故障檢測(cè)率函數(shù)，并分析了這些故障檢測(cè)率函數(shù)對(duì)于SRGM的影響。如表1所示，這6個(gè)故障檢測(cè)率可劃分為4種類型：常量類型、冪函數(shù)類型、S型和指數(shù)型。

3 FDR對(duì)軟件可靠性影響的建模

3.1 基本框架

首先，給出SRGM建模的公共假設(shè)：

(1)軟件失效滿足非齊次泊松過(guò)程N(yùn)HPP(Non-Homogeneous Poisson Process)過(guò)程[14]；

Table 1 Type of fault detection rate

(2)在(t+Δt)內(nèi)檢測(cè)到的故障數(shù)量與當(dāng)前軟件中剩余的故障數(shù)量成比例；

(3)軟件修復(fù)過(guò)程中存在排錯(cuò)不完全和新故障引入的現(xiàn)象[15]。

Figure 1 Evaluation and decision-making process of b(t)in solution 1

本文將在以上假設(shè)的基礎(chǔ)上建立不同故障檢測(cè)率對(duì)應(yīng)的SRGM模型，基本的微分方程形式如式(1)所示：

(1)

其中,m(t)為累計(jì)故障檢測(cè)函數(shù)，其值表示軟件測(cè)試中0～t時(shí)間段內(nèi)已被檢測(cè)出的故障數(shù)量；b(t)是故障檢測(cè)率函數(shù)，其值在(0,1)；a(t)表示軟件總故障數(shù)量，可設(shè)定為常量，或測(cè)試時(shí)間t的某種函數(shù)；p是故障修復(fù)概率，其值在(0,1)。將不同形式的a(t)、b(t)和變量p帶入微分方程即可求解出對(duì)應(yīng)的m(t)。

本文將從以下3步出發(fā)，逐步確定FDR、SRGM和FDS:

第1步基于我們前期的研究成果和大量的實(shí)驗(yàn)，遴選出在預(yù)定FDS上具有優(yōu)秀性能的SRGM集合。這些SRGM集合包括第2節(jié)中的從FDR視角建立的可靠性模型；

第2步建立待觀測(cè)的FDR集合。此集合雖不能由前期實(shí)驗(yàn)得出，但可選擇當(dāng)前研究中出現(xiàn)頻率較高的FDR；

第3步建立評(píng)測(cè)FDR及其對(duì)SRGM可能產(chǎn)生影響的觀測(cè)點(diǎn)集合。

由于每種失效數(shù)據(jù)集FDS都對(duì)應(yīng)著特定的軟件測(cè)試環(huán)境，同時(shí)SRGM的基本假設(shè)可以分為考慮完美排錯(cuò)或不完美排錯(cuò)，本文考慮到在單一與眾多測(cè)試環(huán)境下、不同SRGM假設(shè)情況下的故障檢測(cè)率對(duì)于SRGM模型的不同影響，提出了2個(gè)方案進(jìn)行實(shí)證分析，以全面地探究故障檢測(cè)率對(duì)SRGM性能的影響。方案1考慮了單一測(cè)試環(huán)境、完美排錯(cuò)的SRGM模型中故障檢測(cè)率FDR對(duì)于SRGM模型的影響。方案2考慮了多測(cè)試環(huán)境、不同排錯(cuò)假設(shè)中故障檢測(cè)率FDR對(duì)SRGM模型的影響。

3.1.1 方案1——單SRGM單FDS多FDR模式

在完美排錯(cuò)的假設(shè)的基礎(chǔ)上，改變式(1)中的b(t)函數(shù)，便可得到不同故障檢測(cè)率FDR對(duì)應(yīng)的累計(jì)故障檢測(cè)函數(shù)m(t)。在單一失效數(shù)據(jù)集上分析不同m(t)的擬合性能與預(yù)測(cè)性能，即對(duì)應(yīng)不同故障檢測(cè)率對(duì)應(yīng)的SRGM模型的性能。由此進(jìn)行分析，便可得到固定測(cè)試環(huán)境下的故障檢測(cè)率FDR對(duì)軟件可靠性增長(zhǎng)模型的影響。這種方案被稱為單SRGM單FDS多FDR模式。通過(guò)觀測(cè)得到的擬合與預(yù)測(cè)數(shù)值，并經(jīng)過(guò)適當(dāng)?shù)臎Q策算法可給出FDR排序結(jié)果(即偏序集合)。圖1和算法1分別描述了此方案的基本流程和相應(yīng)的執(zhí)行算法EvaluateFDREffectOnSRGM—SSSFMF，其中m表示參與對(duì)比的故障檢測(cè)率函數(shù)的數(shù)量。算法1中SortFDR()實(shí)現(xiàn)對(duì)模型的排序，排序的基本算法為基于優(yōu)劣解距離法TOPSIS(Technique for Order Preference by Similarity to Ideal Solution)[16]的SRGM決策算法，詳見3.2節(jié)。

算法1方案1的執(zhí)行算法EvaluateFDREffectOnSRGM—SSSFMF

輸入:(通過(guò)大量實(shí)驗(yàn))遴選出的SRGM模型m(t)、失效數(shù)據(jù)集DS、故障檢測(cè)率集合FDRSet=[bt1,bt2,…,btm]。

輸出:FDR偏序集合FDRSet。

Step1遍歷故障檢測(cè)率函數(shù)，計(jì)算對(duì)應(yīng)的累計(jì)故障檢測(cè)函數(shù)m(t),并計(jì)算失效數(shù)據(jù)集上m(t)的擬合預(yù)測(cè)性能:

i=0;

Foreachbi(t)in(FDRSet){

MT[i]=Fitting(m(t),DS,bi(t));

MSE[i]=CalculateMSE(MT[i]);

R_square[i]=CalculateR_square(MT[i]);

Variation[i]=CalculateVariation(MT[i]);

RE[i]=CalculateRE(MT[i]);

i++;

}

Step2通過(guò)信息熵計(jì)算每個(gè)性能指標(biāo)的權(quán)重：

W=CalculateWeight(MT,MSE,R_square,Variation,RE);

Step3得到經(jīng)決策算法處理后的FDR偏序集合:

FDRSet=SortFDR(MT,MSE,R_square,Variation,RE,W);

Step4returnFDRSet

在這種單SRGM單FDS多FDR模式中，由于是基于單個(gè)的SRGM和失效數(shù)據(jù)集FDS來(lái)進(jìn)行研究，因而其被限定在某個(gè)特定的軟件測(cè)試環(huán)境下?；谠摲治鼋Y(jié)果便于改進(jìn)測(cè)試策略，使得其故障檢測(cè)率能夠向著符合測(cè)試要求的方向改進(jìn)。

3.1.2 方案2——多SRGM多FDS多FDR模式

為了更廣泛地分析故障檢測(cè)率對(duì)軟件可靠性的影響，方案2考慮了基于完美排錯(cuò)與不完美排錯(cuò)假設(shè)的SRGM模型，并在多個(gè)失效數(shù)據(jù)集FDS上進(jìn)行實(shí)證分析。這種情況被稱為多SRGM多FDS多FDR模式。

在方案1基礎(chǔ)上，將遴選出的多個(gè)SRGM和多個(gè)FDS分為若干個(gè)組，在每一組內(nèi)將不同的FDR代入到式(1)中，求解出對(duì)應(yīng)的SRGM模型，并在失效數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。通過(guò)觀測(cè)實(shí)驗(yàn)的擬合與預(yù)測(cè)指標(biāo)，可對(duì)SRGM模型進(jìn)行排序，進(jìn)而得到不同形式的FDR的性能綜合指標(biāo)。對(duì)每一組均進(jìn)行上述實(shí)驗(yàn)，得到了多組不同F(xiàn)DR的性能綜合指標(biāo)。最后經(jīng)過(guò)適當(dāng)?shù)臎Q策算法可給出全部FDR的排序結(jié)果(即偏序集合)。圖2和算法2分別描述了此方案的基本流程和相應(yīng)的執(zhí)行算法EvaluateFDREffectOnSRGM—MSMFMF，其中n表示SRGM模型的數(shù)量。算法2中SortFDR()實(shí)現(xiàn)對(duì)模型的排序，排序基本算法為基于TOPSIS的SRGM決策算法，詳見3.2節(jié)。

算法2方案2的執(zhí)行算法EvaluateFDREffectOnSRGM—MSMFMF

輸入:(通過(guò)大量實(shí)驗(yàn))遴選出的SRGM 模型集合SRGMSet和失效數(shù)據(jù)集集合DSSet、故障檢測(cè)率集合FDRSet=[bt1,bt2,…,btm]、SRGM權(quán)重W1、失效數(shù)據(jù)集權(quán)重W2。

輸出:FDR偏序集合FDRSet。

Step1計(jì)算每個(gè)組中針對(duì)每個(gè)不同SRGM的FDR單一性能值：

i=0,j=0;

Foreachbi(t)inFDRSet{

Foreachmj(t)inSRGMSet{

MT[j]=Fitting(mj(t),DSSet[j],bi(t));

MSE[j]=CalculateMSE(MT[j])

R_square[j]=CalculateR_square(MT[j]);

Variation[j]=CalculateVariation(MT[j]);

RE[j]=CalculateRE(MT[j]);

FDRSingleValue[j]=GetFDR(MT[j],MSE[j],R_square[j],Variation[j],RE[j],W);

j++;

}

FDRItegraedValue[i]=GetFullFDR(FDRSingleValue);

i++;

}

Step2通過(guò)信息熵計(jì)算每個(gè)性能指標(biāo)的權(quán)重:

W=CalculateWeight(MT,MSE,R_square,Variation,RE);

Step3得到經(jīng)決策算法處理后的FDR偏序集合:

FDRSet=SortFDR(FDRIntegratedValue,W,W1,W2);

Step4returnFDRSet

Figure 2 Evaluation and decision-making process of b(t)in solution 2

在這種多SRGM多FDS多FDR模式中，由于是基于多個(gè)SRGM和多個(gè)失效數(shù)據(jù)集FDS來(lái)進(jìn)行研究，并沒(méi)有被限定在某個(gè)特定的軟件測(cè)試環(huán)境下，這樣可以用于綜合分析不同F(xiàn)DR的真實(shí)性能，對(duì)軟件測(cè)試過(guò)程中的共性情況進(jìn)行分析，從而得到對(duì)于軟件測(cè)試開發(fā)具有重要價(jià)值的結(jié)論來(lái)指導(dǎo)實(shí)際軟件測(cè)試過(guò)程。

3.1.3 擬合與預(yù)測(cè)指標(biāo)選擇

Table 2 Fitting indices

預(yù)測(cè)指標(biāo)RE主要通過(guò)觀測(cè)預(yù)測(cè)曲線形狀與RE曲線最后5個(gè)值的絕對(duì)值平均數(shù)綜合考量，借助層次分析法AHP(Analytic Hierarchy Process)將預(yù)測(cè)實(shí)驗(yàn)結(jié)果進(jìn)行量化，最終轉(zhuǎn)化為定量的性能指標(biāo)。RE指標(biāo)量化值如表3所示，共分為5級(jí)。最終RE指標(biāo)為標(biāo)準(zhǔn)化后的量化級(jí)別。

Table 3 Quantified level of RE indicator

3.2 基于TOPSIS的SRGM決策算法

根據(jù)SRGM模型在失效數(shù)據(jù)集上的擬合預(yù)測(cè)指標(biāo)對(duì)模型進(jìn)行排序，這是一個(gè)多準(zhǔn)則決策問(wèn)題。其中各指標(biāo)權(quán)重采用信息熵的方式計(jì)算確定，具體的決策算法為基于優(yōu)劣解距離法TOPSIS算法[16]。采用信息熵+TOPSIS對(duì)所選模型進(jìn)行排序，得出綜合性能最優(yōu)的SRGM，進(jìn)而分析故障檢測(cè)率對(duì)軟件可靠性的影響。

n個(gè)SRGMs在指定數(shù)據(jù)集上的m個(gè)擬合與預(yù)測(cè)值排列組合成多屬性決策矩陣MADM(Mutltiple Attribute Decision Matrix)的形式,如式(2)所示。

(2)

3.2.1 基于信息熵計(jì)算權(quán)重

對(duì)MADM每一列正則化得式(3)：

(3)

隨后根據(jù)正則化矩陣計(jì)算每一個(gè)指標(biāo)的信息熵，如式(4)所示:

(4)

其中,Ei為第i個(gè)指標(biāo)的信息熵，E0為信息熵常量，值為(lnm)-1。

根據(jù)式(5)計(jì)算每一個(gè)指標(biāo)的發(fā)散度:

Di=1-Ei

(5)

根據(jù)式(6)計(jì)算每一個(gè)指標(biāo)的信息熵權(quán)重:

(6)

3.2.2 基于TOPSIS進(jìn)行決策

在決策矩陣MADM的基礎(chǔ)上，選出每一列的最大值r(n)與最小值r(1)構(gòu)成SRGM的正向最優(yōu)解與負(fù)向最劣解，得到的最優(yōu)最劣決策矩陣PNDM(Positive Negative Decision Matrix)形式如式(7)所示：

(7)

為了消除不同指標(biāo)值的量綱的影響，將矩陣按照式(8)的形式標(biāo)準(zhǔn)化：

(8)

標(biāo)準(zhǔn)化之后的矩陣如式(9)所示：

(9)

再對(duì)每一列乘以3.2.1節(jié)中計(jì)算出的每一個(gè)性能指標(biāo)對(duì)應(yīng)的權(quán)重，得到加權(quán)最優(yōu)最劣決策矩陣WPNDM(Weighted Positive Negative Decision Matrix)，如式(10)所示：

WPNDMstd=

(10)

隨后計(jì)算第i個(gè)模型SRGMi的性能指標(biāo)(qi1,qi2,…,qim)到正向最優(yōu)解集合(q(n)1,q(n)2,…,q(n)m)和負(fù)向最劣解集合(q(1)1,q(1)2,…,q(1)m)的距離，進(jìn)而計(jì)算接近程度Hi，確定最終SRGMs偏序順序。

(11)

(12)

則第i個(gè)模型SRGMi與理想解的接近程度Hi可通過(guò)式(13)計(jì)算:

(13)

對(duì)n個(gè)SRGMs的接近程度Hi進(jìn)行排序，即可得到SRGM在該數(shù)據(jù)集上的偏序集合[H(1),H(2),…,H(n)]，其中H(n)對(duì)應(yīng)的SRGM即為在該數(shù)據(jù)集上性能最佳的模型，H(1)對(duì)應(yīng)的模型即為該數(shù)據(jù)集上性能最差的模型。隨即可根據(jù)排序結(jié)果分析不同F(xiàn)DR函數(shù)對(duì)SRGM性能的影響。

TOPSIS決策算法相較于經(jīng)典的多屬性決策算法(加權(quán)平均法與熵值法)，既考慮了備選解中的最優(yōu)解應(yīng)盡可能地靠近理論最優(yōu)解，又考慮了備選最優(yōu)解應(yīng)盡可能地遠(yuǎn)離理論最劣解。相較于僅考慮每一個(gè)備選解指標(biāo)的簡(jiǎn)單加權(quán)算法與熵值法，TOPSIS決策算法對(duì)于SRGM模型排序這種復(fù)雜多屬性決策問(wèn)題有更好的決策結(jié)果。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)設(shè)置

本節(jié)主要介紹實(shí)證分析中涉及的SRGM類型、SRGM模型表達(dá)式與失效數(shù)據(jù)集等信息。

4.1.1 SRGM模型

對(duì)于方案1(單SRGM單FDS多FDR模式)，本文選用完美排錯(cuò)模型，假設(shè)軟件總故障數(shù)量為固定常數(shù)，即a(t)=a，故障修復(fù)概率固定為1，即p=1，SRGM模型的表達(dá)式見表4。表中給出了完美假設(shè)下不同b(t)函數(shù)對(duì)應(yīng)的SRGM模型，隨后在公開發(fā)表的失效數(shù)據(jù)集上進(jìn)行擬合與預(yù)測(cè)，觀測(cè)不同F(xiàn)DR對(duì)于SRGM模型的影響。

Table 4 Models compared in solution 1

對(duì)于方案2(多SRGM多FDS多FDR模式)，選擇了如表3所示的軟件可靠性增長(zhǎng)模型，其中選擇2類SRGM模型，分別為完美排錯(cuò)與不完美排錯(cuò)。完美排錯(cuò)的基本假設(shè)與方案1所選擇模型相同；對(duì)于不完美排錯(cuò)SRGM模型，本文選取在之前的研究中性能表現(xiàn)較好的軟件總故障模型——折中類型a(t)。為了簡(jiǎn)便計(jì)算，取故障修復(fù)概率p(t)=p，參與比較的各模型的表達(dá)式見表5。

Table 5 Models compared in solution 2

表5展示了不同b(t)在不完美與完美排錯(cuò)2種假設(shè)下對(duì)應(yīng)的SRGM模型表達(dá)式，隨后將在5個(gè)真實(shí)失效數(shù)據(jù)集上對(duì)SRGM模型進(jìn)行擬合，并計(jì)算出擬合性能與預(yù)測(cè)性能，以分析不同SRGM模型、在不同數(shù)據(jù)集上FDR對(duì)SRGM性能的綜合影響。

4.1.2 失效數(shù)據(jù)集

失效數(shù)據(jù)集FDS是評(píng)估SRGM模型的性能、分析故障檢測(cè)率對(duì)SRGM模型影響的基礎(chǔ)。本文將會(huì)使用5個(gè)失效數(shù)據(jù)集進(jìn)行相關(guān)實(shí)驗(yàn)：(1)AT&T Bell實(shí)驗(yàn)室的網(wǎng)絡(luò)管理系統(tǒng)[17]，記為DS1；(2)某大型醫(yī)療記錄系統(tǒng)[18]，記為DS2；(3)數(shù)組定義語(yǔ)言解釋器Space[19]，記為DS3；(4)Eclipse開放源碼軟件系統(tǒng)[20]，記為DS4；(5)Apache開源項(xiàng)目ActiveMQ軟件系統(tǒng)，記為DS5；(6)PL/I數(shù)據(jù)庫(kù)應(yīng)用[21]，記為DS6。

第1個(gè)數(shù)據(jù)集DS1記錄了AT&T Bell實(shí)驗(yàn)室開發(fā)的網(wǎng)絡(luò)管理系統(tǒng)的故障數(shù)量，在680.02個(gè)CPU單位時(shí)間內(nèi)累計(jì)記錄了22個(gè)軟件故障。第2個(gè)數(shù)據(jù)集DS2記錄了某大型醫(yī)療系統(tǒng)3個(gè)版本的故障信息。該系統(tǒng)由188個(gè)組件構(gòu)成，在18周的記錄中，累計(jì)發(fā)現(xiàn)176個(gè)故障。第3個(gè)數(shù)據(jù)集DS3來(lái)自于Space程序，包括9 564行C語(yǔ)言代碼。在觀測(cè)的403個(gè)CPU單位時(shí)間內(nèi)，共發(fā)現(xiàn)21個(gè)故障。第4個(gè)數(shù)據(jù)集DS4記錄了開源項(xiàng)目Eclipse自2001年10月10日至2013年12月17日期間遇到的所有故障數(shù)量，共計(jì)6 495個(gè)。第5個(gè)數(shù)據(jù)集DS5選取了ActiveMQ軟件系統(tǒng)自2020年4月18日起87周的累積檢測(cè)故障數(shù)量(包括正式版與測(cè)試版)，共計(jì)345個(gè)故障。第6個(gè)數(shù)據(jù)集DS6是一個(gè)由大約317 000行代碼組成的PL/I數(shù)據(jù)庫(kù)應(yīng)用軟件系統(tǒng)的數(shù)據(jù)。在19周內(nèi)，消耗了47.65個(gè)CPU單位時(shí)間，刪除了328個(gè)軟件故障。圖3展示了本文所選數(shù)據(jù)集的增長(zhǎng)曲線。從圖3中可以發(fā)現(xiàn)，失效數(shù)據(jù)集的增長(zhǎng)趨勢(shì)為指數(shù)型增長(zhǎng)(DS1與DS3等)與S型增長(zhǎng)(DS2)，其中指數(shù)型增長(zhǎng)也可以劃分為數(shù)學(xué)曲線上的凸型指數(shù)增長(zhǎng)(DS1)與凹型指數(shù)增長(zhǎng)(DS3)。

Figure 3 Growth curve of failure data set

4.2 實(shí)驗(yàn)結(jié)果與簡(jiǎn)要分析

4.2.1 方案1實(shí)驗(yàn)分析

本節(jié)主要分析單SRGM單FDS多FDR模式在真實(shí)失效數(shù)據(jù)集上基于TOPSIS決策算法得出的偏序序列。在失效數(shù)據(jù)集DS6上對(duì)方案1進(jìn)行分析，基于參數(shù)估計(jì)、擬合性能計(jì)算與預(yù)測(cè)性能計(jì)算，得到方案1的初始多屬性決策矩陣MADM1與各性能指標(biāo)對(duì)應(yīng)權(quán)重如表6所示。從表6可以看出在對(duì)應(yīng)數(shù)據(jù)集上，預(yù)測(cè)性能RE指標(biāo)的信息熵權(quán)重最大，3個(gè)擬合指標(biāo)中MSE信息熵權(quán)重最大，R2與Variation對(duì)應(yīng)權(quán)重近似一致。所有擬合指標(biāo)權(quán)重和為0.571，略大于預(yù)測(cè)性能指標(biāo)權(quán)重。

Table 6 Performance indicators and corresponding weights

經(jīng)計(jì)算，方案1中模型(M-1～M-6)與理想解的接近程度如表7所示,分析結(jié)果可以發(fā)現(xiàn),在完美排錯(cuò)測(cè)試環(huán)境中，對(duì)于所選數(shù)據(jù)集DS6，冪函數(shù)型b2(t)對(duì)應(yīng)的M-2模型性能最好，S型b3(t)對(duì)應(yīng)的M-3與指數(shù)型b6(t)對(duì)應(yīng)的M-6性能較好，常數(shù)型b1(t)對(duì)應(yīng)的M-1模型性能最差。

Table 7 Proximity of the models in solution 1

冪函數(shù)型b2(t)描述了隨著測(cè)試時(shí)間增加，測(cè)試人員對(duì)于故障的檢測(cè)能力不斷增強(qiáng)，這符合凸型指數(shù)型曲線的增長(zhǎng)趨勢(shì)，故其對(duì)應(yīng)的模型M-2性能最出色。復(fù)雜指數(shù)型b5(t)反映了隨著測(cè)試時(shí)間增加，故障檢測(cè)率不斷遞減，這與數(shù)據(jù)集的增長(zhǎng)趨勢(shì)相反，故其對(duì)應(yīng)的模型M-5性能較差。常量型b1(t)描述了故障測(cè)試率不變的情況下，其對(duì)應(yīng)的模型M-1缺少靈活性，故其性能表現(xiàn)最差。

4.2.2 方案2實(shí)驗(yàn)分析

為了進(jìn)一步分析不同F(xiàn)DR的真實(shí)性能，本節(jié)遴選了5個(gè)真實(shí)失效數(shù)據(jù)集DS1、DS2、DS3、DS4和DS5。DS1具有凸型指數(shù)增長(zhǎng)趨勢(shì)，DS2具有S型增長(zhǎng)趨勢(shì)，DS3具有凹型指數(shù)增長(zhǎng)趨勢(shì)，這3個(gè)數(shù)據(jù)集均來(lái)源于軟件可靠性研究中早期經(jīng)典數(shù)據(jù)集；DS4與DS5來(lái)自于開源軟件平臺(tái)，其數(shù)據(jù)集的更新時(shí)間較新、數(shù)據(jù)集規(guī)模更大。將表5中模型(M-1～M-12)在這5個(gè)數(shù)據(jù)集上進(jìn)行擬合性能與預(yù)測(cè)性能分析(由于頁(yè)面限制，可聯(lián)系作者獲取具體擬合預(yù)測(cè)指標(biāo)數(shù)據(jù))。

對(duì)實(shí)驗(yàn)數(shù)據(jù)集上的性能指標(biāo)權(quán)重進(jìn)行觀測(cè)可知，權(quán)重的大小主要由各模型在不同數(shù)據(jù)集上性能指標(biāo)的差異決定，模型間的指標(biāo)值差距越大，混亂程度越高，信息熵權(quán)重越大。反之，差距越小，則信息熵權(quán)重越小，例如R2指標(biāo)。

表8展示了經(jīng)由 TOPSIS算法排序后的模型接近程度指標(biāo)與次序。對(duì)于凸型指數(shù)增長(zhǎng)失效數(shù)據(jù)集DS1，多數(shù)SRGM模型的接近程度值大于0.5，體現(xiàn)出SRGM模型在凸型指數(shù)增長(zhǎng)數(shù)據(jù)集上具有良好的擬合預(yù)測(cè)能力，其中基于不完美排錯(cuò)假設(shè)的M-7模型性能最好，M-10模型次之；基于復(fù)雜指數(shù)型故障檢測(cè)率的M-6和M-12的性能最差。對(duì)于S型增長(zhǎng)失效數(shù)據(jù)集DS2，相較于DS1整體的接近程度指標(biāo)值稍低，說(shuō)明SRGM模型對(duì)于S型增長(zhǎng)數(shù)據(jù)集的擬合預(yù)測(cè)能力稍弱，其中基于不完美排錯(cuò)假設(shè)的M-12模型性能最好，M-3模型性能次之，基于完美排錯(cuò)假設(shè)的M-4和M-5模型的性能最差。對(duì)于凹型指數(shù)增長(zhǎng)失效數(shù)據(jù)集DS3，基于不完美排錯(cuò)的M-9模型性能最好，M-3模型次之，基于完美排錯(cuò)假設(shè)的M-1和 M-5模型的性能最差。對(duì)于開放軟件數(shù)據(jù)集DS4與DS5，基于完美排錯(cuò)的M-9和M-10模型性能較好，基于完美排錯(cuò)的M-4模型和不完美排錯(cuò)的M-12模型性能表現(xiàn)較差。

Table 8 Proximity of the models in solution 2

根據(jù)表8，對(duì)于早期發(fā)布的失效數(shù)據(jù)集(DS1～DS3),基于不完美排錯(cuò)假設(shè)的模型(M-7～M-12)的排序性能優(yōu)于基于完美排錯(cuò)假設(shè)的模型(M-1～M-6)，表明不完美排錯(cuò)假設(shè)的模型更加符合早期的大型軟件測(cè)試工作，在不同的真實(shí)失效數(shù)據(jù)集上性能更穩(wěn)定與出色。但是，對(duì)于大型開源軟件系統(tǒng)的失效數(shù)據(jù)集，在軟件發(fā)布后的故障主要來(lái)源于開源社區(qū)反饋，開發(fā)團(tuán)隊(duì)對(duì)于故障的排除具有周期性、徹底性的特點(diǎn)，因此完美排錯(cuò)模型M-5和M-1在開源軟件失效數(shù)據(jù)集上性能表現(xiàn)良好。

為了進(jìn)一步分析不同故障檢測(cè)率函數(shù)對(duì)SRGM的影響，現(xiàn)對(duì)5個(gè)數(shù)據(jù)集上的模型排序序列進(jìn)行加權(quán)平均，求出模型的加權(quán)平均次序。對(duì)已收集數(shù)據(jù)集分類統(tǒng)計(jì)，將各個(gè)失效數(shù)據(jù)集的權(quán)重占比依次設(shè)置為0.2,0.2,0.1,0.25,0.1。對(duì)偏序序列進(jìn)行加權(quán)計(jì)算后結(jié)果如表9所示。

Table 9 Sorting when data sets are weighted

從表9可以看出，大多數(shù)基于不完美排錯(cuò)假設(shè)的模型的性能要比完美假設(shè)的更好，說(shuō)明考慮不完美排錯(cuò)假設(shè)的模型更加符合實(shí)際軟件測(cè)試工作，因此普遍適用性更強(qiáng)，在不同真實(shí)失效數(shù)據(jù)集上性能更穩(wěn)定與出色。

最后，對(duì)基于不同假設(shè)的SRGM進(jìn)行加權(quán)處理，以探究不同故障檢測(cè)率對(duì)軟件可靠性影響。對(duì)于權(quán)重的選擇，考慮到基于不完美排錯(cuò)假設(shè)的模型更具有參考意義，故將其權(quán)重設(shè)置為0.5，將完美排錯(cuò)假設(shè)的模型的權(quán)重設(shè)置為0.5，得到的排序權(quán)重與次序如表10所示。冪函數(shù)類型與第1個(gè)S型FDR的綜合性能位列第1梯隊(duì)，在不同數(shù)據(jù)集上、不同SRGM假設(shè)中性能最為出色，2個(gè)復(fù)雜指數(shù)型FDR的綜合性能最差。冪函數(shù)類型FDR描述了在軟件測(cè)試中故障檢測(cè)率隨著軟件運(yùn)行時(shí)間的增加逐漸提高，即隨著測(cè)試時(shí)間的增加，對(duì)于故障的檢測(cè)能力越強(qiáng)，這與現(xiàn)實(shí)生活中大多數(shù)軟件測(cè)試環(huán)境一致。S型FDR對(duì)應(yīng)更加靈活、復(fù)雜的測(cè)試環(huán)境，其對(duì)應(yīng)的SRGM模型也獲得了較好的性能。復(fù)雜指數(shù)型FDR呈現(xiàn)出了隨測(cè)試時(shí)間遞減與先增后減的變化趨勢(shì)，這與一般真實(shí)測(cè)試環(huán)境相去甚遠(yuǎn)，故對(duì)應(yīng)的SRGM性能最差。

Table 10 Sorting when SRGMs are weighted

4.3 討論

方案1與方案2最后的故障檢測(cè)率FDR的次序值并不完全相同，這表明對(duì)于特定的數(shù)據(jù)集，故障檢測(cè)率對(duì)于SRGM模型的性能影響因素還需要結(jié)合歷史故障數(shù)據(jù)、失效數(shù)據(jù)量和程序規(guī)模等信息。另一方面，在單一數(shù)據(jù)集單一假設(shè)基礎(chǔ)上分析故障檢測(cè)率對(duì)SRGM性能影響仍存在一些局限性，最終導(dǎo)致2個(gè)方案的b(t)函數(shù)偏序排序結(jié)果不完全相同。

根據(jù)本文所選擇真實(shí)失效數(shù)據(jù)集與SRGM模型，可對(duì)6個(gè)FDR函數(shù)進(jìn)行性能排序，結(jié)果為b3(t)>b2(t)>b1(t)>b4(t)>b5(t)>b6(t)，按照b(t)的類型進(jìn)行排序，結(jié)果為S型1>冪函數(shù)類型>常數(shù)類型>S型2>復(fù)雜指數(shù)型。

b(t)對(duì)應(yīng)的SRGM性能優(yōu)劣與真實(shí)失效數(shù)據(jù)集的性質(zhì)有聯(lián)系，故障檢測(cè)率隨時(shí)間遞增的冪函數(shù)FDR對(duì)應(yīng)的SRGM模型在凸型指數(shù)增長(zhǎng)的數(shù)據(jù)集上性能突出，S型FDR具有更高的靈活性，在眾多數(shù)據(jù)集上性能突出，體現(xiàn)出適應(yīng)性廣的特性。復(fù)雜指數(shù)型的b5(t)更適用于不完美排錯(cuò)假設(shè)下的SRGM模型。

探究故障檢測(cè)率FDR對(duì)SRGM模型的影響可以幫助測(cè)試人員建立性能優(yōu)秀的軟件可靠性模型，進(jìn)而在測(cè)試過(guò)程中對(duì)故障數(shù)量、軟件系統(tǒng)總體可靠性、測(cè)試成本和軟件發(fā)布時(shí)間進(jìn)行估計(jì)，以達(dá)到控制軟件測(cè)試成本、加強(qiáng)軟件管理和確定軟件發(fā)布時(shí)間等目的。

5 結(jié)束語(yǔ)

本文研究了不同F(xiàn)DR模型對(duì)于SRGM模型性能的影響，并進(jìn)行了實(shí)證分析。首先，回顧了不同類型的故障檢測(cè)率b(t)形式，共有常量類型、冪函數(shù)類型、S型、指數(shù)型共4種類型6個(gè)表達(dá)式。隨后，針對(duì)單SRGM單FDS多FDR模式、多SRGM多FDS多FDR模式，利用信息熵聯(lián)合TOPSIS決策算法，得出軟件故障檢測(cè)率函數(shù)對(duì)應(yīng)的SRGM模型的偏序序列，分析FDR對(duì)SRGM模型的性能影響因素。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，冪函數(shù)類型FDR在凸型增長(zhǎng)數(shù)據(jù)集上表現(xiàn)出色，指數(shù)型在S型增長(zhǎng)與凹型增長(zhǎng)數(shù)據(jù)集上表現(xiàn)較好，S型FDR具有較強(qiáng)的柔韌性，適用于不同的數(shù)據(jù)集，綜合性能最好。本文研究對(duì)于選擇合適的故障檢測(cè)率函數(shù)建立軟件可靠性模型有一定的指導(dǎo)意義，并為測(cè)試資源分配和確定最優(yōu)發(fā)布時(shí)間提供參考。