李海峰，李秋英，陸民燕

(北京航空航天大學(xué)可靠性與系統(tǒng)工程學(xué)院，北京100191)

隨著軟件被廣泛地應(yīng)用于社會各個領(lǐng)域，軟件尤其是安全關(guān)鍵軟件的失效很可能會導(dǎo)致生命與財產(chǎn)的災(zāi)難性損失.軟件可靠性已成為軟件發(fā)布時用戶最為關(guān)心的質(zhì)量指標(biāo)之一［1］.軟件可靠性增長模型(software reliability growth modelsmodels，SRGMs)作為軟件可靠性定量評估與預(yù)計的主要手段，從20世紀(jì)70年代起，就一直是軟件可靠性工程領(lǐng)域最為關(guān)注的研究方向之一［1-3］.有研究表明，若能在軟件可靠性建模過程中考慮軟件測試過程因素對軟件可靠性的影響效果，將會改進(jìn)現(xiàn)有模型的擬合與預(yù)計性能［4-8］.測試工作量(testing effort，TE)［6］與不完美排錯(imperfect debugging，ID)［9］就是這樣 2種重要測試過程因素.

測試工作量指的是在測試過程中所消耗的各類資源，可用人時、測試用例數(shù)、CPU時間等信息來度量［10］.有研究表明，對軟件可靠性增長曲線的形狀有著顯著影響［11-12］.而早期的SRGMs或者不考慮TE或者假設(shè)TE隨時間的消耗率是一個常值［1，3，13］，這顯然是不合理的.因此，如何準(zhǔn)確地定量描述TE隨測試時間的變化情況(即測試工作量函數(shù)，testing effort function，TEF)，進(jìn)而建立考慮TEF的SRGMs已成為近些年來軟件可靠性建模研究熱點(diǎn)之一［6，10，12，14-30］.此外在軟件可靠性建模過程中對所謂不完美排錯現(xiàn)象進(jìn)行準(zhǔn)確描述［9，23-24，29，31-39］，也是提高軟件可靠性模型擬合與預(yù)計精度的重要手段.

在實(shí)際測試過程中，由于軟件結(jié)構(gòu)特征以及學(xué)習(xí)因素的綜合影響，TE的增長速率隨時間會呈現(xiàn)出一種先增后減的S型增長趨勢［12］.變形S型(inflected S-shaped)函數(shù)非常適于描述S型增長趨勢，且具有結(jié)構(gòu)簡單、靈活性好等優(yōu)點(diǎn)［33］.因此，本文首先提出一種變形S型TEF(IS-TEF)來描述TE隨時間的S型增長趨勢;在此基礎(chǔ)上，將IS-TEF及2種不完美排錯假設(shè)分別與指數(shù)型NHPP類模型相結(jié)合，從而給出兩種考慮 IS-TEF與 ID的 NHPP類SRGMs(IS-TEFID1與IS-TEFID2).最后在兩組真實(shí)失效數(shù)據(jù)集上對新模型進(jìn)行實(shí)例驗(yàn)證.

1 測試工作量函數(shù)及建模的相關(guān)工作

1.1 若干典型測試工作量函數(shù)

1.1.1 威布爾 TEF［14］

Yamada首先利用威布爾型函數(shù)來描述測試工作量，并給出如下3種形式的TEF:

式中:W(t)表示時段［0，t］內(nèi)所消耗的累積測試工作量，Wmax表示最終可消耗的總測試工作量，即Wmax=W(∞)，b是刻度參數(shù)，m是形狀參數(shù).

1.1.2 指數(shù)威布爾［15］TEF

上述2種威布爾類的TEF無法很好地描述S型增長趨勢，并且當(dāng)m＞3時，威布爾類型的函數(shù)會有較明顯的峰值現(xiàn)象［12］;

1.1.3 Logistic TEF［12］

式中:α表示測試工作量消耗率，A是一個常數(shù).

當(dāng)t=0時，根據(jù)式(3)計算出的W(0)不為0，這個結(jié)論與直覺不相符合，有時難以解釋.

1.2 考慮TEF的指數(shù)型NHPP類建模框架

式中:m(t)是時刻t的探測失效數(shù)均值，r表示缺陷探測率，N表示軟件中潛在的總?cè)毕輸?shù).

若將缺陷總數(shù)N視為隨時間變化的函數(shù)N(t)，即軟件排錯會引入新的缺陷，則可以描述所謂的不完美排錯現(xiàn)象.由此，將式(4)重寫，得到考慮不完美排錯與TEF的NHPP類建?？蚣苋缦?

文獻(xiàn)［10］提出如下的考慮TEF的建模框架:

將2.1節(jié)中介紹的各種TEFs代入式(4)，即可得到不同的TEF-SRGMs.同理，將各種TEFs與不同的缺陷總數(shù)函數(shù)N(t)代入式(5)，則可得到不同的IDTEF-SRGMs.表1中匯總了若干經(jīng)典 SRGMs、TEF-SRGMs以及 IDTEF-SRGMs.

表1 相關(guān)軟件可靠性模型匯總Table 1 A summary of various SRGMs

續(xù)表1

2 考慮S型TEF的軟件可靠性建模

2.1 變形S型測試工作量函數(shù)

假設(shè)利用變形S型函數(shù)描述測試工作量隨時間的變化情況，則［0，t］內(nèi)的累積測試工作量為

式中:b表示測試工作量消耗率，ψ是一個常量.

根據(jù)式(6)，可知:1)W(0)=0，即初始測試工作量為0;2)W(t)非負(fù)且隨時間t單調(diào)遞增，這與測試過程中測試工作量不斷增長的行為相符;3)將W(t)對時間t求導(dǎo)，則可得測試工作量增長速率函數(shù)w(t)為

由式(7)可知，w(t)是一個隨測試時間先增后減的函數(shù)，在t=lnψ/b時，其達(dá)到最大值.

2.2 兩種重要的不完美排錯假設(shè)

關(guān)于不完美排錯的假設(shè)有很多種表達(dá)形式，比較常見且重要的為如下2種形式:

1)引入缺陷數(shù)與測試時間成正比［9，34-36，39］:

式中:β為缺陷引入率，N為軟件初始缺陷總數(shù).

2)引入缺陷數(shù)與探測缺陷數(shù)成正比［6，23］:

本文將分別采用形式1)與形式2)來描述不完美排錯現(xiàn)象，進(jìn)而得到考慮變形S型TEF以及2種不完美排錯假設(shè)的NHPP類軟件可靠性模型(ISTEFID).

2.3 IS-TEFID SRGMs

考慮S型測試工作量函數(shù)與不完美排錯的NHPP 類 SRGM 模型假設(shè)列舉如下［6，9，11，14］:

1)軟件的缺陷探測過程服從NHPP過程.

2)當(dāng)前軟件的失效是由殘存缺陷引發(fā)的.

3)當(dāng)前探測到的缺陷數(shù)均值與殘存缺陷數(shù)均值成正比.其比值是缺陷探測率，本文設(shè)其為常值.

4)利用變形S型測試工作量函數(shù)(式(6))來描述測試工作量隨時間的消耗情況.

5)缺陷一旦被發(fā)現(xiàn)，立即被排除.

6)排除缺陷過程可能會引入新缺陷，新缺陷引入率設(shè)為β.缺陷總數(shù)函數(shù)為式(8)和(9).

邊界條件為m(0)=0，W(0)=0，將式(6)，(8)與(9)代入式(5)，對微分方程求解，可得到如下2種考慮TEF與不完美排錯的模型.

下面以IS-TEFID2為例，討論此類模型的若干性質(zhì).

根據(jù)式(11)，可進(jìn)一步得到

根據(jù)式(11)～(12)，可得最終殘留缺陷數(shù)為

式(13)表明，即使測試的時間很長，軟件中的初始缺陷也不可能全部被排除，這是因?yàn)闇y試階段中的測試工作量消耗總量是有限的(Wmax).

3 IS-TEFID模型的實(shí)例驗(yàn)證

3.1 實(shí)例概述

1)選取表1中的21個SRGMs作為對比模型.

2)選用最小二乘估計(LSE)作為模型參數(shù)估計方法，LSE產(chǎn)生的估計結(jié)果具有無偏性.

3)選取均值誤差平方和［6］(MSE)，回歸曲線方程的相關(guān)指數(shù)［9］(R-Square)來評價模型擬合效果.

式中:mi為真實(shí)的觀測數(shù)據(jù)，m(ti)為模型計算出的對應(yīng)mi的擬合值.MSE值越小，則模型擬合效果越好，即表明模型的可靠性擬合性能越好.

式中:mave表示觀測數(shù)據(jù)mi的均值.R-Square值越接近于1，則模型擬合效果越好.

4)選擇相對誤差RE值［40］評價模型預(yù)計效果.

假設(shè)測試結(jié)束的時刻為tn，此時共觀測到mn個失效.使用截止到時刻te(te≤tn)的失效數(shù)據(jù)來估計模型me(t)的參數(shù)值.將參數(shù)估計值代入模型me(t)，從而獲得tn時刻的失效數(shù)預(yù)計值為me(tn).然后將預(yù)計值me(tn)與tn時刻的真實(shí)失效數(shù)mn進(jìn)行對比，即計算式(16)中的 RE值.取不同的te(te≤tn)值，重復(fù)上述過程，可獲得不同的RE值.將不同的RE值制成RE圖，可用來檢驗(yàn)?zāi)Ｐ偷念A(yù)計能力.RE圖中接近于橫軸的點(diǎn)越多，模型預(yù)計能力越好.

5)實(shí)例驗(yàn)證選擇2組真實(shí)失效數(shù)據(jù)集，Ohba［41］與Wood［42］，用于估計對比模型的參數(shù)值并計算模型的擬合結(jié)果.這2組數(shù)據(jù)集均是用于軟件可靠性模型擬合性能比較的經(jīng)典范例［43］.需要說明的是，這2組數(shù)據(jù)集均包含測試時間(t)，測試工作量(W)以及探測的缺陷數(shù)(m)信息.本實(shí)例將Wood數(shù)據(jù)集中的測試工作量數(shù)據(jù)縮小100倍，這樣做的目的是為了提高模型參數(shù)的估計質(zhì)量，這種縮放處理不會對模型擬合性能對比結(jié)果產(chǎn)生影響［6］.

3.2 實(shí)例計算結(jié)果與分析

表2中列出23個模型在2組失效數(shù)據(jù)集上的參數(shù)估計值和模型擬合結(jié)果.其中，加粗?jǐn)?shù)字表示在該列評價準(zhǔn)則上的最佳計算結(jié)果.

3.2.1 Ohba數(shù)據(jù)集上的擬合結(jié)果分析

1)在Ohba數(shù)據(jù)集上，模型IS-TEFID2的擬合結(jié)果為最優(yōu)(MSE值最小，為69.47;R值最接近于1，為0.993)，顯著好于其他模型.2)擬合結(jié)果最好的5 個模型依次為:IS-TEFID2，PNZ1，SEWE-TEF，SEWE-TEFID以及GGO.3)圖1描述了上述5個擬合結(jié)果最優(yōu)模型對Ohba數(shù)據(jù)集中每個失效數(shù)據(jù)的擬合值(m(ti))與實(shí)際觀測值(mi)的對比情形.4)值得注意的是，本文提出的IS-TEFID1的擬合結(jié)果雖然比較不錯(MSE值為 107.05，R值為 0.990)，但卻明顯不如IS-TEFID2等5個最優(yōu)模型.5)對于Ohba數(shù)據(jù)集，表2中的幾個不完美排錯模型的缺陷引入率β都接近于0但卻不等于0(例如ISTEFID2的β值為0.003 624).這表明Ohba數(shù)據(jù)集的缺陷排除過程不是完美的.因此，在可靠性建模時，應(yīng)當(dāng)盡量考慮不完美排錯這一因素.

圖1 Ohba數(shù)據(jù)集上各對比模型的擬合結(jié)果Fig.1 The actual data and fitting results for Ohba

3.2.2 Ohba數(shù)據(jù)集上的預(yù)計結(jié)果分析

圖2中繪制了5個擬合結(jié)果最優(yōu)模型的預(yù)計RE圖.與其他模型相比，在Ohba數(shù)據(jù)集上，IS-TEFID2模型的RE曲線向橫軸(圖中橫線)接近的速度是最快的，也即表明IS-TEFID2模型在Ohba數(shù)據(jù)集上具有優(yōu)秀的預(yù)計結(jié)果.

圖2 Ohba數(shù)據(jù)集上的模型RE圖Fig.2 The RE figure for Ohba

3.2.3 Wood數(shù)據(jù)集上的擬合結(jié)果及分析

1)在Wood數(shù)據(jù)集上，IS-TEFID2的擬合結(jié)果依然為最優(yōu)(MSE值最小，為7.62;R值最接近于1，為0.991).

2)擬合結(jié)果最好的5個模型依次為:IS-TEFID2，IS，PNZ1，IS-TEFID1 與 GGO.

3)圖3描述了上述5個擬合結(jié)果最優(yōu)模型對Wood數(shù)據(jù)集中每個失效數(shù)據(jù)的擬合值(m(ti))與實(shí)際觀測值(mi)的對比情形.

4)IS-TEFID1對于Wood數(shù)據(jù)集的擬合結(jié)果表現(xiàn)非常不錯(MSE 值為 9.64，R 值為0.988)，但依然較IS-TEFID2的擬合結(jié)果差.

5)對于Wood數(shù)據(jù)集，表2中的幾個不完美排錯模型的缺陷引入率β也都接近于0但卻不等于0(例如IS-TEFID2的β值為0.019 1).這表明Wood數(shù)據(jù)集的缺陷排除過程也不是完美的，對其進(jìn)行可靠性建模時應(yīng)當(dāng)盡量考慮不完美排錯這一因素.

圖3 Wood數(shù)據(jù)集上各對比模型的擬合結(jié)果Fig.3 The actual data and fitting results for Wood

3.2.4 Wood數(shù)據(jù)集上的預(yù)計結(jié)果分析

圖4中繪制了5個擬合結(jié)果最優(yōu)模型的預(yù)計RE圖.由圖4可看出，在Wood數(shù)據(jù)集上，本文提出的IS-TEFID2模型的RE曲線向橫軸(圖中橫線)接近的速度依然是最快的.也即表明IS-TEFID2模型在Wood數(shù)據(jù)集上也具有最為優(yōu)秀的預(yù)計結(jié)果.

圖4 Wood數(shù)據(jù)集上的模型RE圖Fig.4 The RE figure for Wood

3.2.5 基于上述結(jié)果的分析

1)IS-TEFID2模型在2組失效數(shù)據(jù)集上的擬合與預(yù)計結(jié)果均是最優(yōu)秀的.2)與IS-TEFID2相比，IS-TEFID1的擬合與預(yù)計性能稍差.這表明在這兩組數(shù)據(jù)集上，第2種不完美排錯形式較第1種不完美排錯形式可能更合理.3)IS-TEFID2中所考慮的不完美排錯假設(shè)與變形S型TEF可更精確描述不完美排錯與測試工作量對軟件可靠性的影響效果.

4 結(jié)束語

本文首先提出一種新的變形S型測試工作量函數(shù)，在此基礎(chǔ)上分別提出考慮變形S型測試工作量函數(shù)與2種不完美排錯假設(shè)的指數(shù)型NHPP類軟件可靠性模型(即IS-TEFID1與IS-TEFID2).實(shí)例計算結(jié)果表明:本文提出的IS-TEFID2模型的擬合與預(yù)計性能均顯著優(yōu)于其他對比模型.本文的研究成果推進(jìn)了考慮測試工作量函數(shù)的軟件可靠性建模理論研究的進(jìn)展，同時其對于提升現(xiàn)有模型在工程實(shí)踐中的擬合與預(yù)計精度也具有重要的意義.

［1］LYU M R.Handbook of software reliability engineering［M］.［s.l.］:McGraw Hill，1996:102-110.

［2］GOKHALE S S，LYU M R.A simulation approach to structure-based software reliability analysis［J］.IEEE Trans on Software Engineering，2005，31(8):643-656.

［3］PHAM H.Software reliability［M］.Singapore:Springer-Verlag，2000:210-223.

［4］GANA A，HUANG S T.Statistical modeling applied to managing global 5ESS-2000 switch software development［J］.Bell Labs Technical Journal，1997，2(1):144-153.

［5］KRUGER G A.Validation and further application of software reliability growth models［J］.Hewlett-Packard Journal，1989，40(4):75-79.

［6］HUANG C Y，KUO S Y，LYU M R.An assessment of testing-effort dependent software reliability growth models［J］.IEEE Transactions on Reliability，2007，56(2):198-211.

［7］SHIBATA K，RINSAKA K，DOHI T.Metrics-based software reliability models using non-homogeneous Poisson processes［C］//Proc of the 17th IEEE International Symposium on Software Reliability Engineering(ISSRE).Washington DC:IEEE Computer Society，2006:52-61.

［8］CAI X，LYU M R.Software reliability modeling with test coverage experimentation and measurement with a fault-tolerant software project［C］//ISSRE2007.Washington DC:2007:17-26.

［9］謝景燕，安金霞，朱紀(jì)洪.考慮不完美排錯情況的NHPP類軟件可靠性增長模型［J］.軟件學(xué)報，2010，21(5):942-949.

XIE Jingyan，AN Jinxua，ZHU Jihong.NHPP software reliability growth model considering imperfect debugging［J］.Journal of Software，2010，21(5):942-949 .

［10］KUO S Y，HUANG C Y，LYU M R.Framework for modeling software reliability，using various testing-efforts and fault-detection rates［J］.IEEE Transactions on Reliability，2001，50(3):310-320.

［11］FENTON N E，NEIL M.A critique of software defect prediction models［J］.IEEE Transactions on Software Engineering，1999，25(5):675-689.

［12］HUANG C Y，KUOS Y.Analysis of incorporating logistic testing-effort function into software reliability modeling［J］.IEEE Transactions on Reliability，2002，51(3):261-270.

［13］MUSA J D，IANNINO A，OKUMOTO K.Software reliability， measurement， prediction and application［M］.America:McGraw Hill，1987:135-139.

［14］YAMADA S，HISHITANI J，OSAKI S.Software reliability growth model with Weibull testing effort:a model and application［J］.IEEE Transactions on Reliability，1993，42(1):100-106.

［15］AHMAD N，BOKHARI M U，QUADRI S M K，KHAN M G M.The exponentiated Weibull software reliability growth model with various testing-efforts and optimal release policy［J］.International Journal of Quality＆ Reliability Management，2008，25(2):211-235.

［16］QUADRI S M，AHMAD K，PEER M A，et al.NHPP process software reliability growth model with generalized exponential testing effort function［J］.RAU Journal of Research，2006，16(2):159-163.

［17］AHMAD N，KHAN M G M，QUADRI S M K，et al.Modeling and analysis of software reliability with Burr type X testing-effort and release-time determination［J］.Journal of Modeling in Management，2009，4(1):28-54.

［18］LIN C T，HUANG C Y.Enhancing and measuring the predictive capabilities of testing-effort dependent software reliability models［J］.The Journal of Systems and Software，2008，81:1025-1038.

［19］HUANG C Y.Cost-reliability-optimal release policy for software reliability models incorporating improvements in testing efficiency［J］.The Journal of Systems and Software，2005，77:139-155.

［20］HUANG C Y，LYU M R.Optimal release time for software systems considering cost，testing-effort，and test efficiency［J］.IEEE Transactions on Reliability，2005，54(4):583-591.

［21］BOKHARI M U，AHMAD N.Analysis of a software reliability growth models:the case of log-logistic test-effort function［C］//Proceedings of the 17th IASTED International Conference on Modeling and Simulation.Montreal，Canada，2006:540-545.

［22］CHATTERJEE S，MISRA R B，ALAM S S.Joint effect of test effort and learning factor on software reliability and optimal release policy［J］.International Journal of System Science，1997，28(4):391-396.

［23］AHMAD N，KHAN M G M，RAFI L S.A study of testingeffort dependent inflection S-shaped software reliability growth models with imperfect debugging［J］.International Journal of Quality＆ Reliability Management，2010，27(1):89-110.

［24］KAPUR P K，GOSWAMI D N，BARDHAN A，SINGH O.Flexible software reliability growth model with testing effort dependent learning process［J］.Applied Mathematical Modeling，2008，32:1298-1307.

［25］KAPUR P K，SHATNAWI O，AGGARWAL A G，RAVI K.Unified framework for developing testing effort dependent software reliability growth models［J］.WSEAS Transactions on Systems，2009，4(8):521-531.

［26］JHA P C，GUPTA D，YANG B.Optimal testing resource allocation during module testing considering cost，testing effort and reliability［J］.Computers＆ Industrial Engineering，2009，57:1122-1130.

［27］HUANG C Y.Performance analysis of software reliability growth models with testing-effort and change-point［J］.The Journal of Systems and Software，2005，76:181-194.

［28］KAPUR P K，GUPTA A，OMAR S.Testing effort control using flexible software reliability growth model with change point［J］.International Journal of Performability Engineering，2006，2(3):245-262.

［29］KAPUR P K，GROVER P S，YOUNES S.Modelling an imperfect debugging phenomenon with testing effort［C］//ISSRE1994.Washington DC，1994:178-183.

［30］LIN C T，HUANG C Y，CHANG J R.Integrating generalized Weibull-type testing-effortfunction and multiple change-points into software reliability growth models［C］//Proceedings of the 12th Asia-Pacific Software Engineering Conference.Washington DC，2005:431-438.

［31］CHANG Y C，LIU C T.A generalized JM model with applications to imperfect debugging in software reliability［J］.Applied Mathematical Modeling，2009，33:3578-3588.

［32］SHYUR H J.A stochastic software reliability model with imperfect-debugging and change-point［J］.The Journal of Systems and Software，2003，66:135-141.

［33］OHBA M.Inflection S-shaped software reliability growth models［M］//Stochastic Models in Reliability Theory.Berlin:Springer，1984:144-162.

［34］PHAM H，ZHANG Xuemei.NHPP software reliability and cost models with testing coverage［J］.European Journal of Operational Research，2003，145(2):445-454.

［35］PHAM H.An imperfect-debugging fault-detection dependent-parameter software［J］.International Journal of Automation and Computing，2007，4(4):325-328.

［36］PHAM H，NORDMANN L，ZHANG X.A general imperfect-software-debugging model with S-shaped fault-detection rate［J］.IEEE Transactions on reliability，1999，48(2):169-175.

［37］BARGHOUT M.Predicting software reliability using an imperfect debugging Jelinski Moranda non-homogeneous poisson process model［J］.Model Assisted Statistics and Applications，2010，5:31-41.

［38］XIE M，YANG B.A study of the effect of imperfect debugging on software development cost model［J］.IEEE Transaction on Software Engineering，2003，29(5):471-473.

［39］YAMADA S，TOKUNO K，OSAKI S.Imperfect debugging models with fault introduction rate for software reliability assessment［J］.International Journal of Systems Science，1992，23(12):2241-2252.

［40］MUSA J D，IANNINO A，OKUMOTO K.Software reliability measurement，prediction and application［M］.［s.l.］:McGraw Hill，1987:87-99.

［41］OHBA M.Software reliability analysis models［J］.IBM Journal of Research and Development，1984，28(4):428-443.

［42］WOOD A P.Predicting software reliability［J］.IEEE Computer，1996，30(1):69-77.

［43］HUANG C Y，LIN C T.Software reliability analysis by considering fault dependency and debugging time lag［J］.IEEE Transactions on Reliability，2006，55(3):436-450.