王金勇, 張 策, 米曉萍, 郭新峰, 李濟(jì)洪
1(山西大學(xué) 軟件學(xué)院,山西 太原 030006)
2(哈爾濱工業(yè)大學(xué)(威海) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東 威海 264209)
軟件測(cè)試和調(diào)試是一個(gè)復(fù)雜的過(guò)程,其中,測(cè)試者和調(diào)試者的能力和技術(shù)對(duì)軟件故障的檢測(cè)和排錯(cuò)有著重要影響.當(dāng)一個(gè)故障被檢測(cè)出來(lái)時(shí),調(diào)試人員需要用相關(guān)的知識(shí)去考慮怎樣完全去除和修復(fù)故障,而且不要引入新的故障.但是,調(diào)試過(guò)程會(huì)被許多因素影響,例如調(diào)試者的技術(shù)、調(diào)試用的工具、調(diào)試環(huán)境和調(diào)試人員在調(diào)試過(guò)程中的心理變化等.這些因素都會(huì)影響調(diào)試人員在去除故障時(shí)是否會(huì)引入新的故障.人們一般稱在軟件調(diào)試過(guò)程中,當(dāng)檢測(cè)出的故障被去除時(shí),引進(jìn)新的故障現(xiàn)象為不完美調(diào)試.
在過(guò)去的40年里,研究者對(duì)不完美調(diào)試現(xiàn)象進(jìn)行相關(guān)的研究,而且也提出了許多不完美調(diào)試的軟件可靠性增長(zhǎng)模型.由于不完美調(diào)試情況的復(fù)雜性,人們一般把不完美調(diào)試過(guò)程看做是具有不確定性的隨機(jī)過(guò)程.另外,在實(shí)際的軟件測(cè)試過(guò)程中,軟件檢測(cè)出故障的數(shù)量不一定和故障去除的故障數(shù)量相等,例如,去除一個(gè)已檢測(cè)出的故障可能會(huì)引入新的故障或者原來(lái)的故障沒有被完全去除.也就是說(shuō),在不完美調(diào)試過(guò)程中,故障總個(gè)數(shù)可能會(huì)增加.G-O[1]首先提出了不完美調(diào)試的概念,Obha等人[2]在 G-O模型的基礎(chǔ)上提出了故障引進(jìn)的不完美調(diào)試軟件可靠性模型.Kapur等人[3]提出了故障檢測(cè)率隨測(cè)試時(shí)間下降的不完美調(diào)試軟件可靠性增長(zhǎng)模型.Pham等人[4,5]通過(guò)考慮線性引進(jìn)故障現(xiàn)象和合并多失效類型的故障生成過(guò)程,提出了相應(yīng)的不完美調(diào)試的軟件可靠性模型.Zhang等人[6]和Kapur等人[7]分別就軟件調(diào)試過(guò)程中故障引進(jìn)的不同形式提出了相應(yīng)的軟件可靠性模型.另外,Kapur等人[8]通過(guò)研究故障檢測(cè)和故障去除之間的不同分布情況,提出了兩個(gè)一般的框架(framework),并得出了幾個(gè)具有NHPP類的不完美調(diào)試的軟件可靠性增長(zhǎng)模型.Wang等人[9-11]通過(guò)對(duì)故障引進(jìn)現(xiàn)象的研究,分別提出了故障引進(jìn)非線性變化和故障引進(jìn)了先增后減的不完美調(diào)試的軟件可靠性增長(zhǎng)模型.另外,王金勇等人[12]還提出了在軟件測(cè)試過(guò)程中,故障引進(jìn)率不規(guī)則變化的完美調(diào)試的軟件可靠性增長(zhǎng)模型.謝景燕等人[13]通過(guò)對(duì)不完美調(diào)試過(guò)程中引進(jìn)故障和不完全去除故障的研究,提出了故障排錯(cuò)率隨測(cè)試時(shí)間變化的不完美調(diào)試的軟件可靠性模型.
雖然上面提到的關(guān)于不完美調(diào)試軟件可靠性模型在實(shí)際測(cè)試過(guò)程中能夠有效地評(píng)估軟件可靠性和預(yù)測(cè)軟件中存在的剩余故障的數(shù)量,但是沒有哪一種模型能夠應(yīng)用到軟件測(cè)試的所有環(huán)境下[14].因此,還需要對(duì)軟件調(diào)試過(guò)程中故障引進(jìn)現(xiàn)象進(jìn)行深入研究.實(shí)際上,故障引進(jìn)不但可能是線性[4]、指數(shù)分布[15,16]或者與故障排錯(cuò)的數(shù)量成正比[7],而且還可能是更復(fù)雜的變化,可能受到調(diào)試過(guò)程中的環(huán)境、工具以及調(diào)試者的能力和技術(shù)等影響.因此,故障引進(jìn)在軟件調(diào)試過(guò)程中是一個(gè)需要重點(diǎn)考慮的因素.
在本文中,我們用Weibull分布來(lái)模型化故障引進(jìn)過(guò)程.Weibull分布有許多優(yōu)點(diǎn):第1,與指數(shù)分布具有無(wú)記憶性相比,它具有記憶性;第2,它可以模型化多種故障數(shù)據(jù)集,例如模型化左傾(left-skewed)、右傾(right-skewed)或者對(duì)稱數(shù)據(jù)(symmetric data);第3,當(dāng)形狀參數(shù)變化時(shí),它可以有不同的形狀;第4,它可以模型化故障引進(jìn)強(qiáng)度函數(shù)隨時(shí)間的變化,例如故障引進(jìn)的強(qiáng)調(diào)函數(shù)隨時(shí)間具有先增后減的變化或者下降的變化等.因此,考慮在實(shí)際的軟件調(diào)試過(guò)程中,用Weibull分布來(lái)模型化故障引進(jìn)隨測(cè)試時(shí)間變化的過(guò)程,是一種有效的和可行的方法.
另外,用Weibull分布來(lái)模型化故障引進(jìn)現(xiàn)象,與其他方法相比還有其他優(yōu)勢(shì).例如,用Weibull分布模型化故障引進(jìn)的現(xiàn)象,可以考慮故障引進(jìn)率隨測(cè)試時(shí)間先增后減和逐漸減少的變化趨勢(shì).但是其他一般只能模型化故障引進(jìn)的一種變化.因此,用其他方法建立的軟件可靠性模型對(duì)軟件測(cè)試和調(diào)試的環(huán)境適應(yīng)性具有一定的限制.而用Weibull模型化故障引進(jìn)過(guò)程建立的軟件可靠性模型則能更好地適應(yīng)軟件測(cè)試和調(diào)試的復(fù)雜變化.本文中的實(shí)驗(yàn)結(jié)果也證明了提出的模型和其他不完美調(diào)試的軟件可靠性模型相比,具有更準(zhǔn)確的故障擬合和故障預(yù)測(cè)性能,而且提出的模型能更好地適應(yīng)不同軟件測(cè)試和調(diào)試環(huán)境下.
· NHPP:非齊次泊松過(guò)程;
· SRGM:軟件可靠性增長(zhǎng)模型;
· MLE:最大似然估計(jì);
· MVF:均值函數(shù);
· SSE:誤差平方和;
· AIC:Akaike 信息標(biāo)注.
·a:期望引進(jìn)故障的總數(shù)量;
·b:故障檢測(cè)率;
·c:故障檢測(cè)率的上邊界;
·d:形狀參數(shù);
·p:故障去除效率;
·α:率參數(shù);
·β:拐點(diǎn)因子;
·r:常量故障檢測(cè)率;
·α1:比例參數(shù);
·β1:形狀參數(shù);
·n:實(shí)際觀測(cè)到的故障數(shù)量;
·C:期望檢測(cè)出最初故障總數(shù)量;
·N(t):隨機(jī)變量,即,表示到t時(shí)刻為止,檢測(cè)出故障的數(shù)量;
·a(t):故障內(nèi)容(總數(shù))函數(shù);
·b(t):故障檢測(cè)率函數(shù);
·oti:表示到ti時(shí)刻為止,實(shí)際觀測(cè)到故障的數(shù)量;
·m(ti):均值函數(shù),表示到ti時(shí)刻為止,期望檢測(cè)出故障的數(shù)量.
Weibull分布是一個(gè)連續(xù)的概率分布,以瑞典工程師、數(shù)學(xué)家Waloddi Weibull的名字命名.
(1) Weibull 概率密度函數(shù)可以表示為
其中,f(x;λ,k)是概率密度函數(shù),x是隨機(jī)變量,λ是比例參數(shù),k是形狀參數(shù).
Weibull概率密度函數(shù)有下列特點(diǎn).
① 當(dāng)k<1時(shí),Weibull概率密度函數(shù)曲線在隨機(jī)變量x逐漸增加時(shí),有急劇下降的趨勢(shì);
② 當(dāng)k=1時(shí),Weibull概率密度函數(shù)曲線在隨機(jī)變量x逐漸增加時(shí),有逐漸緩慢下降的趨勢(shì);
③ 當(dāng)k>1時(shí),Weibull概率密度函數(shù)曲線在隨機(jī)變量x逐漸增加時(shí),有先增后降的趨勢(shì).
從圖1能夠清晰地看到這種變化.考慮到Weibull概率密度函數(shù)的這些特點(diǎn),可以用來(lái)模擬故障引進(jìn)率先增后減和逐漸下降的過(guò)程.
(2) Weibull累計(jì)分布函數(shù)可以表示為
其中,F(x;λ,k)為Weibull累計(jì)分布函數(shù).
Weibull累計(jì)分布函數(shù)有下列特點(diǎn).
① 當(dāng)k=1時(shí),它為指數(shù)分布(exponential distribution);
② 當(dāng)k=2,λ= 2λ時(shí),它為瑞利分布(rayleigh distribution).
從圖 2能夠清晰地看到 Weibull累計(jì)分布函數(shù)在隨機(jī)變量x逐漸增加時(shí)發(fā)生的相應(yīng)變化.考慮到 Weibull累計(jì)分布函數(shù)的特點(diǎn),因此可以用來(lái)模擬故障引進(jìn)過(guò)程.
為了簡(jiǎn)化已建立不完美調(diào)試軟件可靠性增長(zhǎng)模型的復(fù)雜性,一般都是假設(shè)軟件調(diào)試過(guò)程中,故障引入率或者為常數(shù),或者故障引入服從指數(shù)分布.但在實(shí)際軟件調(diào)試中,故障引入率有可能不為常數(shù),故障引入可能會(huì)受到許多因素的影響,例如調(diào)試者的技術(shù)和調(diào)試的環(huán)境等.軟件測(cè)試是一個(gè)復(fù)雜的過(guò)程,受到很多外部或內(nèi)部的因素的影響,不可能建立一種模型把所有的故障引入的因素都考慮進(jìn)去.因此,綜合考慮故障引入的變化,在實(shí)際的軟件調(diào)試過(guò)程中更有一定的實(shí)際意義.
另一方面,Weibull分布有許多優(yōu)點(diǎn),例如可以模擬多種其他分布函數(shù)形狀,通過(guò)Weibull參數(shù)的變化,有效地表示實(shí)際軟件調(diào)試過(guò)程中故障引入的復(fù)雜變化.所以,用Weibull分布函數(shù)來(lái)建立不完美調(diào)試條件下的軟件可靠性模型還是有一定的實(shí)際意義.并且隨著人們對(duì)軟件可靠性建模的不斷深入了解和認(rèn)識(shí),綜合考慮故障引入條件,并通過(guò)Weibull分布函數(shù)來(lái)建立相應(yīng)的不完美軟件可靠性模型,則更符合軟件可靠性調(diào)試的實(shí)際情況.
在實(shí)際軟件調(diào)試過(guò)程中,故障引入會(huì)發(fā)生復(fù)雜變化,考慮用其他分布函數(shù)來(lái)模擬故障引入的情況,不能完全反映故障引入的隨機(jī)變化.雖然有的不完美調(diào)試軟件可靠性增長(zhǎng)模型考慮了指數(shù)分布的故障引入情況,但是由于指數(shù)分布具有無(wú)記憶性,即P(s+t/t)=P(t),和發(fā)生的時(shí)間s無(wú)關(guān).這一性質(zhì)對(duì)于故障引入情況來(lái)說(shuō),是不符合故障引入的實(shí)際變化.也就是說(shuō),在實(shí)際的調(diào)試過(guò)程中,故障引入發(fā)生的概率會(huì)隨著測(cè)試時(shí)間逐漸變小,而不會(huì)與以前的故障引入發(fā)生概率相等.由于Weibull分布函數(shù)沒有無(wú)記憶性的性質(zhì),因此,用Weibull分布函數(shù)來(lái)模擬故障引入的過(guò)程會(huì)更有效地反映實(shí)際的軟件調(diào)試過(guò)程中故障引入情況.另外,它還可以模擬故障引進(jìn)率隨測(cè)試時(shí)間下降、不變和先增后減的變化.
因此,考慮用Weibull分布來(lái)模擬故障引進(jìn)過(guò)程是可行、合理的.本文的實(shí)驗(yàn)結(jié)果也證明:用Weibull分布來(lái)模擬故障引進(jìn)隨測(cè)試時(shí)間變化的情況,是建立高質(zhì)量的軟件可靠性增長(zhǎng)模型最好的方法之一.
從以上的分析可以得出,故障引進(jìn)情況可以用Weibull分布函數(shù)來(lái)表示.因此,故障內(nèi)容(總數(shù))函數(shù)可以被表示為
其中,a表示最終期望引進(jìn)故障的總數(shù)量,F(t)是故障引進(jìn)的分布函數(shù),C是最初期望的軟件內(nèi)存在的故障數(shù)量,a(t)是故障內(nèi)容(總數(shù))函數(shù).
故障引進(jìn)強(qiáng)度函數(shù)可以表示為
假設(shè)故障內(nèi)容(總數(shù))函數(shù)服從Weibull分布,即故障內(nèi)容(總數(shù))函數(shù)a(t)與故障引進(jìn)強(qiáng)度函數(shù)可分別表示為
其中,α為率參數(shù),d為形狀參數(shù).
考慮到故障引進(jìn)過(guò)程主要是考察故障引進(jìn)率隨測(cè)試時(shí)間發(fā)生變化的情況,因此,故障引進(jìn)強(qiáng)度函數(shù)可以改寫為以下形式:
其中,h(t)表示故障引進(jìn)率函數(shù);[a+C-a(t)]表示到t時(shí)刻為止,期望剩余故障引進(jìn)故障的數(shù)量.
在公式(7)中,[a+C-a(t)]是一個(gè)隨時(shí)間增長(zhǎng)而非增長(zhǎng)的函數(shù).因此,故障引進(jìn)強(qiáng)度函數(shù)的變化趨勢(shì)是由故障引進(jìn)率的變化決定的.例如在公式(8)中:當(dāng)d=1時(shí),公式(7)意味著在(t,t+Δt)時(shí)間內(nèi)引進(jìn)故障的數(shù)量和剩余故障引進(jìn)故障的數(shù)量成正比,即故障引進(jìn)率為常數(shù);當(dāng)d<1時(shí),故障引進(jìn)率函數(shù)h(t)隨測(cè)試時(shí)間逐漸下降;當(dāng)d>1時(shí),故障引進(jìn)率函數(shù)h(t)隨測(cè)試時(shí)間有逐漸增加的變化趨勢(shì).
提出模型的假設(shè)條件如下.
① 軟件失效和故障去除過(guò)程遵循非齊次泊松過(guò)程(NHPP);
② 軟件失效發(fā)生是隨機(jī)發(fā)生的,發(fā)生的原因是由軟件中剩余故障造成的;
③ 每次檢測(cè)到一個(gè)軟件故障,立即被去除,并且可能引進(jìn)新的故障;
④ 故障內(nèi)容(總數(shù))函數(shù)服從Weibull分布.
從上面的假設(shè)可以看出,假設(shè)③和假設(shè)④捕獲了在軟件調(diào)試過(guò)程中,故障引進(jìn)過(guò)程所表現(xiàn)出的變化.
一般來(lái)說(shuō),基于 NHPP的模型都是假設(shè)軟件失效是隨機(jī)發(fā)生的,在(t,t+Δt)時(shí)間內(nèi),期望軟件發(fā)生失效的數(shù)量和期望軟件剩余故障發(fā)生的數(shù)量成正比[17].這意味著軟件故障檢測(cè)率為常量,它可以用以下微分方程來(lái)表示:
其中,m(t)表示均值函數(shù),b(t)表示故障檢測(cè)率,a(t)表示故障內(nèi)容(總數(shù))函數(shù).
基于假設(shè)③和假設(shè)④,故障內(nèi)容(總數(shù))函數(shù)可以表示為
這里的a為期望最終引進(jìn)故障的總的數(shù)量,α為率參數(shù),d為形狀參數(shù),C為期望最初軟件中存在的故障的數(shù)量.當(dāng)t=0,a(0)=C;當(dāng)t→∞,a(∞)=a+C.公式(10)兩邊求導(dǎo),得:
從公式(11)可以得到:
① 當(dāng)d≤1時(shí),故障引進(jìn)隨測(cè)試時(shí)間逐漸減少;
② 當(dāng)d>1時(shí),故障引進(jìn)隨測(cè)試時(shí)間有先增后減的變化.
因此,從公式(11)可以得出,故障引進(jìn)隨測(cè)試時(shí)間發(fā)生變化的情況.
當(dāng)b(t)=b,把公式(10)帶入公式(9)可得到:
因?yàn)楣?12)是一個(gè)復(fù)雜的微分方程,可以得到近似解為
當(dāng)k=5時(shí):
公式(13)就是提出的模型的表達(dá)式,公式(14)是所用到的提出模型的表達(dá)式.從公式(13)和公式(14)可以得到:當(dāng)t=0,m(0)=0;當(dāng)t→∞,m(∞)=a+C.
公式(15)兩邊積分得:
當(dāng)b(t)=b和a(t)=a[1-exp(-αtd)]+C,公式(18)可以轉(zhuǎn)換成以下形式:
因?yàn)辂溈藙诹止綖?/p>
所以可以用公式(20)簡(jiǎn)化公式(19),可得:
其中,C1為一個(gè)常數(shù).當(dāng)t=0,m(0)=0時(shí),把它代入公式(24),可得:
取k=5時(shí),公式(25)可得:
為了充分、有效地評(píng)估提出模型的擬合和預(yù)測(cè)性能,本節(jié)給出模型比較標(biāo)準(zhǔn)和模型參數(shù)的估計(jì)方法.我們還用兩個(gè)故障數(shù)據(jù)集進(jìn)行相應(yīng)的仿真實(shí)驗(yàn)和模型的置信區(qū)間分析.表1列出了在本文中進(jìn)行比較的所有模型.
Table 1 Summary of some SRGMs and their m(t)表1 軟件可靠性增長(zhǎng)模型和m(t)
除了以前使用過(guò)的AIC[12]模型評(píng)價(jià)標(biāo)準(zhǔn)外,在這里還給出了其他模型比較評(píng)價(jià)標(biāo)準(zhǔn).
(1) 誤差平方和
其中,n表示故障數(shù)據(jù)集的樣本大小.SSE值越小,說(shuō)明模型的性能越好.
(2) Bias評(píng)價(jià)標(biāo)準(zhǔn)
Bias表示實(shí)際觀察到故障值和估計(jì)的故障值之差的絕對(duì)值之和的平均數(shù),它的定義可以表示為
其中,m(ti)表示到ti時(shí)刻為止,期望估計(jì)檢測(cè)出故障的數(shù)量;oti表示實(shí)際觀察到故障發(fā)生的數(shù)量;n為故障數(shù)據(jù)集樣本大小.Bias值越小,說(shuō)明模型的性能越好.
(3) Variance評(píng)價(jià)標(biāo)準(zhǔn)
Variance表示估計(jì)偏差的標(biāo)準(zhǔn)差[21],它可以表示為
Variance值越小,說(shuō)明模型的性能越好.
(4) RMSPE(root mean square prediction error)評(píng)價(jià)標(biāo)準(zhǔn)
RMSPE表示模型預(yù)測(cè)出故障發(fā)生數(shù)量偏差性[21],它可以定義為
RMSPE值越小,說(shuō)明模型的性能越好.
第 1組故障數(shù)據(jù)集來(lái)自文獻(xiàn)[22],總共用時(shí) 22天,86個(gè)軟件故障被檢測(cè)出來(lái).第 2組故障數(shù)據(jù)集來(lái)自文獻(xiàn)[23],它是一個(gè)支持航空飛行器(space shuttle flights)的軟件系統(tǒng),測(cè)試用時(shí)38周,231個(gè)軟件故障被檢測(cè)出來(lái);另外,這個(gè)故障數(shù)據(jù)集包括重要故障(critical errors)、主要故障(major errors)和次要故障(minor errors).第3組故障數(shù)據(jù)集和第4組故障數(shù)據(jù)集是Musa[24]收集和整理的,這兩個(gè)故障數(shù)據(jù)集是實(shí)際測(cè)試(real-world)中得到的,它們的系統(tǒng)代碼分別為4和27,被研究者廣泛用于新建的軟件可靠性模型性能評(píng)測(cè)中.第3組故障數(shù)據(jù)集包括測(cè)試用時(shí)72天,54個(gè)故障被檢測(cè)出來(lái).第4組故障數(shù)據(jù)集包括測(cè)試用時(shí)79天,41個(gè)故障被檢測(cè)出來(lái).
為了充分地驗(yàn)證和評(píng)估提出模型的擬合和預(yù)測(cè)能力,我們把故障數(shù)據(jù)集 1和故障數(shù)據(jù)集 2劃分為 63%和80%的子故障數(shù)據(jù)集.也就是說(shuō),分別用63%和80%的故障數(shù)據(jù)集來(lái)擬合和估計(jì)模型的參數(shù),剩余37%和20%的故障數(shù)據(jù)集用來(lái)預(yù)測(cè)和評(píng)估模型的性能.另外,我們把故障數(shù)據(jù)集3和故障數(shù)據(jù)集4劃分為60%和80%的子故障數(shù)據(jù)集.即,分別用60%和80%的故障數(shù)據(jù)集來(lái)擬合和估計(jì)模型的參數(shù),剩余40%和20%的故障數(shù)據(jù)集用來(lái)預(yù)測(cè)和評(píng)估模型的性能.
本文用的參數(shù)估計(jì)方法是用最大似然估計(jì)方法,它可以表示為
為了方便計(jì)算,兩邊取對(duì)數(shù)為通過(guò)對(duì)l取導(dǎo)數(shù),聯(lián)立解方程組,則提出模型的參數(shù)(a,b,d,α和C)可以被估計(jì)出來(lái)(a*,b*,d*,α*和C*):
1) 數(shù)據(jù)集1(DS1)
從表2可以看到,在用63%的故障數(shù)據(jù)集時(shí),與其他模型相比,我們能看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是124.0;其次是DSS模型,為241.6;最差是P-Z模型,為851.6;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict值最小,僅為 3.5;其次為 DSS模型,為 5.5;最差為 ISS模型和P-Z模型,為10.1;
· 有關(guān)Variancepredict的值方面,提出模型的Variancepredict的值最小,為 5.1;其次為 G-O模型、Yamada不完美調(diào)試模型-1、Yamada不完美調(diào)試模型-2、Zhang-Teng Pham模型、Kapur模型-1和Kapur模型-2,都是6.5;最差為ISS模型和P-Z模型,都為21.7;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為6.2;其次為G-O模型、Yamada不完美調(diào)試模型-1、Yamada不完美調(diào)試模型-2、Zhang-Teng Pham模型、Kapur模型-1和kapur模型-2,都為8.9;最差是ISS模型和P-Z模型,都為23.9;
· 有關(guān)AIC值方面,提出模型的AIC值也是最小,僅為76.1;其次為DSS模型,是76.2;最差是Zhang-Teng Pham模型,為93.1.雖然DSS模型擬合得很好,它的AIC值和提出模型的AIC值很接近,但是DSS模型的SSEpredict,Biaspredict,Variancpredicte和RMSPEpredict的值卻遠(yuǎn)大于提出模型相應(yīng)的值.因此,提出的模型在同其他的軟件可靠性模型相比,有更好的故障擬合效果和預(yù)測(cè)能力.
Table 2 Comparison results of different SRGMs for the first data set (63% of DS1)表2 第1組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(63%故障數(shù)據(jù))
圖3(a)給出了提出模型使用故障數(shù)據(jù)集 1的63%進(jìn)行故障擬合和預(yù)測(cè)的95%的置信區(qū)間,我們也能看出:提出的模型很好地?cái)M合故障數(shù)據(jù),并準(zhǔn)確地預(yù)測(cè)了在實(shí)際的軟件測(cè)試當(dāng)中,軟件故障發(fā)生的數(shù)量.另外,在圖3(a)中,實(shí)際觀察到的故障數(shù)量較好地落在提出模型的 95%上下界中.同時(shí)我們也能看到,提出模型有很好的擬合效果和準(zhǔn)確的軟件故障預(yù)測(cè)行為.
圖3(b)給出了提出模型使用故障數(shù)據(jù)集1的80%進(jìn)行故障擬合和預(yù)測(cè)的95%的置信區(qū)間,我們也能看出:提出的模型很好地?cái)M合故障數(shù)據(jù),并精準(zhǔn)地預(yù)測(cè)在實(shí)際的軟件測(cè)試當(dāng)中,軟件故障發(fā)生的數(shù)量.另外,在圖 3(b)中,實(shí)際觀察到的故障數(shù)量很好地落在提出模型的 95%上下界中.同時(shí)我們也能看到,提出模型有很好的擬合效果和精確地預(yù)測(cè)軟件故障發(fā)生.
從圖3(a)和圖 3(b)可以看出:提出的模型不論是用63%的故障數(shù)據(jù),還是用80%的故障數(shù)據(jù)時(shí),都能很好地?cái)M合軟件故障數(shù)據(jù)和準(zhǔn)確地預(yù)測(cè)軟件故障發(fā)生.因此,可以合理地得出,提出的模型有很好的擬合能力和軟件故障預(yù)測(cè)能力.
圖3(c)給出了提出模型使用故障數(shù)據(jù)集 2的63%進(jìn)行故障擬合和預(yù)測(cè)的95%的置信區(qū)間,我們能看到:提出的模型很好地?cái)M合故障數(shù)據(jù),并較好地預(yù)測(cè)軟件發(fā)生故障的行為.另外,在圖3(c)中,實(shí)際觀察到的故障數(shù)量很好地落在提出模型的 95%上下界中.同時(shí)我們也能看到,提出模型有很好的擬合效果和準(zhǔn)確地預(yù)測(cè)軟件故障發(fā)生行為.
圖3(d)給出提出模型使用故障數(shù)據(jù)集2的80%進(jìn)行故障擬合和預(yù)測(cè)的95%的置信區(qū)間,我們也能看到:提出的模型很好地?cái)M合故障數(shù)據(jù),并精確地預(yù)測(cè)軟件故障發(fā)生的數(shù)量.另外,在圖3(d)中,實(shí)際觀察到的故障數(shù)量很好地落在提出模型的 95%上下界中.同時(shí)我們也能看到,提出模型有很好的擬合效果和精確地預(yù)測(cè)軟件故障發(fā)生數(shù)量.
從圖3(c)和圖 3(d)可以看出:提出的模型不論是用63%的故障數(shù)據(jù),還是用80%的故障數(shù)據(jù)時(shí),提出的模型很好地?cái)M合故障數(shù)據(jù),并且準(zhǔn)確地預(yù)測(cè)軟件發(fā)生故障的行為.因此,在軟件故障擬合和軟件故障預(yù)測(cè)方面,提出的模型都有很好性能.
從表3可以看到,在用80%的故障數(shù)據(jù)集時(shí),與其他模型相比,我們能看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是 2.9;其次是 DSS模型,為 3.6;最差是G-O模型、Yamada不完美調(diào)試模型-1和Kapur模型-1,為49.5;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict的值最小,僅為0.8;其次為DSS模型和Pham Zhang IFD模型,為0.9;最差為G-O模型、Yamada不完美調(diào)試模型-1和Kapur模型-1模型,為2.9;
· 有關(guān)Variancepredict的值方面,提出模型的Variancepredict的值最小,為1.7;其次為DSS模型,是2.0;最差為ISS模型、P-N-Z模型和P-Z模型,都為5.4;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為1.9;其次為DSS模型,為2.1;最差是ISS模型和P-Z模型,都為5.9;
· 有關(guān)AIC值方面,提出模型的AIC值也是最小,僅為95.7;其次為DSS模型,是96.2;最差是Zhang-Teng
Pham模型,為115.1.雖然DSS模型擬合得很好,它的AIC值和提出模型的AIC值很接近,但是DSS模型的SSEpredict,Biaspredict,Variancepredict和RMSPEpredict的值卻大于提出模型相應(yīng)的值.因此,提出的模型在同其他的軟件可靠性模型相比,有更好的故障擬合能力和預(yù)測(cè)軟件發(fā)生故障的能力.
Table 3 Comparison results of different SRGMs for the first data set (80% of DS1)表3 第1組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(80%故障數(shù)據(jù))
2) 數(shù)據(jù)集2(DS2)
從表4可以看到,在用63%的故障數(shù)據(jù)集時(shí),與其他軟件可靠性模型相比,我們能看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是848.6;其次是Kapur模型-1,為1328.5;最差是Yamada不完美調(diào)試模型-1,為38647.3;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict的值最小,僅為7.2;其次為G-O模型、ISS模型、P-Z模型、Zhang-Teng Pham模型、kapur模型-1和kapur模型-2,都為9.0;最差為Yamada不完美調(diào)試模型-1,為45.7;
· 有關(guān)Variancepredict的值方面,提出模型的Variancepredict的值最小,為4.1;Zhang-Teng Pham模型也為4.1;其次為G-O模型、ISS模型、Yamada不完美調(diào)試模型-2、P-Z模型、Kapur模型-1和Kapur模型-2,都是4.3;最差為DSS模型和Pham Zhang IFD模型,都為31.5;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為8.4;其次為Zhang-Teng Pham,為9.9;最差是Yamada不完美調(diào)試模型-1,為53.0;
· 有關(guān)AIC值方面,提出模型的AIC值也是最小,僅為116.9;其次為Yamada不完美調(diào)試模型-1,是117.1;最差是Pham Zhang IFD模型,為175.1.雖然Yamada不完美調(diào)試模型-1擬合得很好,它的AIC值和提出模型的 AIC值很接近,但是 Yamada不完美調(diào)試模型-1的SSEpredict,Biaspredict,Variancpredicte和RMSPEpredict的值卻遠(yuǎn)遠(yuǎn)大于提出模型相應(yīng)的值.因此,提出的模型與其他的軟件可靠性模型相比,有更好的擬合故障數(shù)據(jù)的能力和更準(zhǔn)確地預(yù)測(cè)軟件中發(fā)生故障的數(shù)量的能力.
Table 4 Comparison results of different SRGMs for the second data set (63% of DS2)表4 第2組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(63%故障數(shù)據(jù))
從表5可以看到,在用80%的故障數(shù)據(jù)集時(shí),與其他模型相比,我們能看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是 220.8;其次是Kapur模型-2,為364.0;最差是DSS模型和Pham Zhang IFD模型,為2091.2;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict的值最小,僅為 4.3;同時(shí),G-O模型、ISS模型、Yamada不完美調(diào)試模型-1、Yamada不完美調(diào)試模型-2、P-Z模型、Zhang Teng Pham模型、Kapur模型-1和Kapur模型-2都是4.3;其次為P-N-Z模型,為6.9;最差為DSS模型和Pham Zhang IFD模型,為12.2;
· 有關(guān)Variancepredict的值方面,提出模型的Variancepredict的值最小,為7.3;其次為P-N-Z模型,是7.5;最差為DSS模型和Pham Zhang IFD模型,都為28.4;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為 8.5;P-N-Z模型也為 8.5;其次為Kapur模型-2,為10.8;最差是DSS模型和Pham Zhang IFD模型,都為30.9;
· 有關(guān) AIC值方面,提出模型的 AIC值也是最小,僅為 145.3;其次為Yamada不完美調(diào)試模型-2,是 147;最差是Pham Zhang IFD模型,為208.1.雖然Yamada不完美調(diào)試模型-2擬合得很好,它的AIC值和提出模型的 AIC值很接近,但是 Yamada不完美調(diào)試模型-2的SSEpredict,Biaspredict,Variancpredicte和RMSPEpredict的值卻大于提出模型相應(yīng)的值.因此,提出的模型在與其他的軟件可靠性模型相比,故障擬合能力和預(yù)測(cè)軟件發(fā)生故障的能力都要好于其他軟件可靠性模型.
3) 數(shù)據(jù)集3(DS3)
從表6可以看到,在用60%的故障數(shù)據(jù)集時(shí),同其他軟件可靠性模型相比,我們能看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是351.37;其次是P-N-Z模型,為419.85;最差是Kapur模型-1,為 65503;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict的值最小,僅為 3.0;其次為 P-N-Z 模型,為 9.0;最差為Kapur模型-2,為 129.67;
· 有關(guān)Variancepredict的值方面,提出模型的Variancepredict的值最小,為4.66;其次為P-N-Z模型,為4.73;最差為Kapur模型-1,為98.36;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為5.54;其次為P-N-Z模型,都為5.72;最差是Kapur模型-2,都為129.89;
· 有關(guān) AIC值方面,提出模型的 AIC值也是最小,僅為 148.11;其次為 G-O模型,是 149.41;最差是 Pham Zhang IFD模型,為160.5.
Table 5 Comparison results of different SRGMs for the second data set (80% of DS2)表5 第2組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(80%故障數(shù)據(jù))
Table 6 Comparison results of different SRGMs for the third data set (60% of DS3)表6 第3組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(60%故障數(shù)據(jù))
從表7可以看到,在用80%的故障數(shù)據(jù)集時(shí),同其他模型相比,我們能看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是6.7;其次是Pham Zhang IFD模型,為17.44;最差是Kapur模型-1為3943.9;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict的值最小,僅為0.61;其次為Pham Zhang IFD模型,為0.94;最差為Kapur模型-1,為16.57;
· 有關(guān)Variancepredict的值方面,提出模型和Pham Zhang IFD模型的Variancepredict的值都是0.84,為最小;其次為DSS模型,是1.14;最差為Kapur模型-1,為2.80;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為1.04;其次為Pham Zhang IFD模型,為1.26;最差是Kapur模型-1為16.8;
· 有關(guān)AIC值方面,提出模型的AIC值也是最小,僅為188.67;其次為G-O模型,是190.01;最差是DSS模型,為 198.61.
Table 7 Comparison results of different SRGMs for the third data set (80% of DS3)表7 第3組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(80%故障數(shù)據(jù))
圖 4(a)和圖 4(b)給出提出模型使用故障數(shù)據(jù)集 3的 60%和 80%進(jìn)行故障擬合和預(yù)測(cè)的 95%的置信區(qū)間,我們能看到:估計(jì)的故障數(shù)量很好地落在 95%的置信區(qū)間內(nèi),而且提出的模型很好地?cái)M合故障數(shù)據(jù),并很好地預(yù)測(cè)軟件發(fā)生故障的行為.
4) 數(shù)據(jù)集4(DS4)
從表8可以看到,在用60%的故障數(shù)據(jù)集時(shí),同其他軟件可靠性模型相比,我們能看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是 322.1;其次是 Yamada不完美調(diào)試模型-2,為1181.5;最差是Kapur模型-1,為2878.6;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict的值最小,僅為2.74;其次為 Yamada不完美調(diào)試模型-2,為4.63;最差為Kapur模型-1,為29.57;
· 有關(guān)Variancepredict的值方面,提出模型的Variancepredict的值最小,為1.67;其次是Yamada不完美調(diào)試模型-2,為 10.02;最差為 Kapur模型-1,為 60.29;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為3.21;其次為Yamada不完美調(diào)試模型-2,是11.04;最差是Kapur模型-1為67.15;
· 有關(guān)AIC值方面,提出模型的AIC值也是最小,僅為 101.76;其次為G-O模型,是 102.58;最差是Pham Zhang IFD模型,為131.24.提出的模型在與其他軟件可靠性模型相比,有更好的故障擬合和預(yù)測(cè)性能.
Table 8 Comparison results of different SRGMs for the fourth data set (60% of DS4)表8 第4組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(60%故障數(shù)據(jù))
從表9可以看到,在用80%的故障數(shù)據(jù)集時(shí),與其他模型相比,我們能夠看到:
· 有關(guān)SSEpredict的值方面,提出模型的SSEpredict的值最小,是 59.42;其次是 Yamada不完美調(diào)試模型-1,為335.56;最差是Yamada不完美調(diào)試模型-2,為16269;
· 有關(guān)Biaspredict的值方面,提出模型的Biaspredict的值最小,僅為1.71;其次為 Yamada不完美調(diào)試模型-1,為4.37;最差為Yamada不完美調(diào)試模型-2,為31.08;
· 有關(guān)Variancepredict的值方面,提出模型的Variancepredict的值最小,為3.45;其次為Yamada不完美調(diào)試模型-2,是7.37;最差為Pham Zhang IFD模型,為13.72;
· 有關(guān)RMSPEpredict的值方面,提出模型的RMSPEpredict的值最小,僅為3.85;其次為Yamada不完美調(diào)試模型-1,為10.11;最差是Yamada不完美調(diào)試模型-2,都為31.94;
· 有關(guān) AIC 值方面,提出模型的 AIC值也是最小,僅為 124.98;其次為 Yamada不完美調(diào)試模型-2,是128.07;最差是Pham Zhang IFD模型,為166.81.提出的模型在同其他的軟件可靠性模型相比,故障擬合能力和預(yù)測(cè)軟件發(fā)生故障的能力都要好于其他軟件可靠性模型.
Table 9 Comparison results of different SRGMs for the fourth data set (80% of DS4)表9 第4組數(shù)據(jù)集上不同軟件可靠增長(zhǎng)模型的比較結(jié)果(80%故障數(shù)據(jù))
從圖4(c)和圖 4(d)可以看出:提出的模型不論是用60%的故障數(shù)據(jù),還是用80%的故障數(shù)據(jù)時(shí),估計(jì)的故障數(shù)據(jù)都很好地位于 95%的置信區(qū)間內(nèi);另外,提出的模型也很好地?cái)M合故障數(shù)據(jù),并且準(zhǔn)確地預(yù)測(cè)軟件發(fā)生故障的行為.因此,無(wú)論是在軟件故障擬合還是在軟件故障預(yù)測(cè)方面,提出的模型都有很好的性能.
從以上的實(shí)驗(yàn)結(jié)果可以看到,提出的模型性能明顯優(yōu)于其他模型,包括完美調(diào)試模型和不完美調(diào)試模型.
提出的模型優(yōu)于其他模型的機(jī)理分析如下.
① 考慮故障引進(jìn)的情況,是提出的模型性能優(yōu)于完美調(diào)試模型性能重要原因之一.
例如,完美調(diào)試模型包括G-O模型、DSS模型和ISS模型.由于軟件測(cè)試和調(diào)試的復(fù)雜性,例如有客觀因素——測(cè)試環(huán)境的多樣性和軟件編寫的復(fù)雜性,有主觀因素——測(cè)試者或調(diào)試者的技術(shù)以及心理因素等,故障引入很大程度上是由于軟件復(fù)雜性造成的(客觀因素),以及調(diào)試者對(duì)軟件復(fù)雜性沒有深刻認(rèn)識(shí)(主觀因素),另外也與調(diào)試者的技術(shù)也有一定關(guān)系(主觀因素).當(dāng)軟件發(fā)布日期臨近時(shí),調(diào)試者的心理也會(huì)產(chǎn)生巨大壓力,調(diào)試者的心理也會(huì)發(fā)生巨大變化(主觀因素),在這種壓力下,當(dāng)檢測(cè)出的故障被去除時(shí),很可能引進(jìn)新的故障.考慮故障被完全去除,而沒有引進(jìn)故障的假設(shè)是完全不符合實(shí)際的故障被去除的情況.因此,用完美去除故障的假設(shè)來(lái)建立軟件可靠性模型在與我們提出的不完美調(diào)試模型進(jìn)行性能比較時(shí),考慮故障引進(jìn)的情況,是提出模型的性能優(yōu)于完美調(diào)試模型性能重要原因之一.
② 考慮故障引進(jìn)多種變化的情況,是提出模型性能優(yōu)于其他不完美調(diào)試模型性能的重要原因.
例如,其他不完美調(diào)試模型包括Yamada不完美調(diào)試模型-1、Yamada不完美調(diào)試模型-2、P-N-Z模型、P-Z模型、Zhang-Teng Pham模型、Pham Zhang IFD模型、Kapur模型-1和Kapur模型-2,由于故障引進(jìn)的復(fù)雜性,故障引進(jìn)率可能表現(xiàn)為隨著測(cè)試時(shí)間逐漸下降,或者故障引進(jìn)率隨測(cè)試時(shí)間表現(xiàn)為先增后減的變化,或者故障引進(jìn)隨測(cè)試時(shí)間無(wú)規(guī)律變化等.其他不完美軟件調(diào)試模型只考慮故障引進(jìn)率的一種變化,不是為常數(shù)就是隨測(cè)試時(shí)間下降,完全沒有考慮到故障引進(jìn)的其他變化.而我們提出的模型可以考慮故障引進(jìn)率為多種變化,既可以為隨測(cè)試時(shí)間下降,還可以隨測(cè)試時(shí)間有先增后減的變化.因此,提出的模型更能適應(yīng)復(fù)雜的測(cè)試和調(diào)試的情況,有更強(qiáng)的魯棒性和穩(wěn)定性,不易受到故障數(shù)據(jù)集噪音的干擾.而其他的不完美調(diào)試模型則受限于故障引進(jìn)率的單一變化,在某些情況下會(huì)表現(xiàn)的很不穩(wěn)定,適應(yīng)性和魯棒性也會(huì)很差.因此,考慮故障引進(jìn)多種變化的情況,是提出模型性能優(yōu)于其他不完美調(diào)試模型性能的重要原因.
③ 考慮故障引率非線性變化,是提出模型性能優(yōu)于其他不完美調(diào)試模型性能的另一個(gè)重要原因.
為建模方便,Zhang-Teng Pham模型、Pham Zhang IFD模型、Kapur模型-1和Kapur模型-2假設(shè)故障引進(jìn)率為常量;Yamada不完美調(diào)試模型-2和P-N-Z模型也假設(shè)故障引進(jìn)率為常量,并且故障內(nèi)容函數(shù)(故障總個(gè)數(shù))隨測(cè)試時(shí)間線性變化.由于故障引進(jìn)的復(fù)雜性,故障引進(jìn)率極有可能表現(xiàn)為非線性變化,而不是線性變化或者常量.而我們提出的模型正是假設(shè)故障引進(jìn)服從 Weibull分布,故障引進(jìn)率隨測(cè)試時(shí)間表現(xiàn)為非線性變化.雖然Yamada不完美調(diào)試模型-1和P-Z模型的故障引進(jìn)率都隨測(cè)試時(shí)間表現(xiàn)為非線性變化,但是由于Yamada不完美調(diào)試模型-1是假設(shè)故障引進(jìn)率隨測(cè)試時(shí)間逐漸增長(zhǎng),這種情況與實(shí)際調(diào)試情況不符.因?yàn)樵谲浖y(cè)試過(guò)程中,引進(jìn)的故障會(huì)越來(lái)越少,所以故障引進(jìn)率不會(huì)隨測(cè)試時(shí)間逐漸增長(zhǎng).另外,P-Z模型假設(shè)故障引進(jìn)服從指數(shù)分布,但是由于我們提出模型假設(shè)故障引進(jìn)服從Weibull分布包含指數(shù)分布的特殊情況,所以我們提出的模型能更好地適應(yīng)軟件測(cè)試和調(diào)試情況,提出模型的性能也會(huì)好于Yamada不完美調(diào)試模型-1和P-Z模型的性能.
綜上所述,提出的模型優(yōu)于其他模型的原因?yàn)?一是提出的模型考慮故障引進(jìn)的情況,更符合實(shí)際的軟件測(cè)試和調(diào)試過(guò)程;二是假設(shè)故障引進(jìn)服從Weibull分布,能夠包括更多在軟件測(cè)試和調(diào)試過(guò)程中故障引進(jìn)率變化情況;三是假設(shè)故障引進(jìn)率非線性變化更符合故障引進(jìn)隨測(cè)試復(fù)雜變化的情況.
一般來(lái)說(shuō),模型的參數(shù)比較多時(shí),需要進(jìn)行模型的參數(shù)敏感性分析[25].主要目的是考察哪些參數(shù)對(duì)模型的評(píng)估效果和預(yù)測(cè)有重要影響,也就是考察一下模型的魯棒性(robust).而具體使用的方法就是改變模型的某個(gè)參數(shù)值,模型其他參數(shù)則保持不變.圖5(a)~圖5(e)顯示出提出模型的參數(shù)a,b,α,d和C的敏感性分析的情況.
從圖5(a)、圖5(b)和圖5(e)中可以清晰地看到,提出模型期望估計(jì)的累計(jì)檢測(cè)出的故障數(shù)量隨著期望最終引進(jìn)故障的數(shù)量a、故障檢測(cè)率b和期望最初存在軟件中的故障數(shù)量C的變化而大幅度地發(fā)生變化.因此,提出模型的參數(shù)a,b和C都是有影響的參數(shù).
本文介紹Weibull分布的相關(guān)概念和表示方法,然后分析在軟件調(diào)試過(guò)程中,故障引進(jìn)服從Weibull分布的原因.在此基礎(chǔ)上,用Weibull分布進(jìn)行故障引進(jìn)過(guò)程的相應(yīng)模擬,并提出一個(gè)基于Weibull分布引進(jìn)故障的軟件可靠性增長(zhǎng)模型,同時(shí)給出相應(yīng)的模型推導(dǎo)過(guò)程.為了驗(yàn)證提出模型的擬合故障數(shù)據(jù)和預(yù)測(cè)軟件中故障發(fā)生數(shù)量的能力,本文給出了相應(yīng)的故障數(shù)據(jù)集和有關(guān)的模型性能比較標(biāo)準(zhǔn),并對(duì)提出的模型用最大似然估計(jì)法進(jìn)行相應(yīng)的模型參數(shù)估計(jì).實(shí)驗(yàn)結(jié)果表明:提出的模型在與多種軟件可靠性增長(zhǎng)模型(包括完美調(diào)試軟件可靠性增長(zhǎng)模型和不完美調(diào)試軟件可靠性增長(zhǎng)模型)比較后,有更好的故障擬合效果和更準(zhǔn)確地預(yù)測(cè)軟件故障發(fā)生數(shù)量的能力.為了考察提出模型的參數(shù)變化對(duì)軟件可靠性評(píng)估和軟件故障預(yù)測(cè)的影響程度,我們也給出相應(yīng)的參數(shù)敏感性分析.參數(shù)敏感性分析實(shí)驗(yàn)的結(jié)果表明,提出模型的參數(shù)a,b和C都是有影響的參數(shù).
考慮到實(shí)際測(cè)試過(guò)程中檢測(cè)到的故障不是被立即和完美地去除,而是在檢測(cè)和去除故障之間會(huì)存在時(shí)間延遲,在去除故障時(shí)可能引進(jìn)新的故障,因此,未來(lái)的研究將在本文研究的基礎(chǔ)上,就故障排錯(cuò)延遲問(wèn)題進(jìn)行深入研究.
致謝在此,我們感謝審稿專家對(duì)本文提出的寶貴建議.