張 策，孟凡超2，崔 剛，劉宏偉，官紅玉2

（1.哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，150001哈爾濱；2.哈爾濱工業(yè)大學(xué)（威海）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，264209山東威海）

SRGM中TE建模機(jī)制與模型比較分析

張 策1，2，孟凡超2，崔 剛1，劉宏偉1，官紅玉2

（1.哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，150001哈爾濱；2.哈爾濱工業(yè)大學(xué)（威海）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，264209山東威海）

針對(duì)當(dāng)前與軟件可靠性增長(zhǎng)模型SRGM（software reliability growth model）緊密相關(guān)的測(cè)試工作量TE（testing effort）的研究現(xiàn)狀，以及全面評(píng)價(jià)測(cè)試工作量函數(shù)TEFs（testing effort function）性能的需要，對(duì)SRGM下TE相關(guān)的建模與模型比較問題進(jìn)行深入研究.分析了近40年的TE發(fā)展歷程與內(nèi)容演變，對(duì)其與測(cè)試成本間關(guān)聯(lián)進(jìn)行剖析；對(duì)典型的TEFs進(jìn)行了全面梳理與述評(píng)；研究了考慮TE的SRGM建模過程；針對(duì)8個(gè)典型的TEFs，在已發(fā)表的4組數(shù)據(jù)集上進(jìn)行了深入的性能比較與評(píng)述.研究結(jié)果表明，有效的TEF可為基于SRGM的可靠性相關(guān)研究提供重要決策支持，對(duì)考慮TE 的SRGM進(jìn)行綜合評(píng)價(jià)是后續(xù)研究的關(guān)鍵.

軟件可靠性；測(cè)試工作量；測(cè)試工作量函數(shù)；軟件可靠性增長(zhǎng)模型；成本

軟件測(cè)試中，在測(cè)試工作量 TE（testing effort）的不斷消耗下，故障不斷被檢測(cè)和排除掉，總故障數(shù)量a（t）保持下降趨勢(shì)，使得軟件可靠性R（t）獲得增長(zhǎng).TE的消耗代表著測(cè)試成本的支出，而軟件測(cè)試通常受制于有限的預(yù)算限制；同時(shí)，TE的消耗進(jìn)度也應(yīng)該受到有效的控制.以可靠性為目標(biāo)之一的測(cè)試過程應(yīng)被合理的管控，低效與冗余的測(cè)試可能導(dǎo)致額外的成本開銷［1］，對(duì)成本管控和最優(yōu)發(fā)布時(shí)間決策帶來隱患.TE對(duì)以軟件可靠性增長(zhǎng)模型 SRGM（software reliability growth model）為基礎(chǔ)的可靠性工程相關(guān)研究形成了重要支撐.

本文對(duì)TE的建模過程，考慮TE的SRGM建模，以及現(xiàn)有的測(cè)試工作量函數(shù)TEF（testing effortfunction）評(píng)價(jià)進(jìn)行了綜合研究與評(píng)述.首先給出了有關(guān)概念，對(duì)TE的發(fā)展歷程與研究?jī)?nèi)涵進(jìn)行分析，并對(duì)當(dāng)前TEFs進(jìn)行了全面梳理；然后對(duì)考慮TE的SRGM建模機(jī)制進(jìn)行剖析；最后在4個(gè)已發(fā)表的數(shù)據(jù)集上對(duì)8個(gè)典型的TEFs進(jìn)行了全面比較.

1 定義與相關(guān)背景

1.1 相關(guān)定義

定義1 測(cè)試工作量TE［2-4］用以描述軟件測(cè)試過程中所消耗的資源，可表示為測(cè)試中所花費(fèi)的測(cè)試案例與分析數(shù)據(jù)的數(shù)量、CPU時(shí)間、時(shí)鐘時(shí)間、日歷時(shí)間數(shù)或者人力費(fèi)等.

定義2 測(cè)試工作量函數(shù)TEF是采用數(shù)學(xué)表達(dá)式的形式對(duì)測(cè)試過程中TE的消耗進(jìn)行描述的數(shù)學(xué)工具.

定義3 軟件可靠性增長(zhǎng)模型SRGM［5-6］是在軟件開發(fā)的測(cè)試階段與操作運(yùn)行階段，基于失效數(shù)據(jù)，描述軟件測(cè)試過程中累積檢測(cè)或修復(fù)的故障數(shù)量，TE與測(cè)試時(shí)間等的數(shù)學(xué)關(guān)系，是實(shí)現(xiàn)建模軟件可靠性提高過程的數(shù)學(xué)工具.

1.2 TE發(fā)展歷程變遷

與TE緊密相關(guān)的研究最早可追溯到文獻(xiàn)［7］，近40年來科研人員對(duì)TE的研究伴隨著SRGM的廣泛應(yīng)用得到了足夠重視，圖1給出了TE的發(fā)展歷程及研究?jī)?nèi)容的演變.可以看出，自20世紀(jì)90年代后期始，TE與SRGM開始融合，并在以可靠性為核心的研究中占有重要地位.

圖1 TE發(fā)展歷程與研究?jī)?nèi)容演變

與SRGM相關(guān)的基于TE的研究主要包括: 1）考慮TE進(jìn)行SRGM的建模，提高模型的有效性；2）進(jìn)行TE的分配與管控，實(shí)現(xiàn)測(cè)試過程中對(duì)以可靠性為核心的指標(biāo)調(diào)整；3）建立成本模型，在“成本+可靠性”的綜合統(tǒng)籌下，實(shí)現(xiàn)軟件的預(yù)期發(fā)布.

1.3 討論：TE與測(cè)試成本的區(qū)別與關(guān)系

在TE與測(cè)試成本的關(guān)系上，二者緊密相關(guān)但存有明顯區(qū)別:TE的本質(zhì)是如其定義中所述的測(cè)試資源；測(cè)試成本指測(cè)試過程中所花費(fèi)的總成本C（T）.雖有文獻(xiàn)［8-9］認(rèn)為TE就是測(cè)試成本，但顯然是片面的，因?yàn)橹皇侨寇浖y(cè)試成本中包含了TE花銷的成本而已［10］.例如，測(cè)試成本在文獻(xiàn)［1，5］中被采用

2 TEFs類別與討論

軟件測(cè)試中，TE被不斷消耗的過程表示了失效被如何有效地檢測(cè)到［11］.TEF能被用來描述測(cè)試過程中的工作剖面，是對(duì)（測(cè)試）資源消耗的一種定量描述，存在多種形式.

2.1 Yamada Exponential、Yamada Rayleigh與Yamada Weibull型TEF：基于微分方程法

顯然，式（2）與式（3）是式（4）的一種特殊情況.

2.2 Exponential Weibull型TEF

在文獻(xiàn)［13］的基礎(chǔ)上，文獻(xiàn)［14-15］提出了一般化的EW TE（Exponentiated Weibull:指數(shù)威布爾型）對(duì)軟件失效行為進(jìn)行預(yù)測(cè)，并認(rèn)為EW TEF在評(píng)估可靠性過程中表現(xiàn)優(yōu)異，有較強(qiáng)的適應(yīng)性與柔韌性.

式中:β為比例調(diào)節(jié)參數(shù)，δ、θ分別為形狀參數(shù).對(duì)此3個(gè)參數(shù)進(jìn)行討論，得到表1中結(jié)果.

表1 EW TEF特定條件下演化結(jié)果

2.3 泛Logistic型TEF

作為Rayleigh TEF的替代，Logistic TEF最早由Parr［16］于 1980年提出，后被廣泛研究.文獻(xiàn)［17］認(rèn)為Weibull類型的TEF當(dāng)δ＞3時(shí)會(huì)出現(xiàn)所謂的“峰現(xiàn)象”，并不符合實(shí)際軟件測(cè)試，據(jù)此文獻(xiàn)［1，3，5，10，17-18］提出了Logistic TEF、一般化的Logistic TEF和更一般化的Logistic TEF，分別為

此外，在文獻(xiàn)［19］中提出Log-Logistic TEF為

整體而言，由于Logistic TEF具有S型的變化趨勢(shì)，可描述多種TE消耗情形，得到了廣泛應(yīng)用.

2.4 討論：TEFs必要說明

現(xiàn)有TEF模型在數(shù)學(xué)表達(dá)式上存在很大差異，因而其在不同的數(shù)據(jù)集的表現(xiàn)上一定會(huì)存在較大不同.

3 考慮TEF的SRGM建模研究

在SRGM的相關(guān)研究中，對(duì)TE的研究均是借助TEF來進(jìn)行的，主要涵蓋SRGM建模、TE管控和最優(yōu)發(fā)布3個(gè)方面上，且前者是后兩者研究的基礎(chǔ).TE為3個(gè)問題的研究提供了必要的支撐，使得所建立的SRGM更加考慮到實(shí)際測(cè)試因素，對(duì)TE的管控更為高效，最優(yōu)發(fā)布具備決策參考支持，并最終為獲得預(yù)期的可靠性目標(biāo)提供重要保障.在文獻(xiàn)［6］中，已對(duì)TE分配與調(diào)控和最優(yōu)發(fā)布策略進(jìn)行分析，這里從略.

3.1 考慮TEF的SRGM基本建模方法

測(cè)試階段軟件可靠性與故障檢測(cè)與修復(fù)所花費(fèi)的TE緊密相關(guān)［11］，通常所建立的SRGM中直接包含有TEF.例如，典型的考慮TE到SRGM中的建模方法如下［1-3，5，10-11，15，17-18，21-25］:式中:m（t）為［0，t］內(nèi)累計(jì)檢測(cè)到的故障數(shù)量，a為軟件中的總故障個(gè)數(shù).該微分方程建立的假設(shè)基礎(chǔ)為:［0，t］內(nèi)累計(jì)檢測(cè)到的故障數(shù)量與當(dāng)前剩余的故障數(shù)量下所花費(fèi)的TE時(shí)的故障檢測(cè)率r（t）成比例.

3.2 討論：不完美排錯(cuò)下的建模

由于測(cè)試環(huán)境中隨機(jī)因素的影響，考慮TEF 的SRGM應(yīng)向不完美排錯(cuò)研究［12，25］的趨勢(shì)轉(zhuǎn)變，將更多的實(shí)際因素融入進(jìn)來.為此，文獻(xiàn)［20，26］給出了更加一般化且具有較強(qiáng)柔韌性的框架模型，支持不完美排錯(cuò)與TE的綜合考量為式中:a（t）、c（t）分別為［0，t］內(nèi)軟件中總的故障數(shù)量和累計(jì)修復(fù)的故障數(shù)量；h（t）、p（t）分別為故障引入比例函數(shù)和故障改正比例函數(shù).式（10）描述了更多的測(cè)試細(xì)節(jié)，可以演變?yōu)槎鄠€(gè)現(xiàn)有的模型；同時(shí)，在現(xiàn)有研究的基礎(chǔ)上給出了改進(jìn)的初值不為零的Logistic TEF為

基于此所獲得的SRGM在性能上優(yōu)于其他模型［20］.

由于TEF的引入，測(cè)試過程中可以借助調(diào)整TE的方式來影響m（t），使得測(cè)試中的可靠性能向預(yù)期增長(zhǎng)（測(cè)試階段的可靠性）為

相比于傳統(tǒng)SRGM，考慮TEF的SRGM表現(xiàn)得更為優(yōu)秀，這可以被解釋為TEF的偏差在它的基本概念中已經(jīng)考慮到了人力因素和不確定性.

軟件發(fā)布不僅要考慮到可靠性要求，成本因素也至關(guān)重要［18］，“成本+可靠性”綜合標(biāo)準(zhǔn)［15］已成為最優(yōu)發(fā)布的統(tǒng)籌考慮.

4 TEF性能驗(yàn)證與分析

4.1 性能評(píng)價(jià)標(biāo)準(zhǔn)與數(shù)據(jù)集選擇

在對(duì)模型與真實(shí)數(shù)據(jù)的擬合評(píng)價(jià)上，MSE，MEOP，Variation，RMS-PE，TS和BMMRE常被用來作為度量的選擇，這些數(shù)值越小表明擬合效果越好，R-square越接近于1越好；RE被作為模型對(duì)未來數(shù)據(jù)預(yù)測(cè)的評(píng)價(jià)標(biāo)準(zhǔn)，RE越趨近于0表明預(yù)測(cè)效果越好.式中:K為數(shù)據(jù)樣本數(shù)量大??；p為參數(shù)個(gè)數(shù)；Wi為到ti時(shí)實(shí)際觀測(cè)到的數(shù)據(jù)；W（ti）為到ti時(shí)利用模型得到的估算值.

4.2 參與比較的TEFs

這里，本文選取典型的8個(gè)TEFs模型用于比較，如表3所示，并依次編號(hào)為①～⑧.其中③～⑤為由⑥中的模型演化而來.

4.3 TEF性能差異化比較

首先，對(duì)表3中的TEFs在DS1～DS4上進(jìn)行參數(shù)擬合，并畫出了TEFs在4組數(shù)據(jù)集上的實(shí)際TE消耗曲線與W（t）之間的擬合情況，如圖2所示.

1）在DS1、DS2和DS4上8個(gè)TEFs與實(shí)際的TE消耗情況擬合的較好，而且W（t）曲線基本呈現(xiàn)出通過原點(diǎn)的斜率為k的直線態(tài)勢(shì).例如，從圖2的4幅圖中均可以看出，W（t）= W 1-e-φt（）的曲線接近于通過原點(diǎn)的線性形狀.造成這種現(xiàn)象的原因以及斜率k的近似計(jì)算可解釋為:對(duì)于這些數(shù)據(jù)集其估計(jì)得到的參數(shù)值非常的?。ɡ?，DS1中，=0.000 590 895 2）.此時(shí)，可以得到，因而呈現(xiàn)線性關(guān)系，其斜率為k=Wφ.

表2 TE數(shù)據(jù)集遴選—真正的實(shí)際應(yīng)用案例

表3 參與比較的TEFs

圖2 TEF在4組數(shù)據(jù)集上的擬合曲線

2）在DS3上，TEFs的擬合差別比較明顯，其中②、③和④出現(xiàn)了較大的偏差，其余模型擬合效果較好.這主要是由于DS3中實(shí)際的TE數(shù)據(jù)與②、③和④模型函數(shù)的本質(zhì)差距較大造成的.

為了進(jìn)一步區(qū)分TEFs在數(shù)據(jù)集上的擬合差異，本文計(jì)算了具體的比較標(biāo)準(zhǔn)值，結(jié)果如表4所示.

為了清晰地顯示出TEFs在4組數(shù)據(jù)集上不同標(biāo)準(zhǔn)上的差異，表4中每個(gè)數(shù)據(jù)集上，性能值最優(yōu)的采用*的形式標(biāo)出，其次采用雙下劃線的形式標(biāo)出，再次采用單下劃線的形式標(biāo)出.由表4可以明顯看出:

1）8個(gè)TEFs在4組數(shù)據(jù)集上的比較結(jié)果中，第⑧個(gè)TEF模型（變形Logistic型）的結(jié)果值是最優(yōu)的:其在28（4*7）個(gè)性能值中有26個(gè)數(shù)值是最優(yōu)的，且另外2個(gè)是次優(yōu)的.

2）其次是第⑥個(gè)TEF模型（一般指數(shù)型），其有17個(gè)在剩余7個(gè)TEF模型的比較標(biāo)準(zhǔn)中最優(yōu)，另有7個(gè)標(biāo)準(zhǔn)是次優(yōu)的.

3）再次是第⑤個(gè)TEF模型（Yamada Weibull型），在除了第⑧個(gè)模型外剩余的6個(gè)模型的比較標(biāo)準(zhǔn)中，有19個(gè)是最優(yōu)的.

因而，本文可以充分地認(rèn)為，第⑧個(gè)TEF個(gè)可以最好的描述多種情況的TE消耗，這可以解釋為變形Logistic型具有先增后降的S型變化趨勢(shì)，符合多數(shù)測(cè)試工作量的實(shí)際消耗情況.

接下來，本文畫出了TEFs在4個(gè)數(shù)據(jù)集上的預(yù)測(cè)曲線RE，結(jié)果如圖3所示.從圖3中可看出: 在DS1上，各個(gè)模型的預(yù)測(cè)差異較大，其中｛④、②、①｝預(yù)測(cè)性能不理想，逐漸下降，其余模型效果較好；在DS3上，8個(gè)模型的預(yù)測(cè)差異最大，其中偏離中心值最大的依次是｛③、④、⑦、①、②｝，其余的相對(duì)較好，但⑧表現(xiàn)得并不優(yōu)秀，⑥最優(yōu)秀；在DS2上，各個(gè)模型的預(yù)測(cè)差異整體較小，除較差的｛③、①、②、④｝性能依次降低外，其余4個(gè)模型預(yù)測(cè)效果較好；在DS4上，從表現(xiàn)上，可以分為4組，其性能依次降低為｛⑥、⑧｝、｛①、②、④｝、｛⑦、⑤｝及｛③｝.

此外，在圖3中還需指出:1）有些模型的RE曲線會(huì)出現(xiàn)很高的“突起”，例如，圖3（a）（DS1）與圖3（c）（DS3）中.這主要是由于實(shí)際的TE數(shù)據(jù)集中有變動(dòng)點(diǎn)CP（change-point）而造成的，例如測(cè)試環(huán)境的改變就會(huì)引發(fā)CP的出現(xiàn)，使得CP前后數(shù)據(jù)值差距較大，從而引起“突起”現(xiàn)象；2）絕大部分模型在前2/3左右的時(shí)間內(nèi)其預(yù)測(cè)性能一般，之后逐漸趨向良好.這主要是由于模型中參數(shù)較多，只有當(dāng)數(shù)據(jù)集增長(zhǎng)到一定規(guī)模時(shí)，才能使模型中的參數(shù)逐漸獲得接近于最終擬合值的良好效果.

4.4 TEF性能差異化分析

綜合上述實(shí)驗(yàn)與分析，從8個(gè)TEFs在4組數(shù)據(jù)集上的度量與預(yù)測(cè)效果比較的結(jié)果可得到如下結(jié)論:

1）TEF對(duì)測(cè)試數(shù)據(jù)集的依賴非常強(qiáng).由于不同數(shù)據(jù)集在數(shù)據(jù)收集方式等上的差異，使得8個(gè)TEFs在有些數(shù)據(jù)集上表現(xiàn)較好，相反在另外一些數(shù)據(jù)集上表現(xiàn)一般，差異較大.例如，在DS3上8 個(gè)TEFs的擬合偏差較大；在DS1，DS2和DS4上各個(gè)模型的擬合差異比較小.

圖3 TEFs在4組數(shù)據(jù)集上的RE曲線比較

2）從擬合與預(yù)測(cè)的整體效果來看，⑧、⑥、⑤模型的綜合性能表現(xiàn)得最優(yōu).其余模型中有的擬合效果較好，但其 RE預(yù)測(cè)曲線并不理想；或反之.

3）基于上述分析，從現(xiàn)有可得的包含TE的失效數(shù)據(jù)集DS1～DS4可以看出，除⑧、⑥、⑤模型外（僅限在此4組數(shù)據(jù)集上，還需更多數(shù)據(jù)集實(shí)例去驗(yàn)證），并不存在一個(gè)最優(yōu)的TEF能夠?qū)y(cè)試資源的消耗進(jìn)行精準(zhǔn)的管控（度量與預(yù)測(cè)）.因此，在實(shí)際應(yīng)用中，要應(yīng)該依據(jù)數(shù)據(jù)集上的差異，合理選擇TEF進(jìn)行應(yīng)用.

4）實(shí)際應(yīng)用中，可以采用“測(cè)試數(shù)據(jù)轉(zhuǎn)換”的方法，這能夠從現(xiàn)有數(shù)據(jù)集上獲得較多的測(cè)試數(shù)據(jù).例如，一個(gè)較為簡(jiǎn)單的做法是，將現(xiàn)有的以周為單位的測(cè)試數(shù)據(jù)轉(zhuǎn)換為以若干小時(shí)為單位，這樣數(shù)據(jù)集的規(guī)模會(huì)增大，能夠緩解“小數(shù)據(jù)集”帶來的不便.

5 結(jié) 論

1）TE表征了測(cè)試過程中消耗的資源，與SRGM的建模結(jié)合促進(jìn)了TE在成本與可靠性工程研究中的重要地位.

2）選擇與提出合理的TEF可對(duì)測(cè)試資源進(jìn)行有效管控，可改善基于SRGM所獲取的可靠性相關(guān)指標(biāo)特征，從而為建立準(zhǔn)確的成本模型與進(jìn)行最優(yōu)發(fā)布提供決策支持.

3）從對(duì)測(cè)試資源的描述能力來評(píng)價(jià)TEF過于單一，現(xiàn)有測(cè)試的目的已經(jīng)從傳統(tǒng)的排除故障轉(zhuǎn)化到不斷提高可靠性為目標(biāo)，因?yàn)檐浖l(fā)布的主要標(biāo)準(zhǔn)之一是其可靠性達(dá)到預(yù)期.為此，后續(xù)研究中，應(yīng)對(duì)涵蓋TEF的SRGM整體性能進(jìn)行更為綜合的驗(yàn)證與評(píng)價(jià).

［1］HUANG C Y，LYU M R.Optimal release time for software systems considering cost，testing-effort，and test efficiency［J］.IEEE Transactions on Reliability，2005，54（4）:583-591.

［2］JHA P C，GUPTA D，YANG B，et al.Optimal testing resource allocation during module testing considering cost，testing effort and reliability［J］.Computers& Industrial Engineering，2009，57（3）:1122-1130.

［3］HUANG C Y，LYU M R.Optimal testing resource allocation， and sensitivity analysis in software development［J］.IEEE Transactions on Reliability，2005，54（4）:592-603.

［4］OHTERA H，YAMADA S.Optimal allocation and control problems for software-testing resources［J］.IEEE Transactions on Reliability，1990，39（2）:171-176.

［5］HUANG C Y.Cost-reliability-optimal release policy for software reliability models incorporating improvements in testing efficiency［J］.Journal of Systems and Software，2005，77（2）:139-155.

［6］張策，崔剛，劉宏偉，等.軟件測(cè)試資源與成本管控和最優(yōu)發(fā)布策略［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2014，46（5）:51-58.

［7］BOEHM B W.Software Engineering Economics［M］.New Jersey:Prentice Hall PTR，Upper Saddle River，1981.

［8］GOKHALE S S，LYU M R，Trivedi K S.Incorporating faultdebugging activities into software reliability models:a simulation approach［J］.IEEE Transactions on Reliability，2006，55（2）:281-292.

［9］BEMAN O，CUTLER M.Resource allocation during tests for optimally reliable software［J］.Computers& Operations Research，2004，31（11）:1847-1865.

［10］HUANG C Y，LO J H.Optimal resource allocation for cost and reliability of modular software systems in the testing phase［J］.Journal of Systems and Software，2006，79（5）:653-664.

［11］AHMAD N，KHAN M G M，RAFI L S.A study of testing-effort dependent inflection S-shaped software reliability growth models with imperfect debugging［J］.International Journal of Quality & Reliability Management，2010，27（1）:89-110.

［12］KAPUR P K，GOSWAMI D N，BARDHAN A，et al.Flexible software reliability growth model with testing effortdependent learning process［J］.Applied Mathematical Modelling，2008，32（7）:1298-1307.

［13］YAMADA S，OHTERA H，NARIHISA H.Software reliability growth models with testing-effort［J］.IEEE Transactions on Reliability，1986，35（1）:19-23.

［14］BOKHARI M U，AHMAD N.Software reliability growth modeling forexponentiated Weibullfunctionswith actual software failures data［J］.Advances in computer science and engineering: reports and monographs，2007，2:390-396.

［15］AHMAD N，BOKHARI M U，QUADRI S M K，et al.The exponentiated Weibull software reliability growth model with various testing-efforts and optimal release policy［J］.International Journal of Quality&Reliability Management，2008，25（2）:211-235.

［16］PARR F N.An alternative to the Rayleigh curve model for software development effort［J］.IEEE Transactions on Software Engineering，1980（3）:291-296.

［17］KUO S Y，HUANG C Y，LYU M R.Framework for modeling software reliability，using various testingefforts and fault-detection rates［J］.IEEE Trans on Reliability，2001，50（3）:310-320.

［18］HUANG C Y，KUO S Y.Analysis of incorporating logistic testing-effort function into software reliability modeling［J］.IEEE Transactions on Reliability，2002，51（3）:261-270.

［19］GOKHALE S S，TRIVEDI K S.Log-logistic software reliability growth model［C］//Proceedings of 3rdIEEE International Symposium on High-Assurance Systems Engineering.Washington，DC:IEEE，1998:34-41.

［20］ZHANG C，CUI G，MENG F C，et al.A study of optimalrelease policy for SRGM with imperfect debugging［J］.Journal of Engineering Science and Technology Review，2013，6（3）:111-118.

［21］LIN C T，HUANG C Y.Enhancing and measuring the predictive capabilities of testing-effort dependent software reliability models［J］.Journal of Systems and Software，2008，81（6）:1025-1038.

［22］HUANG C Y.Performanceanalysisofsoftware reliability growth models with testing-effort and changepoint［J］.Journal of Systems and Software，2005，76（2）:181-194.

［23］HUANG C Y，KUO S Y，LYU M R.An assessment of testing-effort dependent software reliability growth models［J］.IEEE Transactions on Reliability，2007，56（2）:198-211.

［24］AHMAD N，KHAN M G M，QUADRI S M K，et al.Modelling and analysis of software reliability with Burr type X testing-effort and release-time determination［J］.Journal of Modelling in Management，2009，4（1）: 28-54.

［25］AHMADA N，KHANB M G M，RAFIB L S.Analysis of an inflection S-shaped software reliability model considering log-logistic testing-effortand imperfect debugging［J］.Int.J.Comp.Net.Sec，2011，11（1）: 161-170.

［26］ZHANG C，CUI G，LIU H W，et al.A unified and flexible framework of imperfect debugging dependent SRGMs with testing-effort［J］.Journal of Multimedia，2014，9（2）:310-317.

［27］OHBA M.Software reliability analysis models［J］.IBM Journal of research and Development，1984，28（4）: 428-443.

［28］WOOD A.Predicting software reliability［J］.IEEE Computer，1996，29（11）:69-77.

［29］MUSA J D，IANNINO A，OKUMOTO K.Software reliability:measurement，prediction，application［M］.New York:McGraw Hill，1987.

［30］PHAM H.SoftwareReliability［M］.Singapore: Springer，2000.

（編輯 張 紅）

Overview of modeling of TE in SRGM and comparisons for models

ZHANG Ce1，2，MENG Fanchao2，CUI Gang1，LIU Hongwei1，GUAN Hongyu2
（1.School of Computer Science and Technology，Harbin Institute of Technology，150001 Harbin，China；2.School of Computer Science and Technology，Harbin Institute of Technology at Weihai，264209 Weihai，China）

To systematically reveal the state of art of testing effort（TE）related to software reliability growth model（SRGM）and to evaluate performances of testing effort function（TEFs），modelling of TE dependent SRGM and comparisons for models are studied in this paper.More specifically，firstly，research evolution of TE is summarized since the early 1978 s，and the relation between TE and test cost is analyzed.Then，current TEFs are reviewed and discussed，and modeling process of SRGM incorporating TE is illustrated.Performances of 8 TEFs are evaluated and compared by 4 failure data sets published.Finally，conclusions indicate that appropriate TEF can support decision for research of reliability based on SRGM and evaluating SRGM incorporating TE would be worthwhile in future.

software reliability；testing effort（TE）；testing effort function（TEF）；software reliability growth model（SRGM）；cost

TP311

A

0367-6234（2015）05-0032-08

10.11918/j.issn.0367-6234.2015.05.006

2014-06-03.

國(guó)家科技支撐計(jì)劃資助（2013BA17F02）；山東省科技攻關(guān)項(xiàng)目（2011GGX10108，2010GGX10104）.

張 策（1978—），男，講師；博士研究生；

崔 剛（1949—），男，教授，博士生導(dǎo)師；

劉宏偉（1971—），男，教授，博士生導(dǎo)師.

張 策，zhangce@hitwh.edu.cn.