劉博，李蜀瑜

陜西師范大學(xué)計算機學(xué)院，西安 710062

ISTREM軟件測試可靠性評估方法研究

劉博，李蜀瑜

陜西師范大學(xué)計算機學(xué)院，西安 710062

1 引言

隨著軟件行業(yè)的快速發(fā)展，軟件開發(fā)各個領(lǐng)域的提高是比較明顯的，但是對于軟件測試方面的專業(yè)領(lǐng)域主要表達怎樣開展測試，這其中主要包含有測試過程的具體測試方法和組織、管理等。對于測試評估方面主要從軟件缺陷報告、缺陷跟蹤和測試進度評價等方面。對于軟件測試本身是否科學(xué)、有效的評估方法、測試用例整體的評估、測試方法是否合理、軟件測試可靠性的評估等方面的研究都比較少。因此在實際的軟件測試工程項目之中，經(jīng)常遇到以下問題：雖然測試過程是按照原定的測試計劃展開的，但是由于測試用例集合比較龐大，對整個測試過程的可靠性性缺少定量評價，因此很難在測試執(zhí)行過程中及時發(fā)現(xiàn)測試薄弱點，提出測試優(yōu)化策略[1-6]。

在本文中，提出一種新的對軟件測試可靠性進行有效評估的數(shù)學(xué)模型ISTREM（Independent Software Testing Reliably Evaluation Model），并且在文章中使用該模型對實際AEINC653軟件系統(tǒng)測試中統(tǒng)計得到的數(shù)據(jù)進行軟件測試可靠性的評估，有效證明了ISTREM模型的有效性和對于其他軟件測試項目的適用型[7-10]。

2 軟件可靠性評估研究現(xiàn)狀

現(xiàn)今，在航天航空領(lǐng)域軟件的規(guī)模和復(fù)雜性越來越高，軟件測試作為驗證和保證軟件質(zhì)量的主要環(huán)節(jié)，顯得更加重要，軟件測試的研發(fā)成本也隨之提高。那么，如何對軟件測試的能力、效率和分析測試的可靠性進行分析是目前軟件開發(fā)領(lǐng)域中迫切需要研究的現(xiàn)實問題。能否有一種評估模型能夠?qū)娇蘸教燔浖y試項目進行全面有效的評估，也成為研究的熱點問題。

現(xiàn)今國內(nèi)有關(guān)軟件測試方面的專著主要側(cè)重于論述如何開展測試，包括測試過程組織、管理和具體的測試方法等，對測試評估主要從錯誤覆蓋率、測試構(gòu)建合理性等方面進行研究，缺少對軟件未來可靠性預(yù)測、軟件測試過程控制及復(fù)雜測試情況處理的方法。目前對軟件測試可靠性評估方法研究方面主要是國外的研究者提出的，并且沒有一種較為全面的評估方法[11]。針對這種情況，本文中提出了一種相對較為全面的評估模型ISTREM，表1為可靠性評估方法的比較。

表1 可靠性評估模型對比

3 ISTREM模型

3.1 ISTREM模型的提出

從上節(jié)的對比表中可以清楚地看出現(xiàn)階段的評估模型有諸多缺點，如不考慮測試階段相關(guān)性等缺點。而在真實測試環(huán)境中，情況通常是復(fù)雜多變的，測試不同階段是相互聯(lián)系的，如單元測試的好壞將會直接影響之后的部件測試和集成測試。在測試過程中，通常失效的檢測過程是隨著測試?yán)^續(xù)進而發(fā)生變化的。此外，在預(yù)測未來方面，近期的失效統(tǒng)計通常比早先的失效統(tǒng)計更有用。為此建立一個特殊的模型進行估計，提出一種新的模型ISTREM（Independent Software Testing Reliably Evaluation Model）基本原理是：失效的測例隨著測試過程的不斷深入將會繼續(xù)進行變化。此外，在對未來軟件的可靠性預(yù)測方面，越靠近交付日期的測例對可靠性估計越有效。這個模型的特點可以很清楚地從上一節(jié)的圖標(biāo)中看出，針對不同的測試情況有不同的評價策略；針對不同的測試階段有相關(guān)性的判定；針對失效發(fā)生時間有優(yōu)化的使用策略，最重要的是此模型引入了皮爾遜模型對測試不同階段的相關(guān)性又進行了計算，使得評估過程更加合理。根據(jù)航空電子軟件的特性，對模型進行改進，模型有兩種推導(dǎo)估計方法。第一種是使用從1到m所有時間段（即s=1）的全部失效統(tǒng)計數(shù)來進行統(tǒng)計。第二種是只用s到m時間段的失效統(tǒng)計數(shù)（即1≤s≤m）時間段內(nèi)各段的單獨失效統(tǒng)計，但是原本兩種估計方法有些對測試指標(biāo)意義不大，在此對推導(dǎo)方法進行改進，把兩種方法綜合起來，得出累積失效統(tǒng)計數(shù)。根據(jù)近期的失效（測試用例在測試時出現(xiàn)錯誤）統(tǒng)計通常比早先的失效統(tǒng)計更有用的模型基本原理，對模型進行裁剪和修改，首先假設(shè)有m個測試時間段，并且在第i段查到fi個失效，那么就能用下列方法進行處理：

使用從1到s-1個時間段的累積失效統(tǒng)計數(shù)Fs-1，即：

當(dāng)所有時間段的失效統(tǒng)計數(shù)在預(yù)計未來的失效統(tǒng)計數(shù)中都有用時，應(yīng)用第一種方法。當(dāng)人們認為失效檢查過程已發(fā)生顯著變化，因而只有最后的m-s+1個時間段在未來的失效預(yù)測中有用時，就要用第二種方法。最后一種方法介于上述兩種方法之間，這時人們認為前s-1個時間段的綜合失效統(tǒng)計數(shù)與其余時間段的單獨統(tǒng)計數(shù)對未來預(yù)測的失效和檢測行為都是有代表性的[12-14]。

3.2 模型相關(guān)性的證明

為了進一步驗證測試模型的獨立性，引入皮爾遜模型來驗證模型在時間上的獨立性，利用統(tǒng)計學(xué)中皮爾遜模型計算相關(guān)度，該相關(guān)系數(shù)是判斷兩組數(shù)據(jù)與某一直線擬合程度的一種度量。它以用戶為坐標(biāo)軸，將評價的物品繪制到圖上。如果兩位用戶的評價情況相同，那么這條直線將成為對角線。公式如下：

若根據(jù)實際測試情況，根據(jù)數(shù)據(jù)計算出的皮爾遜相關(guān)系數(shù)大于0.3，則表示相關(guān)。反之，則無關(guān)，即：兩兩某時段失效數(shù)概率分別用P(A)=P(A|B)。

在實際的軟件測試過程中，是分階段進行的，如：靜態(tài)測試、單元測試、部件測試、回歸測試等階段進行測試。在各個階段內(nèi)，統(tǒng)計出來的失效數(shù)是相關(guān)的。因此，根據(jù)皮爾遜相關(guān)模型計算出來的系數(shù)大于0.3則表示相關(guān)。

3.3 模型的假設(shè)

在驗證完相關(guān)性的基礎(chǔ)之上的，在滿足以下假設(shè)的前提下進行估計。以下是假設(shè)的條件：

（1）只統(tǒng)計新的失效；不重復(fù)計算失效數(shù)即：對s∈[1,m]，若fs∈Fsifffs?Fs-1，對于S時段內(nèi)統(tǒng)計的失效當(dāng)且僅當(dāng)它不屬于前Fs-1。

（2）故障糾正率與待糾正的故障數(shù)成正比；Fp（故障糾正率）∝δFq（待糾正故障數(shù)）δ為比例系數(shù)，在本文中，由第二種統(tǒng)計方式確立，根據(jù)實際測試統(tǒng)計得出系數(shù)為1.012。

（3）查出的平均失效數(shù)從一個時間段到下一個時間段逐步減少。

（4）所有的時間段長度相同。

（5）失效檢測率正比于測試時程序中的故障數(shù)。

假設(shè)失效檢測過程是非齊次泊松過程，其實效檢測率呈指數(shù)下降，第i個時間段失效檢測率di表示為：

在上式中α＞0,β＞0,都是模型的常數(shù)。

3.4 模型的構(gòu)造

模型中使用了兩個參數(shù)：α是在時間m=0的失效率，β是對在時間段內(nèi)的失效率有影響的比例常數(shù)（它是一個估計值，是對失效率造成影響的概率值），通常他的取值為較小，0.2或0.1。在這些估值中，m是最后的觀察統(tǒng)計時間段；s是時間段的標(biāo)志；Xk是在第k個時間段內(nèi)發(fā)現(xiàn)的實際失效數(shù)；Xs-1是從第1到第s-1個時間段內(nèi)發(fā)現(xiàn)的失效數(shù)；Xs,m是從第s到第m個時間段發(fā)現(xiàn)的失效數(shù)；下面的似然函數(shù)為極小似然函數(shù)，為帶入進行對數(shù)運算后的展開式。并且Xm＝Xs-1+Xs,m可以將函數(shù)展開為：

這個函數(shù)用來為前述方法推導(dǎo)估計α和β的公式。在下列公式中α和β是總體參數(shù)的估計值。

參數(shù)估計法：使用從1到s-1時間段的累積失效統(tǒng)計數(shù)和s到m（即2≤s≤m）時間段內(nèi)各段的單獨失效統(tǒng)計數(shù)。

關(guān)于s的值，使用均方差（MSE）準(zhǔn)則能求得s的最佳值，MSE計算在s≤i≤m范圍內(nèi)模型預(yù)計值與實際累積的失效統(tǒng)計數(shù)x(i)之間的方差和，來求出s的最佳值。下列公式適用于上述方法：

這樣，對于每個s值，用上式計算MSE。選擇使MSE最小的s值。結(jié)果得到對于數(shù)據(jù)集來說最佳的三個值(β,α,s)。然后對數(shù)據(jù)運用合適的方法。

3.5 綜合化航空電子分區(qū)操作系統(tǒng)的可靠性評估

下面以綜合化航空電子分區(qū)操作系統(tǒng)實例進行測試評估。在ARINC653平臺中，每一個模塊都是以分區(qū)的形式出現(xiàn)的，分區(qū)之間是相互獨立的，互不干擾。它們之間分區(qū)內(nèi)通信主要包括黑板、信號量、消息隊列、事件等。這些應(yīng)用都是該模型的一些單獨而又相關(guān)的運用，它們共同組成一個綜合的可靠性大綱。在此，只對飛控平臺的燃油模塊進行測試，燃油分區(qū)應(yīng)用軟件是機電管理分系統(tǒng)機電管理計算機的功能分區(qū)應(yīng)用軟件之一，同時也是燃油系統(tǒng)的重要功能組成部分，它運行于機電管理分系統(tǒng)的兩臺機電管理計算機的燃油分區(qū)中。

燃油分區(qū)應(yīng)用軟件實現(xiàn)對燃油系統(tǒng)部件的自動控制和系統(tǒng)狀態(tài)信息的監(jiān)控、顯示、告警和記錄功能。并且對大量的測試用例進行統(tǒng)計，得到以下統(tǒng)計結(jié)果進行平臺可靠性的評估。

在實際測試過程中，還可以分別對各個模塊進行可靠性評估，然后根據(jù)各個模塊的評估結(jié)果對整個系統(tǒng)做整體評估。針對燃油平臺做大量且可靠的測試，依據(jù)得到的實際數(shù)據(jù)并結(jié)合ISTREM模型進行可靠性評估[15-16]。

下面先根據(jù)數(shù)據(jù)來證明提出模型的前提為在測試階段之中是相關(guān)的，而測試階段之間是無關(guān)的。然后以三種方法中的第二種為實例來行評估演示：其中T≥s，對于方法一和方法三，s=1且T≥1，其中T推薦用執(zhí)行時間（編寫好測試用例后，機器執(zhí)行測試的時間），但也能用工作時間或日歷時間。

（1）設(shè)當(dāng)前時間為t，已發(fā)現(xiàn)的失效數(shù)為X(t)，則檢測到總數(shù)為F的失效數(shù)所需的時間：

使用Testbed對基于ARINC653是針對航電系統(tǒng)的燃油模塊經(jīng)行測試，圖1為Testbed的測試截圖。

圖1 Testbed測試環(huán)境圖

主要測試過程分成12個階段經(jīng)行具體測試，并且對測試結(jié)果進行詳細統(tǒng)計，得出以下數(shù)據(jù)：

12次測試的故障數(shù)（12個階段）：100 76 26 10 5 2 3 1 1 1 1 0

估計出的曲線預(yù)測得到的故障數(shù)目（分30個抽樣點，這30個抽樣點隨機分布在6個測試階段中，圖2為30個抽樣點的數(shù)據(jù)）：根據(jù)實際階段內(nèi)和階段外的失效數(shù)，帶入皮爾遜公式計算出段內(nèi)的平均相關(guān)系數(shù)為0.423，所以可知段內(nèi)相關(guān)。由計算的出段與段之間的相關(guān)系數(shù)為0.132，可知

圖2 抽樣數(shù)據(jù)圖

無關(guān)，圖3可以清楚地看出段與段的無關(guān)性。

圖3 抽象故障數(shù)據(jù)統(tǒng)計圖

使用MATLAB進行模型仿真，把統(tǒng)計得到的數(shù)據(jù)帶入公式中得到α、β的值：α=0.131，β=0.2，Xi=Nαexp(-βi)，N=1 000，i=1,2,…，將α=0.131，β=0.2帶入上式得到預(yù)測如上預(yù)測數(shù)據(jù)和分布圖。

圖4 故障數(shù)目累計圖

圖4為整個燃油分區(qū)48個測試階段故障數(shù)目的累計圖，這里一個階段為時間單位依據(jù)非線性泊松概率分布的特性，可以得到：則F(0.881)=P(r≤0.881)=0.186 5，軟件正確性大于0.881的可靠性為0.983 5，通過與測試標(biāo)準(zhǔn)中設(shè)定的大于0.98的可靠性對比可知，之前求得的測試的結(jié)果，即如果軟件測試的可靠性要求達到0.98，那么該燃油分區(qū)的測試結(jié)果是可靠的。對于其他模塊，可以用同樣的方法進行評估，通過計算，可以對整個軟件的可靠性有一個整體的評價。

4 結(jié)束語

軟件的可靠性是衡量軟件質(zhì)量的一個重要指標(biāo)。本文提出一種新的模型建立評估軟件測試可靠性模型，根據(jù)實際測試統(tǒng)計值帶入評估軟件的測試可靠性。在驗證和假設(shè)已知軟件正確性的情況下，在本文中建立模型有一定的缺點，首先它不考慮測試軟件在不同時間段的失效之間的相關(guān)性，這在軟件測試過程中是會出現(xiàn)的；其次對于重復(fù)的失效測例不予考慮；此外使用此模型是等長的時間段較長，在以后的工作中會改進算法使得等待時間盡可能地變短。這些不足在以后的工作中會通過算法或者模型的改進得以解決。

[1]Jean A，Martlne A，Louis A，et al.Fault injection for dependability validation：A methodology and some applications[J].IEEE Trans on Software Engineering，2003，16（2）：166-182.

[2]Carreira J，Madeira H，Silva J G.Xception：A technique for the experimental evaluation of dependability in modem computers[J].IEEE Trans on Software Engineering，1998，24（2）：125-136.

[3]Ghuni A K，Nasser A K，Jacob A A.FERRARI：A flexible software—based fault and error injection system[J]. IEEE Trans on Computers，2004，44（2）：248-260.

[4]GoswamiKK.DEPEND：Asimulation-basedenvironmentforsystemleveldependabilityanalysis[J].IEEE Trans on Computers，1997，46（1）：60-74.

[5]Looker N，Munro M，Xu J.Simulating elrors in Web services[J].Int’lJournalofSimulationSystems，Science，2004，5（5）：29-37.

[6]DeMillo R A，Lipton R J，Sayward F G.Hints on test dataselection：Helpforthepracticingprogrammer[J]. IEEE Computer，1978，11（4）：34-41.

[7]Voas J.Fault injection for the masses[J].IEEE Computer，1997，30：129-130.

[8]Hsueh M C，Tsai T K，Lyer R K.Fault injection techniques and tools[J].IEEE Computer，2010，30（4）：75-82.

[9]Bieman J M，Dreilinger D，Lijun L.Using fault injection to increase software test coverage[C]//Proc on Software Reliability Engineering（ISSRE96）.Washington：IEEE Computer Society，1996：166-174.

[10]Delamaro M E，Maidonado J C，Mathur A P.Interface mutation：Anapproachforintegrationtesting[J].IEEE Trans on Software Engineering，2001，27（3）：228-247.

[11]安金霞，王國慶，李樹芳，等.基于多維度覆蓋率的軟件測試動態(tài)評價方法[J].軟件學(xué)報，2010，21（9）：2135-2147.

[12]楊朝紅，宮云戰(zhàn)，肖慶，等.基于缺陷模式的軟件測試中的區(qū)間運算應(yīng)用[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2008，20（12）.

[12]單錦輝，姜瑛，孫萍.軟件測試研究進展[J].北京大學(xué)學(xué)報：自然科學(xué)版，2005，41（1）.

[13]聶長海，徐寶文.基于接口參數(shù)的黑箱測試用例自動生成算法[J].計算機學(xué)報，2004，27（3）.

[14]張德平，聶長海，徐寶文.基于Markov決策過程用交叉熵方法優(yōu)化軟件測試[J].軟件學(xué)報，2008，19（10）.

[15]柳永坡，鄒磊，金茂忠，等.軟件測試領(lǐng)域知識管理技術(shù)的研究與應(yīng)用[J].計算機集成制造系統(tǒng)，2008，14（9）.

[16]姚奕，劉曉明，黃松.基于模糊偏序關(guān)系的軟件測試評價方法[J].電子科技大學(xué)學(xué)報，2007，36（3）.

LIU Bo,LI Shuyu

Department of Computer Science,Shaanxi Normal University,Xi’an 710062,China

On the basis of Bias model,according to the aviation electronic system software characteristics on assessment models are cut and modified.On the ARINC653 platform fire prevention module in Testbed test platform test statistics, that the actual test case distribution obeys the mathematical characteristics of possion.Get software test case failure rate, resulting in software reliability assessment value,solves the software testing process of reliability evaluation of complex and large amount of calculation problem.Finally,on the platform of Matlab software system（fuel module）test for assessing reliability,experimental results are obtained found to be insufficient.

software testing;software reliability;ARINC653;reliability assessment

在航空電子系統(tǒng)軟件測試的背景上，對ARINC653平臺燃油模塊在Testbed測試平臺上的測試用例進行統(tǒng)計，得出實際測試案例分布服從特殊泊松的數(shù)學(xué)特征。根據(jù)軟件測試的時間依賴性提出一種新的可靠性評估模型ISTREM，并且求得軟件測試用例的失效率，從而對軟件進行可靠性評估，解決了軟件測試可靠性評估過程復(fù)雜且計算量較大并且忽略時間依賴性的問題。在Matlab平臺上對軟件系統(tǒng)（燃油模塊）的測試可靠性進行評估，得出實驗結(jié)果，并且提出不足。

軟件測試；軟件可靠性；ARINC653；可靠性評估

A

TP311

10.3778/j.issn.1002-8331.1301-0063

LIU Bo,LI Shuyu.Study of ISTREM software testing reliability evaluation method.Computer Engineering and Applications,2014,50（22）：65-68.

國家自然科學(xué)基金（No.41271387）；陜西師范大學(xué)研究生培養(yǎng)創(chuàng)新基金（No.2012CXS056）。

劉博（1988—），男，工學(xué)碩士，主要研究方向為嵌入式系統(tǒng)開發(fā)；李蜀瑜，副教授，主要研究方向為嵌入式系統(tǒng)開發(fā)。E-mail：liubo731@gmail.com

2013-01-07

2013-03-05

1002-8331（2014）22-0065-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-04-07,http://www.cnki.net/kcms/detail/11.2127.TP.20130407.1435.008.html