石 柱，鄭 重

星載軟件可靠性模型應(yīng)用研究及實(shí)踐

石 柱，鄭 重

為定量評估軟件的可靠性指標(biāo)，介紹了利用軟件可靠性模型評估軟件可靠性的過程和方法；針對某星載嵌入式軟件的失效趨勢，根據(jù)模型的選擇原則和方法，以及模型的預(yù)測質(zhì)量的對比，最終選擇了指數(shù)模型作為可靠性評估模型。對該軟件在軌運(yùn)行情況進(jìn)行了可靠性評估，開展了基于該軟件可靠性測試數(shù)據(jù)的可靠性評估，評估結(jié)果給出了該軟件的可靠性水平。

軟件可靠性；軟件可靠性評估；軟件可靠性模型

1 引言

利用軟件可靠性模型評估可靠性是進(jìn)行軟件可靠性預(yù)測的一個(gè)重要方法，它根據(jù)軟件的失效數(shù)據(jù)，以統(tǒng)計(jì)的方法對軟件的可靠性進(jìn)行度量、評估和預(yù)測，這些模型主要輸入的是軟件運(yùn)行時(shí)的失效數(shù)或失效間隔時(shí)間。基于對軟件系統(tǒng)和故障特點(diǎn)的不同假定，研究人員提出了各種可靠性模型，并用它來分析軟件的可靠性。如：基于馬爾可夫過程的Jelinski-Moranda模型、基于非齊次泊松過程的Goel-Okumoto模型、Musa執(zhí)行時(shí)間模型、基于貝葉斯估計(jì)的Littlewood-Verrall模型等[1-2]。

盡管這些軟件可靠性模型被廣泛用來預(yù)測軟件可靠性，但在實(shí)際使用過程中存在模型的不一致問題。事實(shí)上，以往很多軟件可靠性研究項(xiàng)目揭示出這些模型往往只對一組或一段失效數(shù)據(jù)具有較高的預(yù)測精度，而且不同模型對同一組失效數(shù)據(jù)的預(yù)測結(jié)果差別很大，沒有一個(gè)模型能對所有的數(shù)據(jù)做出最好的預(yù)測和評價(jià)，這種情況會(huì)造成軟件可靠性管理人員得出錯(cuò)誤的結(jié)論。因此，如何在實(shí)際應(yīng)用中選擇和使用這些模型，便成為軟件可靠性工程研究的重點(diǎn)問題之一[3-5]。

本文從對現(xiàn)有模型的研究出發(fā)，給出了利用軟件可靠性模型評估軟件可靠性的過程，并在某星載軟件中進(jìn)行實(shí)際應(yīng)用，最后給出了評估的結(jié)果。

2 軟件可靠性評估過程

2.1 評估的一般過程

根據(jù)現(xiàn)有的研究成果，利用軟件可靠性模型定量評估可靠性的一般過程如下[6-7]（見圖1）：

（1）收集和分析失效數(shù)據(jù)

軟件失效數(shù)據(jù)的類型從時(shí)間上劃分，可分為失效間隔時(shí)間和失效計(jì)數(shù)時(shí)間。

①失效間隔時(shí)間是指相鄰兩次失效間的運(yùn)行時(shí)間；

②失效計(jì)數(shù)時(shí)間是指在規(guī)定時(shí)間內(nèi)發(fā)生失效的個(gè)數(shù)，此類型數(shù)據(jù)較為容易獲得，適用于測試和維護(hù)階段，并能轉(zhuǎn)化為失效間隔時(shí)間。

失效數(shù)據(jù)的收集是一個(gè)艱難工作，需要記錄使用環(huán)境，要分清記錄方式是失效間隔時(shí)間還是給定時(shí)間內(nèi)的失效數(shù)，是用了日歷時(shí)間還是執(zhí)行時(shí)間，其次要對失效數(shù)據(jù)進(jìn)行分析。

（2）選擇恰當(dāng)?shù)目煽啃阅Ｐ?/p>

根據(jù)實(shí)測收集到的數(shù)據(jù)和對數(shù)據(jù)的分析以及各模型的假設(shè)、分布類型，從中選擇一種比較恰當(dāng)?shù)哪Ｐ汀?/p>

（3）參數(shù)估計(jì)

根據(jù)失效數(shù)據(jù)的性質(zhì)選擇合適的方法進(jìn)行參數(shù)估計(jì)，常用的方法包括：線形回歸、最大似然估計(jì)和最小二乘法；最后根據(jù)估計(jì)的參數(shù)建立最終擬合的模型。

（4）擬合程度檢驗(yàn)

通過已知數(shù)據(jù)計(jì)算預(yù)測數(shù)據(jù)，以便檢驗(yàn)所建立的模型的擬合度。如果擬合很好，說明模型可以很好反映軟件的失效情況，如果不擬合，則需要檢查或更新更恰當(dāng)?shù)哪Ｐ汀？赏ㄟ^以下三個(gè)指標(biāo)來評估模型的預(yù)測質(zhì)量：

①預(yù)測精度（序列似然度比率），比率值越小，表示模型的預(yù)測精度越大，預(yù)測質(zhì)量越高；

②偏差（U-結(jié)構(gòu)圖），值越小，表示模型與實(shí)際值的偏差越小，預(yù)測質(zhì)量越高；

③偏差趨勢（Y-結(jié)構(gòu)圖），值越小，表示模型的偏差趨勢越小，預(yù)測質(zhì)量越高。

（5）評估軟件可靠性

通過建立的可靠性模型對當(dāng)前軟件的可靠度進(jìn)行定量的評估，以判斷軟件是否需要繼續(xù)進(jìn)行測試或交付。

圖1 軟件可靠性評估過程圖

2.2 模型的選擇原則

現(xiàn)有的軟件可靠性模型很多，但至今沒有一個(gè)模型被證明對各類數(shù)據(jù)都廣泛適用，造成該問題的根本原因是缺乏模型的選擇依據(jù)。

目前，工程人員在進(jìn)行可靠性評估時(shí)經(jīng)常盲目選擇模型，當(dāng)選擇多個(gè)模型進(jìn)行評估時(shí)，不同可靠性模型的評價(jià)結(jié)果存在較大差異，從而無法獲得唯一或一致的結(jié)論。另外，由于模型構(gòu)造時(shí)假設(shè)的失效行為規(guī)律各不同，因此，在進(jìn)行可靠性預(yù)計(jì)時(shí)，如果不考慮失效行為而盲目選擇模型，會(huì)降低評價(jià)結(jié)果的可信性和準(zhǔn)確性[8]。

因此，在實(shí)際使用可靠性模型進(jìn)行評估時(shí)，首先面臨模型的選擇問題，這時(shí)可以從以下幾個(gè)方面考慮[9-11]。

（1）如果有該軟件的以往失效數(shù)據(jù)，應(yīng)對失效數(shù)據(jù)應(yīng)進(jìn)行趨勢分析，了解可靠性的變化狀況，為模型的選取提供指導(dǎo)，避免盲目性。在無法獲得失效數(shù)據(jù)的情況下，不能只選用一個(gè)模型，而應(yīng)選用多個(gè)模型進(jìn)行比較選用。

（2）無論應(yīng)用何種模型，都要對預(yù)計(jì)的質(zhì)量進(jìn)行分析，以確認(rèn)結(jié)果的有效性。

（3）模型的理論假設(shè)是否接近于軟件的實(shí)際運(yùn)行環(huán)境。

（4）模型所需要的數(shù)據(jù)是否易于收集，在數(shù)據(jù)收集階段是否能比較容易地獲得模型所需要的數(shù)據(jù)。

（5）在進(jìn)行數(shù)據(jù)分析和可靠性評估預(yù)測時(shí)，模型在數(shù)學(xué)上是否容易處理。

（6）模型成熟度的高低，即模型使用頻度的高低，成熟度的高低從一定程度上反映出模型的認(rèn)可程度。

2.3 評估對象

本次可靠性評估的對象是某星載嵌入式軟件，該軟件產(chǎn)品在設(shè)計(jì)上存在一些亟待解決的可靠性問題。例如，軟件不定期復(fù)位（復(fù)位間隔幾周或幾個(gè)月）、計(jì)算精度下降等，這些問題嚴(yán)重影響了空間飛行器任務(wù)的順利執(zhí)行。

針對這些問題，開發(fā)人員對軟件進(jìn)行了修改。本次可靠性評估的目的是利用可靠性模型對軟件可靠性測試數(shù)據(jù)進(jìn)行擬合，從而驗(yàn)證修改后的軟件是否滿足預(yù)期的可靠性指標(biāo)要求。在進(jìn)行可靠性測試之前，需要評估該軟件修改前的可靠性水平，也即該軟件在軌運(yùn)行時(shí)的失效情況。

3 基于在軌失效數(shù)據(jù)的可靠性評估

根據(jù)前文建立的軟件可靠性評估的過程，進(jìn)行該軟件基于在軌失效數(shù)據(jù)的可靠性評估。

3.1 定義失效

進(jìn)行軟件可靠性評估之前，首先需要明確定義軟件失效。由于失效的定義是面向用戶的，因此，應(yīng)該定義軟件的何種表現(xiàn)被認(rèn)為是一個(gè)失效，以及失效的嚴(yán)重程度，便于數(shù)據(jù)的收集。經(jīng)過與研制方的溝通，此次評估的失效定義為：

（1）軟件復(fù)位。發(fā)生主動(dòng)復(fù)位或被動(dòng)復(fù)位。

（2）無定位數(shù)據(jù)。連續(xù)半小時(shí)不能提供有效導(dǎo)航定位數(shù)據(jù)，軟件也未復(fù)位。

3.2 失效數(shù)據(jù)的收集

由于用戶選擇平均失效前時(shí)間作為可靠性指標(biāo)要求，所以選擇收集失效間隔時(shí)間較為合適。由于該軟件是每秒完成一次任務(wù)，所以，應(yīng)該以1 s為時(shí)間收集的最小間隔。

通過對軟件實(shí)際運(yùn)行情況的監(jiān)測，在6個(gè)月時(shí)間內(nèi)共發(fā)生28次復(fù)位，但由于有些復(fù)位較為集中（在1天之內(nèi)發(fā)生），經(jīng)初步判定造成這些復(fù)位的原因相同，故可假定這些復(fù)位算作一次失效。因此經(jīng)初步判斷，在6個(gè)月時(shí)間內(nèi)共發(fā)生5次失效，軟件在軌失效情況見表1。

根據(jù)表1可得出，該軟件最長無失效連續(xù)運(yùn)行時(shí)間為78天，平均失效間隔為38.2天。

3.3 模型的選擇

根據(jù)2.2節(jié)模型的選擇原則，以及對該軟件失效趨勢的初步判定，本次評估初步選擇指數(shù)模型和正態(tài)分布模型作為評估模型。通過應(yīng)用兩種可靠性模型（指數(shù)分布模型、正態(tài)分布模型），擬合了該軟件實(shí)際在軌運(yùn)行失效數(shù)據(jù)，MTBF（Mean Time Between Failures）評估結(jié)果見表2。

表1 被測軟件在軌失效情況統(tǒng)計(jì)表

表2 被測軟件MTBF評估

由表2可見，正態(tài)分布的優(yōu)點(diǎn)在于考慮失效間隔，并且如果失效發(fā)生是穩(wěn)定的，正態(tài)分布可以很好地?cái)M合失效數(shù)據(jù)。但是通過實(shí)際觀測得到的數(shù)據(jù)來看，指數(shù)分布模型的預(yù)測質(zhì)量比正態(tài)分布模型好，因此使用正態(tài)分布模型擬合軟件失效率是不合適的。盡管指數(shù)模型存在誤差，但是相比于正態(tài)分布模型的估計(jì)結(jié)果，指數(shù)模型存在誤差是可以接受的。因此，該軟件的失效規(guī)律更符合指數(shù)分布模型，即選擇指數(shù)分布模型的預(yù)測值作為此次度量的結(jié)果，失效率為0.894，平均失效間隔時(shí)間是22.945天。

3.4 評估結(jié)果分析

從以上可靠性評估數(shù)據(jù)可以看出，增長前該軟件的可靠性水平還達(dá)不到用戶的指標(biāo)要求。該軟件不能滿足衛(wèi)星總體對該軟件提出的可靠性要求（平均無故障時(shí)間MTBF大于6個(gè)月，置信度大于0.6），而且隨著該軟件關(guān)鍵等級的提高，以及新的應(yīng)用需求，對該產(chǎn)品的可靠性提出了更高的要求。

4 基于可靠性測試的評估

通過上文可知，在對該軟件在軌失效情況進(jìn)行可靠性評估后發(fā)現(xiàn)：該軟件不能滿足衛(wèi)星總體對該軟件提出的可靠性要求。在經(jīng)過一系列可靠性分析和測試后，研制單位對該軟件進(jìn)行了修改，接下來，需要驗(yàn)證修改后的軟件是否實(shí)現(xiàn)了可靠性增長，是否能達(dá)到規(guī)定的可靠性指標(biāo)要求。因此，需要開展對該軟件的可靠性測試。

根據(jù)用戶需求，本次可靠性測試采用無失效考核方案，即根據(jù)該軟件的可靠性定量指標(biāo)——平均無失效運(yùn)行前時(shí)間（MTBF），確定一個(gè)預(yù)定的可靠性測試連續(xù)無失效的累積時(shí)間（設(shè)為T′），然后進(jìn)行可靠性測試。若實(shí)際的累積連續(xù)無失效測試時(shí)間（設(shè)為T）超過T′，即T＜T′，在給定的置信水平γ下認(rèn)為達(dá)到了可靠性要求；如未達(dá)到要求，即T＜T′，則軟件需要修改，那么在修改后仍需重新按無失效考核方案進(jìn)行測試。

由上文可知，該星載軟件的失效趨勢進(jìn)服從指數(shù)分布，在這種情況下，無失效考核時(shí)間與MTBF時(shí)間比計(jì)算公式為：

由置信度γ=0.6可以計(jì)算得到：無失效考核時(shí)間為MTBF的0.916 29倍；由MTBF=0.5年得到，如果投入一臺被測件進(jìn)行測試，其無失效執(zhí)行測試時(shí)間為：0.5年×0.916 29= 0.458 145年（即168天），即本次可靠性測試最少執(zhí)行的時(shí)間是168天，在168天內(nèi)如果沒有發(fā)生一次失效，則可認(rèn)為該軟件達(dá)到了要求的可靠性水平。

為保證測試接近于軟件真實(shí)運(yùn)行狀態(tài)和環(huán)境，本次測試構(gòu)造了使用剖面，搭建了測試環(huán)境，執(zhí)行測試用例并分析測試數(shù)據(jù)。最終確定被測件的無失效考核時(shí)間為168天，亦即該軟件的MTBF達(dá)到了180天，能夠滿足規(guī)定的可靠性指標(biāo)要求。

以上過程、方法和結(jié)果適用于該軟件在該使用剖面下的運(yùn)行情況。

5 結(jié)束語

通過對某星載嵌入式軟件在軌失效情況和可靠性測試數(shù)據(jù)的分析，選擇了合適的可靠性模型對該軟件進(jìn)行可靠性評估，給出了軟件的可靠性水平，為該軟件最終的評價(jià)和驗(yàn)收工作提供了決策依據(jù)和數(shù)據(jù)支持。從評估過程和結(jié)果也可看出，針對同一組數(shù)據(jù)，每一步預(yù)計(jì)都要根據(jù)預(yù)測質(zhì)量分析選擇最適合的模型，而不是采用單一模型，此過程和方法提高了可靠性模型的適用性和實(shí)用性。

[1]Lyu M R.Hand book of software reliability engineering[M]. New York：IEEE Computer Society Press and McGraw-Hill，1996：168-189.

[2]石柱.基于模糊技術(shù)的軟件質(zhì)量評價(jià)及可靠性評估[D].北京：北京航空航天大學(xué)，2000.

[3]徐仁佐.謝旻.鄭人杰.軟件可靠性模型及應(yīng)用[M].北京：清華大學(xué)出版社，1994.

[4]陸民燕.航空宇航系統(tǒng)軟件可靠性度量研究[D].北京：北京航空航天大學(xué)，2003.

[5]趙修平，季立慶，李田科.導(dǎo)彈發(fā)射裝置軟件可靠性模型應(yīng)用研究[J].航天發(fā)射技術(shù)，2010（4）：26-30.

[6]Shibata K，Rinsaka K，Dohi T.Metrics-based software reliability modelsusing non-homogeneouspoisson processes[C]// Proceedings of the 17th International Symposium on Software Reliability Engineering，2006.

[7]Krajcuskova Z.Software reliability models[J].IEEE Journal，2007（1）.

[8]Almering V，van Genuchten M，Cloudt G，et al.Using software reliability growth models in practice[J].IEEE Software，2007，24（6）：82-88.

[9]IEEE Std 982.1-2005 IEEE standard dictionary of measures of the software aspects of dependability[S].New York：IEEE Computer Society Press，2005.

[10]Ehrlich W K，Keith S，Molisani R H，et al.Applying reliability measurement：a case study[J].IEEE Software，1990，7 （3）：56-64.

[11]石柱，鄭重.軟件可靠性度量實(shí)例研究[J].系統(tǒng)工程與電子技術(shù)，2011，33（1）：239-242.

SHI Zhu,ZHENG Zhong

中國航天科技集團(tuán)公司 軟件評測中心，北京 100048

Software Evaluation and Testing Center,China Aerospace Science and Technology Corporation,Beijing 100048,China

To quantify software reliability,this paper introduces the progresses and methods of using software reliability models to evaluate software reliability,chooses the exponential model to evaluate reliability,according to the trend of failure of a spaceborne embedded software,the principles and methods of choosing models,and the comparison of prediction quality of those models.It executes reliability evaluation based on the software reliability test,and the results of evaluation present the reliability level of this software.

software reliability;software reliability evaluation;software reliability models

A

TP311.5

10.3778/j.issn.1002-8331.1207-0313

SHI Zhu,ZHENG Zhong.Study and practice on applications of software reliability models.Computer Engineering and Applications,2013,49（7）：52-54.

國防科技工業(yè)局民用航天科研預(yù)先研究項(xiàng)目（No.B2120080307）。

石柱（1963—），男，博士，研究員，研究領(lǐng)域?yàn)檐浖こ?，軟件可靠性，軟件安全性和軟件過程改進(jìn)；鄭重（1984—），男，工程師，研究方向?yàn)檐浖煽啃远攘?，軟件可靠性測試。E-mail：218zz@163.com

2012-07-23

2012-09-28

1002-8331（2013）07-0052-03

CNKI出版日期：2012-11-05 http://www.cnki.net/kcms/detail/11.2127.TP.20121105.1414.006.html