一種基于測(cè)試數(shù)據(jù)和D-S證據(jù)理論的可信性度量模型*

孫家澤1，2，王曙燕2

(1. 西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127；2.西安郵電大學(xué)計(jì)算機(jī)學(xué)院，陜西 西安 710121)

摘要：針對(duì)軟件可信性評(píng)估模型客觀性不強(qiáng)的問(wèn)題,提出了基于測(cè)試過(guò)程數(shù)據(jù)的軟件可信性度量模型。該模型根據(jù)軟件測(cè)試過(guò)程和能力成熟度模型CMM模型選取軟件測(cè)試過(guò)程中的關(guān)鍵可信屬性，利用軟件測(cè)試中的過(guò)程數(shù)據(jù)作為可信證據(jù)，通過(guò)測(cè)試過(guò)程數(shù)據(jù)進(jìn)行可信屬性的定量度量，最后，將這些分散的可信指標(biāo)通過(guò)D-S證據(jù)理論進(jìn)行融合得到軟件的可信性。實(shí)例表明，該度量模型在軟件可信性評(píng)估中是有效的。

關(guān)鍵詞：測(cè)試數(shù)據(jù)；可信性度量；D-S證據(jù)理論

中圖分類(lèi)號(hào)：TP311.522 文獻(xiàn)標(biāo)志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.012

收稿日期：*2014-03-25;修回日期：2014-09-01

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61203311,61105064)；陜西省自然科學(xué)基金資助項(xiàng)目(2015JM6359)

作者簡(jiǎn)介:

通信地址：710121 陜西省西安市長(zhǎng)安區(qū)韋郭路西安郵電大學(xué)計(jì)算機(jī)學(xué)院

Address:School of Computer Science & Technology,Xi’an University of Posts and Telecommunications,Weiguo Rd,Chang’an District,Xi’an 710121,Shaanxi,P.R.China

A software credibility measurement model based on test data and D-S theory

SUN Jia-ze1,2,WANG Shu-yan2

(1. School of Information and Technology,Northwest University,Xi’an 710127;

2.School of Computer Science & Technology,Xi’an University of Posts and Telecommunications,Xi’an 710121,China)

Abstract:Considering that the objectivity of software credibility measurement model is not strong, we present a testing-based software credibility measurement and assessment model, which uses software testing process data as the credible evidence. In the model, the key credible attributes of the software testing process are selected and quantitatively measured according to the software test procedure and the Capability Maturity Model (CMM) for software.Finally,the dispersive confidence indexes are fused by the Dempster/Shafer (D-S ) evidence theory,and the software credibility is achieved.Classical examples show that the model is effective in software credibility measurement.

Key words:test data;credibility measure;D-S evidence theory

1引言

20世紀(jì)60年代末，“軟件危機(jī)”的爆發(fā)促成了軟件工程學(xué)科的誕生。近年來(lái)，軟件的開(kāi)發(fā)環(huán)境和運(yùn)行環(huán)境已經(jīng)從傳統(tǒng)的封閉、靜態(tài)環(huán)境發(fā)展為開(kāi)放、動(dòng)態(tài)、多變的互聯(lián)網(wǎng)環(huán)境，按照傳統(tǒng)軟件工程生產(chǎn)的軟件系統(tǒng)變得日趨龐大和難以駕馭，缺陷和漏洞難以避免，經(jīng)常發(fā)生各種故障和失效，“軟件可信性”問(wèn)題由此而產(chǎn)生。軟件的“可信性”是指軟件系統(tǒng)的動(dòng)態(tài)行為及其結(jié)果總是符合人們的預(yù)期，并且在其受到干擾(例如操作錯(cuò)誤、環(huán)境影響、外部攻擊等)時(shí)仍能提供連續(xù)正確的服務(wù)[1]，是客觀對(duì)象諸多屬性的一個(gè)綜合結(jié)果。

可信性評(píng)估是軟件可信研究中的一個(gè)重要問(wèn)題,相關(guān)理論和方法[2]尚處于初期研究階段。20世紀(jì)80年代末,美國(guó)國(guó)家安全局發(fā)起了“可信軟件方法學(xué)”[3]的研究，將軟件過(guò)程可信性分為從T0到T5逐步提升的六個(gè)可信級(jí)別。為支持可信性評(píng)估,可信軟件方法學(xué)列出了44條影響軟件可信性的可信原則[4]，這些可信原則為軟件過(guò)程可信性評(píng)估提供了判斷依據(jù)，但存在著可信性評(píng)估結(jié)果主觀性強(qiáng)和不夠精確的缺點(diǎn)。這樣的判斷結(jié)果容易受到評(píng)估人員的主觀因素影響,使得判斷依據(jù)缺乏客觀性,從而影響評(píng)估結(jié)果的客觀性和準(zhǔn)確性。文獻(xiàn)[5]提出了基于可信樹(shù)的軟件可信度量評(píng)估方法。該方法以決策樹(shù)為基礎(chǔ),提出可信樹(shù)這一新的概念,并利用可信樹(shù)對(duì)軟件可信性進(jìn)行評(píng)估。然而，該方法對(duì)可信因子的評(píng)分完全依靠專(zhuān)家判斷,難以保證評(píng)估結(jié)果的客觀公正性。在軟件評(píng)估的分級(jí)模型方面,文獻(xiàn)[2]描述了一種采用軟件分級(jí)模型對(duì)可信性進(jìn)行評(píng)估的方法，但評(píng)估結(jié)果是二值的,即可信或不可信；在可信證據(jù)模型及度量方面,文獻(xiàn)[6]建立了基于驗(yàn)證的可信證據(jù)模型,并在此基礎(chǔ)上給出了一種基于軟件認(rèn)知程度的可信評(píng)估方法?？傊?可信評(píng)估分級(jí)模型、屬性模型、證據(jù)模型與評(píng)估框架之間相互聯(lián)系,不能將其分開(kāi)來(lái)進(jìn)行研究。

總結(jié)分析以上相關(guān)研究工作,目前對(duì)軟件可信評(píng)估的研究存在下述不足[7]：(1)這些方法只給出了可信評(píng)估的概念模型的定性評(píng)價(jià),評(píng)估過(guò)多地依賴于評(píng)估人員的主觀認(rèn)識(shí)和經(jīng)驗(yàn),評(píng)估結(jié)果的準(zhǔn)確性和客觀性受到影響。(2)這些評(píng)價(jià)都是針對(duì)軟件成品進(jìn)行的,只有在軟件最終可使用之后,才能對(duì)其可信性有所感知。這極大限制了可信性評(píng)價(jià)可以發(fā)揮的作用，軟件開(kāi)發(fā)人員正在使用某種可信平臺(tái)進(jìn)行軟件開(kāi)發(fā),卻無(wú)法在其工作過(guò)程中對(duì)手中軟件原型的可信程度有所認(rèn)識(shí)，這無(wú)疑會(huì)影響開(kāi)發(fā)人員在開(kāi)發(fā)過(guò)程中對(duì)質(zhì)量管理的效率和效果。

針對(duì)以上軟件可信性度量存在的問(wèn)題，軟件可信性的評(píng)估必須由可信軟件過(guò)程提供評(píng)估證據(jù)。軟件測(cè)試作為保證軟件質(zhì)量和可靠性的重要手段，它貫穿于軟件生命周期的整個(gè)過(guò)程，是提供軟件可信性證據(jù)的一個(gè)有效而又現(xiàn)實(shí)的手段。

本文提出基于軟件測(cè)試過(guò)程數(shù)據(jù)[8]的可信性評(píng)估方法，以軟件可信性評(píng)估作為目標(biāo)，通過(guò)測(cè)試過(guò)程數(shù)據(jù)為可信軟件提供定量的度量評(píng)估方法，建立基于測(cè)試數(shù)據(jù)的定量評(píng)估模型，減少評(píng)估過(guò)程中人員的主觀因素,提高評(píng)估結(jié)果的準(zhǔn)確性和客觀性。同時(shí)采用D-S(Dempster/Shafer)證據(jù)模型[9]綜合其中若干種證據(jù)和評(píng)價(jià)模型，建立多維可信屬性的多尺度定量綜合評(píng)估模型。本模型可以在軟件開(kāi)發(fā)過(guò)程中通過(guò)軟件測(cè)試對(duì)軟件的可信性進(jìn)行評(píng)估，對(duì)軟件的可信性進(jìn)行感知，通過(guò)可信性評(píng)估的反饋，促進(jìn)開(kāi)發(fā)人員尋找軟件錯(cuò)誤，提高發(fā)布軟件的可信性。

2測(cè)試過(guò)程中的關(guān)鍵可信屬性

軟件測(cè)試過(guò)程是軟件生產(chǎn)過(guò)程中的關(guān)鍵過(guò)程，監(jiān)控軟件測(cè)試過(guò)程，對(duì)測(cè)試過(guò)程和測(cè)試結(jié)果進(jìn)行分析是對(duì)軟件可信性進(jìn)行度量的有效途徑之一。結(jié)合軟件能力成熟度模型CMM(Capability Maturity Model for Software)中的18個(gè)關(guān)鍵過(guò)程域[10]，本文提出基于測(cè)試過(guò)程數(shù)據(jù)的軟件可信定量評(píng)估模型,其模型圖如圖1所示。

Figure 1　Software credibility measurement model based on the data of the test process 圖1　基于測(cè)試過(guò)程數(shù)據(jù)的軟件可信評(píng)估模型

2.1測(cè)試管理過(guò)程可信指標(biāo)

軟件測(cè)試過(guò)程的管理就是設(shè)置專(zhuān)業(yè)高效的組織機(jī)構(gòu)，根據(jù)測(cè)試需求、測(cè)試計(jì)劃,對(duì)測(cè)試過(guò)程中每個(gè)狀態(tài)進(jìn)行記錄、跟蹤和管理,并提供相關(guān)的分析和統(tǒng)計(jì)功能,生成各種分析統(tǒng)計(jì)報(bào)表。通過(guò)對(duì)詳細(xì)記錄的分析,形成較為完整的軟件測(cè)試管理文檔,避免同樣的錯(cuò)誤在軟件開(kāi)發(fā)過(guò)程中再次發(fā)生,從而提高軟件開(kāi)發(fā)質(zhì)量,所以測(cè)試管理是軟件可信性度量的一個(gè)關(guān)鍵屬性。用測(cè)試過(guò)程管理的有效性來(lái)作為可信性評(píng)估的一個(gè)重要指標(biāo)。

管理過(guò)程可信指標(biāo)包括測(cè)試需求、測(cè)試計(jì)劃、測(cè)試用例的評(píng)審過(guò)程指標(biāo)；測(cè)試過(guò)程中測(cè)試基礎(chǔ)設(shè)施如測(cè)試用例庫(kù)、缺陷庫(kù)等的可跟蹤指標(biāo)；測(cè)試過(guò)程的組織機(jī)構(gòu)的健全指標(biāo)；測(cè)試過(guò)程中的量化程度指標(biāo)。對(duì)這些指標(biāo)通過(guò)加權(quán)平均的方法可以得到管理過(guò)程可信指標(biāo)。

2.2測(cè)試優(yōu)化過(guò)程可信指標(biāo)

在軟件測(cè)試過(guò)程中，為了提供高可信的軟件，軟件企業(yè)對(duì)于測(cè)試過(guò)程要達(dá)到優(yōu)化級(jí)，要對(duì)整個(gè)開(kāi)發(fā)過(guò)程進(jìn)行不斷的優(yōu)化，采取主動(dòng)措施找出過(guò)程的弱點(diǎn)與長(zhǎng)處，以達(dá)到預(yù)防缺陷的目標(biāo)。同時(shí)，分析有關(guān)過(guò)程的有效性的資料，以及提出對(duì)過(guò)程進(jìn)行修改的建議。因此，優(yōu)化過(guò)程是軟件可信性度量的一個(gè)重要屬性。用軟件測(cè)試過(guò)程中的優(yōu)化水平來(lái)作為軟件可信性評(píng)估的一個(gè)重要指標(biāo)。

優(yōu)化過(guò)程可信指標(biāo)包括測(cè)試過(guò)程的定量分析決策指標(biāo)；測(cè)試周期內(nèi)測(cè)試活動(dòng)變更的穩(wěn)定性指標(biāo)；測(cè)試結(jié)果反饋推廣指標(biāo)。對(duì)這些指標(biāo)通過(guò)加權(quán)平均的方法可以得到優(yōu)化過(guò)程的可信指標(biāo)。

2.3測(cè)試用例可信指標(biāo)

測(cè)試用例是軟件測(cè)試過(guò)程的核心，測(cè)試用例設(shè)計(jì)的好壞和測(cè)試用例執(zhí)行的結(jié)果分析是軟件測(cè)試的關(guān)鍵。以測(cè)試用例為核心來(lái)觀察測(cè)試過(guò)程中測(cè)試用例的計(jì)劃、執(zhí)行和跟蹤是測(cè)試有效性的有力證明。測(cè)試用例對(duì)軟件的覆蓋率體現(xiàn)了軟件本身的可靠性和正確性。測(cè)試用例集中測(cè)試用例的通過(guò)率體現(xiàn)了軟件的健壯性和功能性，測(cè)試用例集變更的覆蓋率序列衡量了更改后的測(cè)試用例集是否有效，從而也可以用來(lái)確認(rèn)本次修改是否有效，是否可信。測(cè)試用例的修改對(duì)測(cè)試的覆蓋率是正向的影響，即語(yǔ)句覆蓋率、分支覆蓋率提升，且測(cè)試用例集中測(cè)試用例通過(guò)數(shù)增加，那么認(rèn)為本次測(cè)試過(guò)程是有效且可信的。

測(cè)試用例可信指標(biāo)包括測(cè)試用例集的覆蓋率和通過(guò)率指標(biāo)；測(cè)試用例集增加測(cè)試覆蓋提升速度指標(biāo)；單個(gè)測(cè)試用例揭錯(cuò)能力指標(biāo)。對(duì)這些指標(biāo)通過(guò)加權(quán)平均的方法可以得到管理過(guò)程可信指標(biāo)。

2.4基于測(cè)試過(guò)程可信指標(biāo)的軟件可信性綜合度量

從測(cè)試過(guò)程的關(guān)鍵屬性中獲取到上述影響軟件可信性的重要指標(biāo)：管理過(guò)程可信指標(biāo)、優(yōu)化過(guò)程可信指標(biāo)和測(cè)試用例可信指標(biāo)，但這些指標(biāo)是相對(duì)離散的，而且是從不同角度和層面對(duì)軟件可信進(jìn)行的描述和評(píng)價(jià)，我們最終是要對(duì)軟件產(chǎn)品整體做出可信性評(píng)定，所以，需要將上述可信指標(biāo)通過(guò)適當(dāng)?shù)哪Ｐ瓦M(jìn)行統(tǒng)一整合，最終得出一個(gè)整體的評(píng)價(jià)結(jié)果。本文用模糊集和隸屬函數(shù)的知識(shí)，采用不確定證據(jù)合并的D-S證據(jù)理論將各個(gè)關(guān)鍵可信屬性進(jìn)行整合，對(duì)軟件可信性進(jìn)行綜合度量，得出綜合反映軟件可信性的量化值，再根據(jù)劃分的軟件可信等級(jí)對(duì)照確定軟件產(chǎn)品的可信等級(jí)。

3基于測(cè)試數(shù)據(jù)和D-S證據(jù)理論的可信性度量模型

D-S證據(jù)理論是由Dempster和Shafer于1976年提出的一種不精確推理理論，該理論作為一種不確定推理方法主要用來(lái)處理不確定信息。本文中主要用來(lái)對(duì)不確定的、分散的、不同層面的屬性信息加以整合，以獲得對(duì)被評(píng)估問(wèn)題的一致性解釋和全面的描述。D-S證據(jù)理論基本概念[9]如下：

若對(duì)論域U中的任一元素x，有A(x)∈[0,1]與之對(duì)應(yīng)，則稱(chēng)A是U上的一個(gè)模糊集，當(dāng)x在U中變動(dòng)時(shí)，A(x)就是一個(gè)函數(shù)，稱(chēng)為A的隸屬函數(shù)，A(x)稱(chēng)為x對(duì)A的隸屬度。

設(shè)D是變量x所有可能取值的集合，且D中的元素是互斥的，在任一時(shí)刻x都取且只能取D中的某一個(gè)元素為值，則稱(chēng)D為x的樣本空間，也稱(chēng)D為辨別框。在證據(jù)理論中，D的任何一個(gè)子集A都對(duì)應(yīng)于一個(gè)關(guān)于x的命題，稱(chēng)該命題為“x的值在A中”。

定義1(概率分配函數(shù))設(shè)函數(shù)M:2D→[0,1]，且滿足：

則稱(chēng)M是2D上的概率分配函數(shù)，M(A)稱(chēng)為A的基本概率數(shù)。

Bel函數(shù)又稱(chēng)為下限函數(shù)，Bel(A)表示對(duì)命題A為真的信任程度。

定義3(似然函數(shù))M:2D→[0,1]，且PI(A)=1-Bel(┐A),其中A?D表示對(duì)A為非假的信任程度。

定義4(概率分配函數(shù)正交和)設(shè)M1和M2是兩個(gè)概率分配函數(shù)，則其正交和M=M1⊕M2，

定義5設(shè)M1,M2,…,Mn是n個(gè)概率分配函數(shù)，則其正交和M=M1⊕M2⊕…⊕Mn為：M(?)=0

經(jīng)過(guò)計(jì)算得到的可信指標(biāo)，經(jīng)過(guò)隸屬度函數(shù)運(yùn)算后得到數(shù)個(gè)與隸屬度函數(shù)個(gè)數(shù)相同的元組，然后通過(guò)D-S合并理論將數(shù)個(gè)n元組合并成一個(gè)n元組，n元組中n對(duì)應(yīng)了對(duì)應(yīng)用軟件劃分的等級(jí)，從這一條數(shù)據(jù)可以得到整體評(píng)估出的可信度情況。

隸屬度函數(shù)劃分的集合假設(shè)為A1,A2,…,An，個(gè)數(shù)n正是應(yīng)用軟件的劃分等級(jí)數(shù)。從隸屬度函數(shù)的定義來(lái)看，軟件的可信度等級(jí)是相互獨(dú)立的，但是其整體又是對(duì)一個(gè)軟件可信性的完整描述，所以，這些集合必定滿足M(A1∪A2∪…∪An)=1,M(A1∩A2∩…∩An)=0的條件。這也是使用D-S合并理論的前提，最終將從不同方面描述的軟件可信性的屬性指標(biāo)整合成唯一的描述軟件可信的指標(biāo)。

圖2說(shuō)明了基于測(cè)試過(guò)程數(shù)據(jù)的軟件可信性度量的整個(gè)過(guò)程。首先從測(cè)試數(shù)據(jù)中獲取第二部分所述的指標(biāo)數(shù)據(jù)，然后分別計(jì)算五個(gè)等級(jí)的隸屬度，利用D-S合并理論進(jìn)行合并，得到待評(píng)估軟件的綜合可信性。

Figure 2　Software credibility measurement process based on the test process 圖2　面向測(cè)試過(guò)程的軟件可信性度量過(guò)程

4實(shí)驗(yàn)設(shè)計(jì)分析

項(xiàng)目組自主開(kāi)發(fā)了集成化的智能組合軟件測(cè)試平臺(tái)，該測(cè)試平臺(tái)集組合測(cè)試、白盒測(cè)試、功能測(cè)試、性能測(cè)試、測(cè)試管理及測(cè)試用例智能生成和約簡(jiǎn)于一體。利用測(cè)試平臺(tái)中提供的測(cè)試管理過(guò)程的基礎(chǔ)設(shè)施：測(cè)試用例庫(kù)、缺陷庫(kù)、配置管理庫(kù)中的測(cè)試數(shù)據(jù)，在此基礎(chǔ)上根據(jù)可信評(píng)估關(guān)鍵屬性的指標(biāo)需要來(lái)提取相關(guān)數(shù)據(jù)進(jìn)行關(guān)鍵指標(biāo)的量化，各個(gè)量化的指標(biāo)借助于D-S理論來(lái)進(jìn)行融合，進(jìn)而得到軟件系統(tǒng)的綜合可信程度，確定其可信等級(jí)。實(shí)驗(yàn)系統(tǒng)的體系框架如圖3所示。

Figure 3　Software credibility measurement system architecture 圖3　軟件可信度量系統(tǒng)體系框架

將軟件的可信等級(jí)由小到大劃分為五個(gè)等級(jí)， 定義對(duì)應(yīng)的五個(gè)隸屬度函數(shù)，這五個(gè)隸屬度函數(shù)是對(duì)軟件可信性五個(gè)等級(jí)集合性的描述，從概率分配角度來(lái)講，每個(gè)可信度級(jí)別都體現(xiàn)了一個(gè)從屬的集合，而這五個(gè)數(shù)正是對(duì)屬于相對(duì)應(yīng)的級(jí)別的概率大小。

其中x∈[0,1]。

將管理過(guò)程可信指標(biāo)、優(yōu)化過(guò)程可信指標(biāo)和測(cè)試用例可信指標(biāo)分別代入五個(gè)隸屬度函數(shù)，得出度量指標(biāo)對(duì)應(yīng)可信性五個(gè)等級(jí)的隸屬度。然后運(yùn)用D-S合并理論，計(jì)算出影響合并效果的K，然后對(duì)等級(jí)集合進(jìn)行整合，這樣便可以將等級(jí)下三個(gè)層次的本屬性進(jìn)行整合，得到一個(gè)標(biāo)志應(yīng)用軟件的等級(jí)概率。以此便可得到應(yīng)用軟件在五個(gè)可信等級(jí)內(nèi)的概率大小，得到整個(gè)應(yīng)用軟件的可信度等級(jí)。

對(duì)本項(xiàng)目組早期開(kāi)發(fā)的軟件系統(tǒng)利用上述軟件可信度量系統(tǒng)進(jìn)行度量，對(duì)于能夠通過(guò)測(cè)試平臺(tái)管理工具自動(dòng)提取的指標(biāo)，采用系統(tǒng)自動(dòng)提取的方式定量度量，對(duì)于一些目前還無(wú)法使用工具自動(dòng)獲取的指標(biāo)，采用多名領(lǐng)域?qū)＜掖蚍值姆椒▉?lái)定量度量；再利用本文提出的可信評(píng)估模型綜合方法進(jìn)行綜合度量，得到的三個(gè)關(guān)鍵可信指標(biāo)分別為：管理過(guò)程可信指標(biāo)x=0.8359，優(yōu)化過(guò)程可信指標(biāo)y=0.51，測(cè)試用例可信指標(biāo)z=0.810；經(jīng)過(guò)五個(gè)隸屬度函數(shù)計(jì)算，可得管理過(guò)程可信性：

f1(0.8359)=e-(0.8395)2=0.4942

f2(0.8359)=e-(0.8395-0.25)2=0.7064

f3(0.8359)=e-(0.8395-0.5)2=0.8911

f4(0.8359)=e-(0.8395-0.75)2=0.9920

f5(0.8359)=e-(0.8395-1.0)2=0.9743

再經(jīng)過(guò)隸屬度歸一，得到標(biāo)識(shí)不同項(xiàng)目管理可信等級(jí)的五元組，(0.121 8,0.173 5,0.219 6,0.244 5,0.238 5)。

同理可得，優(yōu)化過(guò)程可信性等級(jí)五元組為：(0.173 8,0.210 7,0.225 4,0.212 8,0.177 3)；測(cè)試用例可信性等級(jí)五元組為：(0.126 0，0.177 4，0.220 5，0.241 9，0.234 2)。

對(duì)三個(gè)五元組進(jìn)行D-S理論的合并，計(jì)算影響合并效果的K值，K=0.2342。

最終軟件可信性對(duì)應(yīng)五個(gè)等級(jí)的隸屬度為(0.062 6，0.152 2，0.256 2，0.295 4，0.232 5)。由此可以看出，該軟件對(duì)應(yīng)等級(jí)為第四等級(jí)可能可信的隸屬度最高(0.295 4)，該軟件的可信度較大。該評(píng)估結(jié)果和該軟件投入使用兩年的表現(xiàn)相符，驗(yàn)證了該評(píng)估模型的有效性。

5結(jié)束語(yǔ)

本文根據(jù)測(cè)試過(guò)程和CMM能力成熟度模型選取軟件測(cè)試過(guò)程中的關(guān)鍵可信屬性,通過(guò)測(cè)試過(guò)程數(shù)據(jù)進(jìn)行關(guān)鍵可信指標(biāo)的具體度量,最后將這些分散的可信指標(biāo)通過(guò)D-S證據(jù)理論進(jìn)行融合得到軟件的整體可信性,提供了一種有效的軟件可信性度量模型。典型軟件系統(tǒng)的實(shí)驗(yàn)驗(yàn)證了本模型的有效性。但是，該模型在具體指標(biāo)的選取上是比較粗糙的，今后需要進(jìn)一步研究，進(jìn)行細(xì)化和明確。

參考文獻(xiàn):

[1]Liu Ke， Shan Zhi-guang，Wang Ji，et al. Overview of major research plan of trustworthy software [J].Science Foundation in China,2008,22(3):145-151.(in Chinese)

[2]Lang Bo， Liu Xu-dong， Wang Huai-min， et al. A classification model for software trustworthiness[J]. Journal of Frontiers of Computer Science and Technology,2010,4(3):231-239.(in Chinese)

[3]Amoroso E,Nguyen T,Weiss J,et al. Toward an approach to measuring software trust[C]//Proc of the IEEE Symposium on Research in Security and Privacy,1991:198-218.

[4]Amoroso E,Taylor C,Watson J,et al.A process-oriented methodology for assessing and improving software trust worthiness[C]//Proc of the 2nd ACM Conference on Computer and Communications Security,1994:39-50.

[5]Zhou J. Design on evaluation system of software credible[J].Software Guide,2008,7(2):11-12.

[6]Ding Xue-lei，Wang Huai-min，Wang Yuan-yuan，et al.Verification oriented trustworthiness evidence and trustworthiness evaluation of software [J]. Journal of Frontiers of Computer Science and Technology,2010,4(1):46-53.(in Chinese)

[7]Tao Hong-wei. Research on the measurement models of software trustworthiness based on attributes[D]. Shanghai:East China Normal University,2011.(in Chinese)

[8]Qian Hong-bing,Zhu Xiao-jie,Jin Mao-zhong. Research on testing-based software credibility measurement and assessment [C]//Proc of World Congress on Software Engineering,2009:59-64.

[9]Yang Jian-bo,Xu Dong-ling. On the evidential reasoning algorithm for multiple attribute decision analysis under uncertainty[J]. IEEE Transactions on Systems,Man and Cybernetics,Part A:Systems and Humans,2002,32(3):289-304.

[10]Bamford R,Deibler W. Software engineering models for quality:Comparing the SEI capability maturity model (CMM) to ISO 9001[C]//Proc of the 3rd International Software Engineering Standards Symposium (ISESS’97),1997:290-296.

參考文獻(xiàn):附中文

[1]劉克,單志廣,王戟,等.“可信軟件基礎(chǔ)研究”重大研究計(jì)劃綜述[J].中國(guó)科學(xué)基金，2008,22(3):145-151.

[2]郎波，劉旭東，王懷民，等. 一種軟件可信分級(jí)模型[J].計(jì)算機(jī)科學(xué)與探索,2010,4(3):231-239.

[6]丁學(xué)雷,王懷民,王元元,等. 面向驗(yàn)證的軟件可信證據(jù)與可信評(píng)估[J]. 計(jì)算機(jī)科學(xué)與探索,2010,4(1):46-53.

[7]陶紅偉.基于屬性的軟件可信性度量模型研究[D].上海：華東師范大學(xué)，2011.

孫家澤(1980-),男,河南南陽(yáng)人，博士，副教授，CCF會(huì)員(E200030411G)，研究方向?yàn)橹悄軆?yōu)化。E-mail:sunjiaze@126.com

SUN Jia-ze,born in 1980,PhD,associate professor,CCF member(E200030411G),his research interest includes intelligent optimization.

王曙燕(1964-),女,陜西西安人，博士，教授，CCF會(huì)員(E200010850S)，研究方向?yàn)檐浖y(cè)試和智能優(yōu)化。E-mail:wsylxj@126.com

WANG Shu-yan,born in 1964,PhD,professor,CCF member(E200010850S)，her research interests include software testing,and intelligent optimization.