李浩, 唐碩, 閆曉東

(1.西北工業(yè)大學(xué) 航天學(xué)院, 陜西 西安 710072;2.西北工業(yè)大學(xué) 航天運載系統(tǒng)仿真實驗室, 陜西 西安 710072)

基于可信度指標體系的VV&A過程模型研究

李浩1,2, 唐碩1,2, 閆曉東1,2

(1.西北工業(yè)大學(xué) 航天學(xué)院, 陜西 西安 710072;2.西北工業(yè)大學(xué) 航天運載系統(tǒng)仿真實驗室, 陜西 西安 710072)

驗證、校核和確認(VV&A)過程的規(guī)范化對提高建模與仿真全生命周期VV&A工作效率和準確性具有重要意義。從VV&A任務(wù)分配和VV&A信息反饋的角度,提出了一種基于可信度指標體系的VV&A過程模型。該過程模型是在DMSO VV&A RPG過程模型基礎(chǔ)上,引入可信度指標體系以明確VV&A各階段的具體任務(wù)和反饋機制。另外,引入VV&A“兩個方向”和“兩類反饋”概念解析了采用該過程模型的VV&A工作思路。最后,將該過程模型用于某飛行器彈道仿真系統(tǒng)的VV&A工作中,實踐證明，該過程模型在VV&A工程應(yīng)用中起到了很好的指導(dǎo)作用。

VV&A; 過程模型; 可信度指標體系; 建模與仿真

引言

目前國內(nèi)外仿真界已經(jīng)達成共識:沒有經(jīng)過驗證的仿真模型沒有任何價值,沒有經(jīng)過可信性評估的仿真系統(tǒng)也沒有任何價值[1]。VV&A是一項非常復(fù)雜的工作,原因在于:活動周期長;涉及因素眾多;具體評估分析工作繁而雜等。建立合理、有效的VV&A過程模型是有效地組織VV&A工作、提高VV&A工作效率和準確性的重要途徑,因此VV&A過程模型研究是國內(nèi)外VV&A理論研究的重要內(nèi)容。各個國家和組織發(fā)布的VV&A標準規(guī)范中都明確給出了VV&A過程的定義,如美國的DMSO VV&A RPG[2]、法國等5國的REVVA[3]、加拿大的DND SECO VV&A指南[4]等都明確提出了符合本國實際情況的VV&A過程模型,尤其是REVVA更是將過程(Process)作為其理論“三支柱”(3 Pillars)核心概念之一。國內(nèi)相關(guān)研究也取得了各種成果,如文獻[5]對復(fù)雜大系統(tǒng)的VV&A過程模型進行了研究;文獻[6]從計劃和開發(fā)結(jié)構(gòu)化角度給出了全周期的VV&A改進過程模型等。

上述各種過程模型都是從宏觀上對VV&A工作流程進行了規(guī)范、指導(dǎo),但沒有明確指明各階段的工作內(nèi)容,并且沒有明確指明VV&A各階段之間及VV&A和建模與仿真(Modeling and Simulaion,M&S)之間的評估信息反饋機制。另外,由于VV&A對象不同和不同VV&A工程的各階段工作重視程度不同,VV&A一般過程模型在實際VV&A工程應(yīng)用中有很大的局限性。

針對以上問題,在對VV&A基本活動和一般過程模型的研究、總結(jié)之后,結(jié)合工程應(yīng)用,將M&S可信度指標體系引入VV&A過程模型中,提出了一種基于可信度指標體系的VV&A過程模型。

1 一般VV&A過程模型

1.1 VV&A過程模型的研究意義

校核、驗證與確認組成了VV&A工作的三大基本活動,但是它們之間存在著工作的交互及數(shù)據(jù)、信息等資源的交流,因此為了有效、全面地進行VV&A活動，必須對其進行規(guī)范化的過程管理,而過程管理是有效地進行VV&A工作必不可少的環(huán)節(jié),四者關(guān)系如圖1所示。

圖1 VV&A基本活動關(guān)系圖

過程管理(Process Management)為整個VV&A工作提供一種流程規(guī)范,讓全周期VV&A活動有章可循:活動流程的規(guī)范化、資源管理的規(guī)范化、各類文檔的規(guī)范化等。因此,為了有效地組織VV&A活動，必須建立合理的VV&A過程模型,對VV&A基本活動進行規(guī)范化過程管理。

1.2 RPG VV&A過程模型

目前,各種VV&A規(guī)范指南給出的VV&A過程模型大多數(shù)將VV&A分為:VV&A需求和規(guī)劃,校核和驗證(V&V)以及確認。其中最具代表性的是DOD RPG的過程模型[2],將VV&A活動分為:校核需求、制定V&V計劃、驗證概念模型、校核設(shè)計、校核實現(xiàn)、驗證結(jié)果和確認評審七個主要階段,過程模型如圖2所示。

圖2 DOD RPG過程模型

1.3 過程模型的基本屬性

盡管各種過程模型的形式和階段數(shù)目不同,但是都體現(xiàn)了VV&A過程模型的共同屬性:全周期性、層次化性和反饋性。

(1)全周期性:VV&A不是僅針對M&S的某一個階段或步驟,而是對M&S進行全生命周期的可信度質(zhì)量監(jiān)控。

(2)層次化性:VV&A工作是一個非常復(fù)雜的工作,必須將VV&A工作進行層次化分解。VV&A這種“n個階段”的過程模型很好地體現(xiàn)了“將復(fù)雜問題簡單化”的解決問題思路。

(3)反饋性:VV&A工作的目的就是不斷地將V&V活動得到的模型修正信息反饋到M&S中,使M&S工作沿著正確的方向發(fā)展,盡可能地少走彎路。反饋性體現(xiàn)了VV&A作為M&S“反饋校正器”的作用。

本文所提基于可信度指標體系的VV&A過程模型也是在上述三個基本屬性的基礎(chǔ)上建立的,將可信度指標體系引入到VV&A工作中,在M&S全周期內(nèi)層次化地將VV&A信息反饋到M&S中,保證M&S的可信度。

2 可信度指標體系

M&S可信度指標反映的是M&S某種屬性的可信度度量,用于評價模型或仿真系統(tǒng)特定屬性的可信性。根據(jù)模型或者系統(tǒng)的可信度內(nèi)在關(guān)系將各種可信度指標組織在一起,構(gòu)成層次化的可信度指標體系,反映的是整個模型或系統(tǒng)的可信度。因此,根據(jù)M&S特點構(gòu)建完整、準確的可信度指標體系往往是VV&A成功的關(guān)鍵之一。

根據(jù)系統(tǒng)或者模型的特點和VV&A工作的重點,可信度指標體系主要分為以下三類:

類型Ⅰ：從仿真可信度基本要素角度構(gòu)建,如文獻[7]將復(fù)雜大系統(tǒng)仿真可信度的高層指標分為有效性、正確性、互操作性、可靠性和可用性;

類型Ⅱ：從VV&A過程階段角度構(gòu)建,如文獻[8]將魚雷控制半實物仿真系統(tǒng)可信度高層指標分為數(shù)學(xué)模型校核指標、數(shù)學(xué)模型驗證指標、仿真模型校核指標、仿真模型驗證指標、物理設(shè)備校核指標和物理設(shè)備驗證指標;

類型Ⅲ：從評估對象組成單元角度構(gòu)建,如將某飛行器六自由度彈道仿真模型可信度分為動力學(xué)子模型可信度、氣動子模型可信度、制導(dǎo)子模型可信度、控制子模型可信度和環(huán)境子模型可信度。

三種可信度指標體系有各自的特點,不僅僅是構(gòu)建方式不同,在考慮的因素、詳細程度上也是有差別的,從而導(dǎo)致適用對象不同。三者之間的對比如表1所示。

表1 三類可信度指標體系對比

通過以上分析,必須根據(jù)VV&A工作對象及評估分析重點選擇可信度指標體系構(gòu)建方式。不管采用哪類方式,原則都是將影響模型或系統(tǒng)可信度的所有因素概括到可信度指標體系中。

3 改進的VV&A過程模型

本文所提VV&A過程模型在DMSO VV&A RPG中VV&A過程模型的基礎(chǔ)上,通過引入可信度指標體系,對VV&A全生命周期內(nèi)的任務(wù)分配和VV&A信息的反饋進行了改進。過程模型示意圖如圖3所示,其中:

(1)PVV&A和PM&S:VV&A過程和M&S過程,二者是相互伴隨的兩個并行過程,在整個生命周期內(nèi)存在著數(shù)據(jù)模型信息等的交互。

(2)CreIndSys:可信度指標體系,可根據(jù)具體情況按照2.2節(jié)中介紹的三種方式構(gòu)建。

(3)Activity:具體V&V活動,分為底層可信度指標的求取和綜合兩類,形式化表示為<ζ,O,In,Cre,M,Out>,其中:

①ζ:活動類型,0代表底層指標的求取,針對的是系統(tǒng)或模型某一特征屬性;1代表的是底層指標的綜合,針對的是M&S某一階段的工作內(nèi)容或者子系統(tǒng)、子模型;

②O:活動對象,當(dāng)ζ為0時,O為系統(tǒng)或模型某一可信度特征屬性;當(dāng)ζ為1時,O為M&S某一階段的工作或者是某一子模型;

③In:活動的輸入內(nèi)容,指V&V活動所需的模型信息、數(shù)據(jù)、文檔等;

④Cre:可信度指標,當(dāng)ζ為0時,Cre為CreIndSys的底層指標,當(dāng)ζ為1時,Cre為CreIndSys的高層指標;

⑤M:活動所使用的方法,當(dāng)ζ為0時,M主要指審查、兩樣本一致性檢驗等V&V方法;當(dāng)ζ為1時,M主要指模糊層次分析法等確認方法;

⑥Out:活動的輸出,指V&V活動得到可信度評價信息及模型修改信息。

(4)fRT和fPha:實時反饋和階段反饋,實時反饋在每一V&V活動的進行都要形成V&V信息的反饋,實時校正相應(yīng)階段M&S工作,形成VV&A的實時反饋。階段反饋在VV&A縱向過程中,每一V&V階段工作結(jié)束,都形成階段信息反饋,以確保M&S階段工作具有很高的可信度可以進入下一階段。

下面通過VV&A“兩個方向”和“兩類反饋”、可信度指標體系的作用和基于所提過程模型VV&A工作流程三方面介紹改進的VV&A過程模型。

圖3 改進的VV&A過程示意圖

3.1 “兩個方向”和“兩類反饋”

“兩個方向”和“兩類反饋”是本文中VV&A工作流程的核心思想,對這兩個概念進行論述,圖4是二者的示意圖。

(1)兩個方向

VV&A縱向:隨時間的推移,與M&S各工作階段相對應(yīng),VV&A工作分階段進行。VV&A縱向的主線為:需求校核→概念模型V&V→計算機模型校核→計算機模型驗證→M&S使用V&V→確認評估。

VV&A橫向:在VV&A各階段中,與M&S階段工作內(nèi)容相對應(yīng),VV&A階段工作內(nèi)容進行展開。可信度指標體系中相對應(yīng)的各層指標的獲取構(gòu)成了此方向的具體工作內(nèi)容。

(2)兩類反饋

實時反饋:在VV&A橫向過程中,每一V&V活動的進行(即某項可信度指標的獲取)都要形成V&V信息的反饋,實時校正相應(yīng)階段M&S工作,形成VV&A的實時反饋。

階段反饋:在VV&A縱向過程中,每一V&V階段工作結(jié)束,都要進行M&S階段工作的整體評估,形成階段信息反饋,以確保M&S階段工作具有很高的可信度可以進入下一階段。

圖4 “兩個方向”和“兩類反饋”示意圖

“兩個方向”明確了VV&A工作流程的方向,“兩類反饋”明確了VV&A信息反饋機制。在VV&A一般過程模型的基礎(chǔ)上,引入這兩個概念能夠幫助明確改進VV&A工作流程的工作機制,增加工程管理性,從而增強了工程應(yīng)用性,這也是本文所提基于可信度指標體系VV&A過程模型的核心思想。

3.2 可信度指標體系的作用

可信度指標體系反映影響M&S是否滿足預(yù)期目標的作用,本文中可信度指標體系在改進VV&A工作模型中還具有以下作用:

(1)明確了VV&A各階段的工作目標和具體任務(wù),在實際工程應(yīng)用中不可能考慮所有影響M&S可信度的因素,即進行所有V&V活動。任一底層指標的確定過程即是對某一M&S影響因素進行評估的V&V活動;

(2)明確了VV&A過程模型中各種反饋信息,任一指標的獲取都實時地將模型修改意見反饋到M&S中,為M&S調(diào)整提供重要依據(jù);

(3)為專家組成員在確認階段提供重要評審依據(jù),指標體系中各指標值及體系本身反映出的各影響因素之間的相互關(guān)系都是專家在對M&S進行系統(tǒng)確認過程中的重要依據(jù)。

3.3 工作流程

圖5給出了基于可信度指標體系VV&A動作流程的詳細示意圖。由于考慮影響M&S可信度的所有因素,圖中可信度指標體系是采用類型I構(gòu)建的。具體流程如下:

(1)VV&A需求分析

結(jié)合M&S用戶的實際要求,分析M&S內(nèi)容和任務(wù)目的,根據(jù)需要分析可信度因素,構(gòu)建初步的可信度指標體系,確定VV&A基本工作內(nèi)容。主要內(nèi)容為:①根據(jù)M&S各方面內(nèi)容確定VV&A的目標;②根據(jù)所建目標初步建立可信度評估體系;③準備與VV&A工程相關(guān)的各種資源(數(shù)據(jù)、文檔等);④確定VV&A組織關(guān)系,并確認機構(gòu)的權(quán)威性。

(2)VV&A方案設(shè)計階段

根據(jù)VV&A目標和初步的可信度指標體系,產(chǎn)生詳細的VV&A工作計劃,并將任務(wù)分配給各單位。VV&A方案設(shè)計主要工作為:①分解VV&A目標,將VV&A任務(wù)具體化;②對初步可信度評估體系進行分解,建立詳細的可信度指標體系來指導(dǎo)VV&A工作;③將VV&A過程計劃進行優(yōu)化,根據(jù)實際情況制定充分但不繁瑣的VV&A流程;④為各V&V活動選擇合適的V&V方法,即為各個底層可信度指標值的獲取選擇適當(dāng)?shù)腣&V方法。

(3)實施V&V階段

根據(jù)VV&A需求分析階段確定的VV&A任務(wù),按照方案設(shè)計階段制定VV&A計劃,與M&S過程同步對影響M&S可信度的因素進行校核和驗證。

實施V&V是與M&S同步進行的,M&S每進行一步,VV&A工作都會按照計劃對M&S此階段涉及到的可信度因素進行校核與驗證,得到可信度指標體系中相應(yīng)的可信度指標值(定量值與定性描述)。并且實時地將各個指標值及專家意見反饋給M&S工作者,滿足可信度要求則進行下一步M&S工作,反之停止M&S并找出M&S缺陷所在。M&S每一階段結(jié)束時,VV&A必須對此階段M&S所涉及到的可信度因素進行綜合評價,形成VV&A階段性報告。反饋給M&S的具體內(nèi)容包括:V&V數(shù)據(jù)、可信度指標值和V&V報告。

(4)確認階段

確認工作分為兩步:可信度指標值綜合和專家會議。可信度指標綜合工作由VV&A工作者進行,采用模糊層次分析法[8]等方法將底層可信度指標值綜合得到模型或者系統(tǒng)整體可信度。專家會議是召集相關(guān)領(lǐng)域?qū)＜?由M&S工作者提供M&S文檔、數(shù)據(jù)和仿真結(jié)果等信息,V&V工作者提供各階段的V&V報告、數(shù)據(jù)、可信度指標值等V&V信息,按照M&S用戶使用要求說明,共同對模型或者系統(tǒng)的可信度做出評估,評估可信度是否達到使用要求。

圖5 基于可信度指標體系VV&A過程模型示意圖

4 應(yīng)用舉例

M&S需求:建立某高超再入飛行器三自由度彈道數(shù)字仿真模型,對該飛行器彈道性能和制導(dǎo)方法進行分析,并實現(xiàn)彈道可視化顯示。按照前文所提VV&A過程模型,根據(jù)該仿真系統(tǒng)的仿真需求及M&S特點,采用Ⅰ類形式確定該仿真系統(tǒng)的可信度評估指標體系,如圖6和圖7所示。

在M&S全周期內(nèi)根據(jù)可信度指標體系對系統(tǒng)可信度的各個方面進行校核和驗證,并實時地將V&V信息反饋給M&S工作者。綜合各項評估結(jié)果,認為經(jīng)過全周期V&V的該彈道仿真系統(tǒng)在正確性、有效性、可靠性及評估充分性四方面都具備較高的可信度,能夠?qū)崿F(xiàn)彈道性能及指導(dǎo)方法分析等M&S需求,但是各種干擾模型的逼真度、文檔的規(guī)范性及測試的充分性等方面存在欠缺。最后,經(jīng)過專家綜合評定,認為該彈道仿真系統(tǒng)是可信的和可用的,滿足M&S需求。

5 結(jié)束語

本文在研究了各類VV&A過程模型和M&S可信度指標體系構(gòu)建的基礎(chǔ)上,從VV&A任務(wù)分配和VV&A信息反饋的角度對一般VV&A過程進行了改進,提出了基于可信度指標體系的VV&A過程模型。并用于某飛行器彈道仿真系統(tǒng)的VV&A工作中,在一定程度上提高了VV&A工作效率和準確性。但是,由于底層可信度指標存在定量和定性兩類指標,因此如何將兩類指標合理、有效地綜合,得到評估對象整體可信度是本文所提VV&A過程模型的重要內(nèi)容。研究有效地將兩類指標綜合的數(shù)學(xué)手段能夠提高本文所提VV&A過程模型的實際工程應(yīng)用性,這也是今后研究的方向。

[1] 唐見兵,查亞兵,李革.仿真VV&A研究綜述[J].計算機仿真,2006,23(11):82-85.

[2] US DOD Defense Modeling and Simulation Office (DMSO).Verification,validation and accreditation recommended practice guides(RPG)[EB/OL].(2006)[2011. 9].http://www.vva.msco.mil.

[3] ONERA/FOI/FMV/TND.THALES JP 11.20(REVVA) [EB/OL].(2004.12.1) [2011.9].http://vva.foi.se/reports/JP1120-WE5200-D5201-PROSPEC-V1-3.pdf.

[4] Canadian Department of National Defense Synthetic Environment Coordination Office.(DND SECO)Modeling and simulation verification validation and accreditation (VV&A) guidebook ver0.0[R].Canada:DND SECO,2003.

[5] 唐見兵,黃曉慧,焦鵬,等.復(fù)雜大系統(tǒng)仿真的VV&A理論及過程研究[J].國防科學(xué)技術(shù)大學(xué)學(xué)報,2009,31(3):123-126.

[6] 王景會,張明清.M&S全周期中VV&A過程模型研究[J].計算機仿真,2007,24(5):54-57.

[7] 劉飛,馬萍,楊明,等.大型復(fù)雜仿真系統(tǒng)可信度量化方法研究[J].四川大學(xué)學(xué)報,2006,38(5):169-173.

[8] 楊惠珍,康鳳舉,閻晉屯.一種基于AHP 的仿真可信度評估方法研究[J].系統(tǒng)仿真學(xué)報,2006,18(s2):52-54.

(編輯：方春玲)

VV&Aprocessmodelbasedoncredibilityindexsystem

LI Hao1,2, TANG Shuo1,2, YAN Xiao-dong1,2

(1.College of Astronautics, NWPU, Xi’an 710072, China;2.Laboratory of Aerospace Launch System Simulation, NWPU, Xi’an 710072, China)

The standardization of VV&A process plays an important role in promoting the efficiency and veracity of VV&A in the lifecycle of modeling and simulation. In terms of task assignment and VV&A information feedback, the paper proposes a VV&A process model based on credibility index system. The process model introduces credibility index system on the basis of DMSO VV&A process model in order to make clear the specific task and feedback mechanism in all VV&A stages. In addition, two concepts (‘two-direction’ and ‘two-feedback’) are introduced to explain the VV&A work mechanism using the process model. Finally, it is applied into M&S VV&A of the missile trajectory system of a vehicle. The practice proves that the process model provides a good guidance in VV&A.

VV&A; process model; credibility index system; modeling and simulation

TP391.9

A

1002-0853(2012)05-0475-06

2011-11-07;

2012-02-29

李浩(1983-)，男，山東福山人，博士研究生，研究方向為飛行器系統(tǒng)建模、建模與仿真可信度評估。