劉 勇, 陽貴兵

(中國人民解放軍92941部隊，遼寧 葫蘆島 125001)

0 引 言

作戰(zhàn)仿真是基于相似理論采用建模和物理方法對作戰(zhàn)系統(tǒng)或作戰(zhàn)過程的抽象、映射、描述和復(fù)現(xiàn)[1]。因此，作戰(zhàn)仿真必須回答及證實如下三個問題：①作戰(zhàn)模型是否正確描述了實際作戰(zhàn)系統(tǒng)的外部特征和內(nèi)在特性；②作戰(zhàn)仿真是否有效地反映了作戰(zhàn)模型的數(shù)據(jù)、性狀和行為；③仿真結(jié)果是否體現(xiàn)了作戰(zhàn)應(yīng)用模板和用戶需求。這就是通常所說的作戰(zhàn)仿真可信度問題。國內(nèi)外仿真界普遍認為“可信性是仿真科學(xué)與技術(shù)發(fā)展的生命線”，缺乏足夠可信度的仿真是沒有實際意義的[2]。

國外對于仿真系統(tǒng)可信度評估研究可以追溯到20世紀60年代，從事研究的國家和地區(qū)主要有美國、歐洲和加拿大，其中以美國最為突出，其研究特點可以概括為起步早、范圍廣、成果多、系統(tǒng)性強、規(guī)范性好等。國內(nèi)則緊密跟蹤國外的先進技術(shù)，并結(jié)合國內(nèi)工程實際，在院校和科研機構(gòu)中廣泛開展相關(guān)技術(shù)研究。國內(nèi)比較突出的成果包括：國防科技大學(xué)分別以導(dǎo)彈仿真系統(tǒng)和HLA(high level architecture，高級體系結(jié)構(gòu))仿真系統(tǒng)為背景進行的可信性研究；北京航空航天大學(xué)、哈爾濱工業(yè)大學(xué)等對分布交互式仿真的VV&A(verification， validation and accreditation，校核、驗證與確認)與可信度評估進行的概念、過程、指標和工具研究；國防科技大學(xué)、軍事科學(xué)院以及西北工業(yè)大學(xué)等院校在作戰(zhàn)可信度評估理論和方法等方面所做的大量研究。

由于作戰(zhàn)仿真系統(tǒng)自身的特點，其可信度評估比一般仿真系統(tǒng)的可信度評估難。因此，為了獲取作戰(zhàn)仿真系統(tǒng)的可信度，必須對系統(tǒng)建模與仿真的全過程進行可信度評估[3]。本文基于作戰(zhàn)仿真系統(tǒng)的特點，從評估過程和評估對象的確立、指標體系的構(gòu)建以及評估結(jié)果的給出等方面，提出了作戰(zhàn)仿真系統(tǒng)可信度評估方案，為作戰(zhàn)仿真系統(tǒng)的可信度評估工作提供理論支撐。

1 總體評估方案

根據(jù)作戰(zhàn)仿真系統(tǒng)的特點及可信度評估需求，其VV&A與可信度評估工作可分為6個階段，如圖1所示：①根據(jù)綜合設(shè)計與作戰(zhàn)仿真系統(tǒng)的特點及評估要求，確定其可信度評估過程；②從中提取可信度評估對象；③根據(jù)各評估對象的具體情況建立可信度評估指標體系；④在評估節(jié)點上采用適當(dāng)?shù)脑u估方法(定性或定量)得到評估值；⑤采用指標綜合算法計算出系統(tǒng)的可信度結(jié)果；⑥基于指標體系進行系統(tǒng)的可信度結(jié)果分析，提交給用戶以支持系統(tǒng)的應(yīng)用或改進。

圖1 作戰(zhàn)仿真系統(tǒng)可信度評估的總體方案Fig.1 Warfare simulation system credibility evaluation scheme

1.1 可信度評估過程的制定

系統(tǒng)級的可信度評估工作首先需要建立其評估過程，用于指導(dǎo)后續(xù)評估工作的開展。為了建立可操作的、合理的仿真系統(tǒng)可信度評估過程，從以下3方面開展工作。

1) 明確仿真系統(tǒng)可信度評估的過程、階段及活動。

2) 描述各可信度評估工作的內(nèi)容，如評估對象、采用的評估方法、需要的數(shù)據(jù)支持、關(guān)聯(lián)的參考對象、評估人員和工作執(zhí)行者等。

3) 在相關(guān)過程標準的框架內(nèi)，合理設(shè)置仿真系統(tǒng)的可信度評估過程粒度，使其既詳盡完備，又具有較強的可操作性。

1.2 可信度評估對象的確定

作戰(zhàn)仿真系統(tǒng)是一個相對復(fù)雜的仿真系統(tǒng)，直接對其進行系統(tǒng)級的評估是不可能的。在可信度評估中將大系統(tǒng)分解為若干個評估對象是常用的做法，這些對象均與大系統(tǒng)的可信度相關(guān)。對評估對象的規(guī)模并沒有統(tǒng)一的要求，但評估對象越大，對其實施評估的難度就越大，可操作性就越低。如果評估對象規(guī)模較大，不便于進行評估，還要對其進行分解以增強可操作性。

1.3 可信度評估指標體系的建立

作戰(zhàn)仿真系統(tǒng)的可信度評估指標體系主要包括模型和數(shù)據(jù)的可信度評估指標體系。其中，作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)評估指標體系要求高，比較難建立。主要原因有：①作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)可信度評估要從數(shù)據(jù)提供者和數(shù)據(jù)用戶兩個角度進行，他們對數(shù)據(jù)關(guān)注的重點不一樣。②根據(jù)數(shù)據(jù)性質(zhì)不同，作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)往往可以分為參考數(shù)據(jù)、固定數(shù)據(jù)、實例數(shù)據(jù)、驗證數(shù)據(jù)和交換數(shù)據(jù)等；按照數(shù)據(jù)作用不同，作戰(zhàn)仿真系統(tǒng)的數(shù)據(jù)又可以分為基礎(chǔ)數(shù)據(jù)、想定數(shù)據(jù)、方案數(shù)據(jù)、模型數(shù)據(jù)以及仿真運行管理與控制數(shù)據(jù)等。因此，作戰(zhàn)仿真系統(tǒng)數(shù)據(jù)的評估指標體系比較復(fù)雜，難以建立統(tǒng)一的評估指標體系。大多數(shù)情況下，數(shù)據(jù)均采用標準格式數(shù)據(jù)，而與模型有關(guān)的數(shù)據(jù)則被置于模型中參與模型的可信度評估[4]。因此，本文主要研究作戰(zhàn)仿真系統(tǒng)模型部分的可信度評估指標體系。

首先建立系統(tǒng)可信度評估指標體系，該體系主要包含軍事需求模型評估指標、軍事概念模型評估指標、數(shù)學(xué)模型評估指標以及軟件模型評估指標4個方面，通常稱為一級指標，如圖2所示。

圖2 作戰(zhàn)仿真系統(tǒng)可信度一級評估指標Fig.2 First level credibility evaluation indexof warfare simulation system

一級指標下又根據(jù)系統(tǒng)實際情況建立二級和三級指標。以軍事需求可信度指標為例，軍事需求評估項目主要有作戰(zhàn)任務(wù)分析、軍事背景描述、作戰(zhàn)行動描述、作戰(zhàn)實體劃分、作戰(zhàn)關(guān)系描述等，稱為二級指標；二級指標以下又可以細分為評估細則，稱為三級指標。

1.4 可信度評估及其結(jié)果轉(zhuǎn)換方法的選取

可信度評估方法是得到指標體系節(jié)點上評估結(jié)果的途徑，而評估結(jié)果轉(zhuǎn)換方法則負責(zé)將可信度評估結(jié)果轉(zhuǎn)換為可信度值，二者是取得仿真系統(tǒng)可信度量化值的工具?？尚哦仍u估方法和評估結(jié)果轉(zhuǎn)換方法有很多，需根據(jù)系統(tǒng)的實際情況、評估節(jié)點的情況以及仿真數(shù)據(jù)和參考數(shù)據(jù)的可獲取情況等選取合適的方法加以改進和應(yīng)用。

可信度評估方法分為定性和定量兩大類，仿真系統(tǒng)主要采用定量的評估方法。定量評估方法又可分為靜態(tài)/動態(tài)分析方法、時域/頻域分析方法等，主要來源于模型驗證方法、數(shù)據(jù)一致性分析方法和統(tǒng)計學(xué)分析方法。

雖然仿真系統(tǒng)傾向于采用定量評估方法，但某些定性方法在解決特定問題時也能發(fā)揮作用。如在外場試驗數(shù)據(jù)缺乏的情況下，圖靈測試法、模糊綜合評價法等都是有效的。所謂定性評估不是完全脫離數(shù)據(jù)，而是指它主要依靠SME(subject matter expert，主題專家)的經(jīng)驗和主觀分析來獲得評估結(jié)果。例如圖靈測試法包含5個步驟，分別是選取測試樣本、執(zhí)行測試樣本、辨別輸出結(jié)果、分析辨別結(jié)果和得出評估結(jié)論。如果領(lǐng)域?qū)＜也荒苊鞔_分辨兩條曲線哪條屬于仿真數(shù)據(jù)或參考數(shù)據(jù)，則證明評估對象擁有較高的可信度。

可信度評估方法得到的分析結(jié)果并不是仿真可信度描述，需要經(jīng)過一個轉(zhuǎn)換才能表示為量化可信度值。例如使用不等式系數(shù)法得到的是一個[0,1]區(qū)間內(nèi)的有理數(shù)，該數(shù)值越小則可信度越高，工程上量化可信度值小于0.3就意味著仿真結(jié)果可以被接受。然而該結(jié)果顯然在值域、單調(diào)性、擺幅等方面都不同于仿真可信度描述。研究各種評估結(jié)果在同一標度空間內(nèi)向量化可信度的轉(zhuǎn)換，也是本課題需要解決的問題。

為了給出合適的可信度評估方法及評估結(jié)果轉(zhuǎn)換方法，應(yīng)從以下4方面開展工作。

1) 研究常用的定性評估方法，掌握方法的原理、計算公式、使用步驟等，包括專家評定法、模糊綜合評價法、圖靈測試法等。

2) 研究常用的定量評估方法，掌握方法的原理、計算公式、使用步驟等，包括參數(shù)估計法、假設(shè)檢驗法、TIC法、灰色關(guān)聯(lián)法、窗譜估計法、特征匹配法等。

3) 根據(jù)仿真系統(tǒng)各評估對象的指標體系，為每一個評估節(jié)點選擇合適的評估方法來取得可信度評估結(jié)果。

4) 針對每一種系統(tǒng)中應(yīng)用的評估方法，研究其評估結(jié)果向量化可信度轉(zhuǎn)換的方法，并將指標體系內(nèi)各節(jié)點的評估結(jié)果轉(zhuǎn)換為量化可信度值。

1.5 指標綜合方法的選取

最終的可信度結(jié)果需通過將指標體系各層節(jié)點進行綜合來獲得，即需要一個指標綜合方法。仿真系統(tǒng)采用樹型的可信度評估指標體系，可借助該樹型結(jié)構(gòu)使用改進的加權(quán)平均模型等方法進行指標綜合。

量化的可信度結(jié)果通常是一個[0,1]區(qū)間或[0,100]區(qū)間內(nèi)的有理數(shù)，這使得在對多個對象進行評估或進行多專家評估時結(jié)果具有可比性。除量化值外，一些組織提倡“可信度等級”劃分[5]，一般采用5級可信度，即“可信”、“較可信”、“一般”、“不太可信”和“不可信”。這樣做可以向用戶提供直觀的可信度等級判定，而不會使用戶對單純的數(shù)值產(chǎn)生困惑?？尚哦鹊燃壱彩菍?yīng)到量化區(qū)間內(nèi)的，如“可信”通常對應(yīng)在[0.9,1.0]區(qū)間或[90,100]區(qū)間。

1.6 仿真系統(tǒng)可信度結(jié)果的分析

仿真系統(tǒng)的可信度評估主要有3個目的：①規(guī)范仿真開發(fā)過程和階段性成果；②獲取仿真與真實對象的接近程度；③指導(dǎo)仿真系統(tǒng)的改進。

為了充分分析仿真系統(tǒng)的可信度結(jié)果，并支持仿真系統(tǒng)的應(yīng)用和改進，從以下兩方面開展工作。

1) 根據(jù)可信度評估指標體系和評估結(jié)果，分析影響仿真系統(tǒng)可信度的主要因素。

2) 基于前文所述評估過程及結(jié)果，提交仿真系統(tǒng)可信度評估報告。

2 案例分析

假定有一型導(dǎo)彈武器系統(tǒng)攻防對抗的作戰(zhàn)仿真系統(tǒng)，對其進行可信度評估分析。該作戰(zhàn)仿真系統(tǒng)分為紅藍兩個陣營，紅藍雙方在導(dǎo)彈聯(lián)合試驗平臺支撐下進行導(dǎo)彈攻防對抗作戰(zhàn)仿真。系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3 某導(dǎo)彈攻防對抗作戰(zhàn)仿真系統(tǒng)結(jié)構(gòu)Fig.3 Structure of missile attack-defense confrontation warfare simulation system

按照圖2所示的指標體系結(jié)構(gòu)，建立該仿真系統(tǒng)模型可信度評估指標體系，對各級指標的權(quán)重采用專家賦值，一般軍事需求與軍事概念模型所占權(quán)重比數(shù)學(xué)模型和軟件模型的權(quán)重要大。采用專家賦值法，將軍事需求模型、軍事概念模型、數(shù)學(xué)模型和軟件模型的權(quán)重分別設(shè)定為：0.3、0.3、0.2、0.2。

可信度評估采用定性與定量、主觀與客觀相結(jié)合的方法進行：對于有外場試驗數(shù)據(jù)或者可靠結(jié)果輸出的項，采用定量評價的方法；對于無輸出結(jié)果作為對比的項，采用行業(yè)專家給出的主觀定性評價方法。根據(jù)評價結(jié)果對各層指標節(jié)點進行賦值，再采用主觀綜合評價方法對模型的可信度進行評估。

主觀綜合評價法最適合于作戰(zhàn)仿真系統(tǒng)的軍事需求、軍事概念模型、包含經(jīng)驗參數(shù)較多的數(shù)學(xué)模型以及高層作戰(zhàn)的軟件模型的可信度評估。主觀綜合評價方法最大特點就是對專家權(quán)重進行計算，主觀綜合評價方法具體執(zhí)行步驟見參考文獻[1]。

根據(jù)主觀綜合評價方法對作戰(zhàn)仿真系統(tǒng)進行評估，評估結(jié)果如表1所示。

表1 各項評估結(jié)果
Tab.1 Evaluation results

評估等級優(yōu)秀良好中等差取值范圍[0.90,1.00][0.80,0.90][0.60,0.80][0.00,0.60]軍事需求模型—0.83——軍事概念模型—0.86——數(shù)學(xué)模型——0.75—軟件模型——0.72—

根據(jù)各項權(quán)值進行加權(quán)求和，得到系統(tǒng)總的可信度評估結(jié)果為

0.3×0.83+0.3×0.86+0.2×0.75+0.2×0.72=0.801

0.801在良好取值范圍。因此，本系統(tǒng)的可信度評價結(jié)果為良好。

3 結(jié)束語

本文基于作戰(zhàn)仿真系統(tǒng)的特點，提出了作戰(zhàn)仿真系統(tǒng)可信度評估方案，方案包含評估過程和評估對象的確立、指標體系的構(gòu)建、結(jié)果轉(zhuǎn)換方法和指標綜合方法的選取以及評估報告的給出6個方面，并以假定作戰(zhàn)仿真系統(tǒng)為例，進行了可信度評估分析，為作戰(zhàn)仿真系統(tǒng)的可信度評估工作提供了理論支撐。