楊　亮,沈志軍,胡葉楠,完顏振海,聶蓉梅

(北京宇航系統(tǒng)工程研究所，北京　100076)

?

面向虛擬試驗(yàn)的可信度評(píng)估工具設(shè)計(jì)與實(shí)現(xiàn)

楊亮,沈志軍,胡葉楠,完顏振海,聶蓉梅

(北京宇航系統(tǒng)工程研究所，北京100076)

虛擬試驗(yàn)技術(shù)在航天領(lǐng)域得到了越來(lái)越廣泛的應(yīng)用，尤其是在多專業(yè)耦合仿真方面，但是面向虛擬試驗(yàn)的可信度評(píng)估工具方面的建設(shè)與研究未得到充分關(guān)注;針對(duì)虛擬試驗(yàn)分析階段的工程需求，設(shè)計(jì)并實(shí)現(xiàn)了虛擬試驗(yàn)可信度評(píng)估工具，涵蓋了評(píng)估對(duì)象管理、評(píng)估專家管理、指標(biāo)體系構(gòu)建、可信度評(píng)估等功能模塊;此外，該工具還提供了虛擬試驗(yàn)與實(shí)物試驗(yàn)的數(shù)據(jù)庫(kù)接口，有效地支撐了虛實(shí)比對(duì)工作，進(jìn)一步規(guī)范了虛擬試驗(yàn)的分析流程與分析內(nèi)容，有效提升了工作效率。

虛擬試驗(yàn)；可信度評(píng)估；數(shù)據(jù)分析

0　引言

近二十年來(lái)，虛擬試驗(yàn)技術(shù)得到了飛速的發(fā)展，已經(jīng)廣泛用于航空、航天、國(guó)防、軍事等領(lǐng)域，取得了令人矚目的成果[1-3]。國(guó)外比較成功的應(yīng)用是美國(guó)的推進(jìn)系統(tǒng)數(shù)值仿真(NPSS)項(xiàng)目[4]。它用來(lái)實(shí)現(xiàn)發(fā)動(dòng)機(jī)推進(jìn)系統(tǒng)氣動(dòng)、傳熱、燃燒等多學(xué)科三維動(dòng)態(tài)集成設(shè)計(jì)與分析，最終實(shí)現(xiàn)推進(jìn)系統(tǒng)/飛行器的一體化綜合仿真。國(guó)內(nèi)航天方面，虛擬試驗(yàn)技術(shù)正在得到越來(lái)越廣泛的應(yīng)用，目前主要通過(guò)利用各類CAE專業(yè)仿真分析軟件、數(shù)字化的虛擬樣機(jī)等手段，對(duì)產(chǎn)品的動(dòng)力學(xué)特性及響應(yīng)、疲勞強(qiáng)度、振動(dòng)、沖擊等性能和飛行狀態(tài)等參數(shù)進(jìn)行模擬和計(jì)算，進(jìn)行反復(fù)驗(yàn)證和分析，為提高航天產(chǎn)品的設(shè)計(jì)質(zhì)量提供了有力保障，為實(shí)物試驗(yàn)提供了可靠的分析依據(jù)和指導(dǎo)作用。從上可看出，利用虛擬試驗(yàn)技術(shù)開展精細(xì)化設(shè)計(jì)與仿真分析已逐漸成為航天等復(fù)雜產(chǎn)品設(shè)計(jì)領(lǐng)域的重要技術(shù)手段。

目前，國(guó)內(nèi)針對(duì)可信度評(píng)估方面的研究，已開展了大量的工作，但大多集中在理論研究方面[5-7]。對(duì)軍工行業(yè)而言，其工作主要集中在具體的產(chǎn)品領(lǐng)域，如雷達(dá)產(chǎn)品[8]。虛擬試驗(yàn)領(lǐng)域相關(guān)的可信度評(píng)估方面缺乏從評(píng)估實(shí)施的角度出發(fā)，構(gòu)建虛擬試驗(yàn)指標(biāo)體系模型，結(jié)合虛、實(shí)兩類試驗(yàn)數(shù)據(jù)庫(kù)，采用先進(jìn)的數(shù)據(jù)處理方法，系統(tǒng)地將各類定性與定量評(píng)估方法集中起來(lái)，充分利用評(píng)估專家資源，逐級(jí)驗(yàn)證整個(gè)虛擬試驗(yàn)的成效，從功能與流程兩方面，保證虛擬試驗(yàn)可信度評(píng)估工作。

本文針對(duì)虛擬試驗(yàn)領(lǐng)域的可信度評(píng)估工作需求，首先給出了虛擬試驗(yàn)的工作流程與應(yīng)用概述，詳細(xì)介紹了可信度評(píng)估工具的功能設(shè)計(jì)、總體設(shè)計(jì)與詳細(xì)設(shè)計(jì)，給出了工具實(shí)現(xiàn)情況，達(dá)到為虛擬試驗(yàn)可信度評(píng)估工作規(guī)范流程與提升效率的目的。

1　虛擬試驗(yàn)流程概述

虛擬試驗(yàn)流程共分為試驗(yàn)準(zhǔn)備階段、試驗(yàn)設(shè)計(jì)階段、試驗(yàn)運(yùn)行階段與試驗(yàn)分析階段，如圖1所示。具體如下：

圖1　虛擬試驗(yàn)的工程流程

1)試驗(yàn)準(zhǔn)備階段：負(fù)責(zé)發(fā)布虛擬試驗(yàn)總體試驗(yàn)大綱，包括試驗(yàn)?zāi)康摹⒃囼?yàn)方案、試驗(yàn)參數(shù)和試驗(yàn)內(nèi)容等；并負(fù)責(zé)組建虛擬試驗(yàn)團(tuán)隊(duì)，分解總體試驗(yàn)大綱進(jìn)行任務(wù)派發(fā)，向各專業(yè)模型設(shè)計(jì)師、虛擬試驗(yàn)設(shè)計(jì)師等各類人員發(fā)送試驗(yàn)任務(wù)書，最后將各類試驗(yàn)信息進(jìn)行入庫(kù)管理；

2)試驗(yàn)設(shè)計(jì)階段：根據(jù)虛擬試驗(yàn)?zāi)Ｐ驮O(shè)計(jì)任務(wù)書，實(shí)現(xiàn)流體、結(jié)構(gòu)、控制等專業(yè)模型軟件的開發(fā)和模型標(biāo)準(zhǔn)化封裝，并進(jìn)行入庫(kù)受控管理，然后由虛擬試驗(yàn)設(shè)計(jì)師按照虛擬試驗(yàn)設(shè)計(jì)任務(wù)書，對(duì)各專業(yè)的標(biāo)準(zhǔn)化模型進(jìn)行資源配置、流程配置和參數(shù)設(shè)計(jì)，待試驗(yàn)設(shè)計(jì)完畢，再將項(xiàng)目進(jìn)行受控管理；

3)試驗(yàn)運(yùn)行階段：負(fù)責(zé)組織分配好各類試驗(yàn)人員和試驗(yàn)軟硬件資源，并從試驗(yàn)管理系統(tǒng)下載對(duì)應(yīng)的項(xiàng)目，啟動(dòng)虛擬試驗(yàn)總控節(jié)點(diǎn)，進(jìn)行模型分發(fā)、開展多專業(yè)節(jié)點(diǎn)協(xié)同計(jì)算的虛擬試驗(yàn)，在此階段可進(jìn)行數(shù)據(jù)監(jiān)控、狀態(tài)監(jiān)控，以及實(shí)時(shí)可視化分析。待試驗(yàn)結(jié)束后，將過(guò)程數(shù)據(jù)傳至試驗(yàn)數(shù)據(jù)管理系統(tǒng)。

4)試驗(yàn)分析階段：負(fù)責(zé)從試驗(yàn)數(shù)據(jù)管理系統(tǒng)下載實(shí)物試驗(yàn)數(shù)據(jù)和虛擬試驗(yàn)相關(guān)專業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)綜合分析，開展可信度評(píng)估工作，并生成試驗(yàn)報(bào)告。

虛擬試驗(yàn)領(lǐng)域產(chǎn)品投資大，周期長(zhǎng)、信息化程度高、參與人員多、協(xié)同性強(qiáng)，使得仿真系統(tǒng)開發(fā)風(fēng)險(xiǎn)增大，必須通過(guò)有效的管理和技術(shù)手段來(lái)保證仿真系統(tǒng)具有足夠的可信性，支撐其應(yīng)用的需要?？尚哦仍u(píng)估工具是虛擬試驗(yàn)達(dá)到預(yù)期的性能、確?？煽窟\(yùn)行的保證。影響虛擬試驗(yàn)可信度的因素是多層次多方面的，而基于指標(biāo)體系的評(píng)估是定性與定量相結(jié)合的決策分析方法，它體現(xiàn)了人們決策思維的基本特征，即“分解—判斷—綜合”。虛擬試驗(yàn)可信度評(píng)估工具是以評(píng)估指標(biāo)體系為架構(gòu)、以數(shù)據(jù)一致性分析為支撐的輔助工具，具有可操作性強(qiáng)、理論基礎(chǔ)清晰、所得結(jié)論合理的優(yōu)點(diǎn)，能夠滿足虛擬試驗(yàn)工作的可信度評(píng)估和模型驗(yàn)證需求。

2　可信度評(píng)估工具的設(shè)計(jì)

2.1功能設(shè)計(jì)

結(jié)合虛擬試驗(yàn)可信度評(píng)估工作的需求，可信度評(píng)估工具設(shè)計(jì)主要有以下功能：評(píng)估對(duì)象管理、評(píng)估專家管理、評(píng)估指標(biāo)體系管理、可信度評(píng)估、數(shù)據(jù)處理、數(shù)據(jù)分析、可信度缺陷檢測(cè)、評(píng)估結(jié)果統(tǒng)計(jì)與報(bào)告生成等功能。如圖2所示，在利用所設(shè)計(jì)工具開展虛擬試驗(yàn)可信度評(píng)估工作時(shí)，主要分為以下工作步驟：

1)由試驗(yàn)評(píng)估人員完成指標(biāo)評(píng)估體系各層節(jié)點(diǎn)的設(shè)計(jì)，然后評(píng)估人員分配每一級(jí)不同葉節(jié)點(diǎn)的權(quán)重分配，完成評(píng)估專家選擇，并明確是定性還是定量評(píng)估，至此完成指標(biāo)體系構(gòu)建。

2)每位評(píng)估專家登陸系統(tǒng)，完成自己所負(fù)責(zé)節(jié)點(diǎn)的評(píng)估工作，選定數(shù)據(jù)預(yù)處理方法、數(shù)據(jù)分析算法等，完成節(jié)點(diǎn)評(píng)估。

3)等每位專家完成評(píng)估工作以后，會(huì)完成缺陷節(jié)點(diǎn)檢測(cè)、評(píng)估結(jié)果統(tǒng)計(jì)，最后生成評(píng)估報(bào)告。

圖2　可信度評(píng)估的工作流程

2.2總體設(shè)計(jì)

虛擬試驗(yàn)可信度評(píng)估工具的總體設(shè)計(jì)主要分為以下三層：

基礎(chǔ)層：底層支撐框架。采用VC++面向?qū)ο蟮木幊谭椒ǎ訡/S架構(gòu)為工具使用模式，應(yīng)用數(shù)據(jù)接口配置、VC與MATLAB混合編程等技術(shù)，通過(guò)不同的數(shù)據(jù)庫(kù)API函數(shù)，實(shí)現(xiàn)對(duì)虛擬試驗(yàn)及實(shí)物試驗(yàn)數(shù)據(jù)的快速、分類獲取。

模型層：以基礎(chǔ)層的數(shù)據(jù)作為輸入，依次創(chuàng)建指標(biāo)體系模型、評(píng)估算法模型與評(píng)估專家模型，實(shí)現(xiàn)節(jié)點(diǎn)與數(shù)據(jù)關(guān)聯(lián)，保證模型的一致性，為應(yīng)用層提供支撐。

應(yīng)用層：包括指標(biāo)體系構(gòu)建、模型節(jié)點(diǎn)評(píng)估、試驗(yàn)數(shù)據(jù)處理、試驗(yàn)數(shù)據(jù)分析、模型缺陷檢測(cè)、評(píng)估結(jié)果統(tǒng)計(jì)等應(yīng)用。這些具體的應(yīng)用將在工具界面中直觀地提供給評(píng)估工作人員與評(píng)估專家以便使用。

圖3　可信度評(píng)估工具的總體設(shè)計(jì)

2.3詳細(xì)設(shè)計(jì)

虛擬試驗(yàn)可信度評(píng)估工具主要采用模塊化設(shè)計(jì)的思想，系統(tǒng)共含有評(píng)估對(duì)象管理、專家管理等八個(gè)模塊。該工具在局域網(wǎng)內(nèi)的客戶機(jī)上運(yùn)行，同時(shí)訪問(wèn)服務(wù)器端的虛擬試驗(yàn)數(shù)據(jù)庫(kù)和實(shí)物試驗(yàn)數(shù)據(jù)庫(kù)。

2.3.1評(píng)估對(duì)象管理

評(píng)估對(duì)象管理模塊包括新建、刪除、編輯和保存評(píng)估對(duì)象。用戶可在對(duì)應(yīng)界面指定評(píng)估對(duì)象名稱、標(biāo)識(shí)、描述等信息。該模塊使用CObjectManage、CAddObjectDlg和CMyListCtrl 3個(gè)類，定義了不同用途的函數(shù)以實(shí)現(xiàn)該模塊的各項(xiàng)功能。

2.3.2評(píng)估專家管理

評(píng)估專家管理模塊主要包括新建、刪除、編輯和保存評(píng)估專家檔案。用戶可在對(duì)應(yīng)界面編輯評(píng)估專家姓名、ID、專業(yè)領(lǐng)域等信息。該模塊在設(shè)計(jì)過(guò)程共使用CPersonManagement和CExpertClass兩個(gè)類。

2.3.3指標(biāo)體系構(gòu)建

該模塊包括新建、刪除、編輯評(píng)估節(jié)點(diǎn)流程，以及設(shè)置節(jié)點(diǎn)權(quán)重流程。指標(biāo)體系構(gòu)建模塊設(shè)計(jì)過(guò)程中共使用了4個(gè)類，分別為CAddItemDlg、CTreeCreate、CMyTreeCtrl和CWeighMethod。

2.3.4可信度評(píng)估

本模塊主要包括節(jié)點(diǎn)評(píng)估和指標(biāo)體系重載。這里給出節(jié)點(diǎn)評(píng)估的流程：選擇葉節(jié)點(diǎn)，找到節(jié)點(diǎn)評(píng)估子選項(xiàng)，調(diào)出節(jié)點(diǎn)評(píng)估對(duì)話框，對(duì)葉節(jié)點(diǎn)進(jìn)行定性或定量評(píng)估。特別注意的是，該工具不支持對(duì)非葉節(jié)點(diǎn)直接進(jìn)行評(píng)估，非葉節(jié)點(diǎn)的評(píng)估值由系統(tǒng)自動(dòng)根據(jù)其子節(jié)點(diǎn)的評(píng)估值和節(jié)點(diǎn)權(quán)重計(jì)算得到。

為了實(shí)現(xiàn)該模塊的各項(xiàng)功能，本模塊使用了4個(gè)類，分別為：CTreeValue、CMyTreeCtrl、CConnectValue和CConnectValueSelect。

2.3.5數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理模塊包括奇異值剔除、正態(tài)性檢驗(yàn)和時(shí)間序列一致性處理等功能。其中，這幾個(gè)處理方法的代碼均以動(dòng)態(tài)鏈接庫(kù)的方式封存，同時(shí)提供接口函數(shù)，提高程序的可移植性。

2.3.6數(shù)據(jù)分析

數(shù)據(jù)分析模塊根據(jù)虛擬試驗(yàn)和實(shí)物試驗(yàn)數(shù)據(jù)情況以及評(píng)估節(jié)點(diǎn)上所定義的方法來(lái)確定執(zhí)行流程，每種方法在進(jìn)行數(shù)據(jù)分析時(shí)的流程也不盡相同。

在數(shù)據(jù)分析模塊中，算法設(shè)計(jì)方法包括圖靈測(cè)試、參數(shù)估計(jì)、假設(shè)檢驗(yàn)、TIC、灰色關(guān)聯(lián)、譜窗估計(jì)、最大熵譜估計(jì)和特征匹配。本模塊采用VC與MATLAB混合編程技術(shù)，將函數(shù)封裝在動(dòng)態(tài)鏈接庫(kù)中，實(shí)現(xiàn)統(tǒng)計(jì)量的計(jì)算功能與調(diào)用功能。

2.3.7可信度缺陷檢測(cè)

模塊根據(jù)用戶提交的可信度缺陷檢測(cè)請(qǐng)求，在用戶完成指標(biāo)體系內(nèi)所有節(jié)點(diǎn)評(píng)估的前提下，使用二維搜索算法在深度和廣度上遍歷指標(biāo)體系進(jìn)行缺陷節(jié)點(diǎn)檢測(cè)。

在可信度缺陷檢測(cè)模塊中，主要算法是缺陷節(jié)點(diǎn)的二維搜索算法。該算法即一個(gè)同時(shí)在深度和廣度上搜索指標(biāo)體系所有節(jié)點(diǎn)評(píng)估結(jié)果的遍歷算法，具體代碼實(shí)現(xiàn)使用了遞歸設(shè)計(jì)。下圖顯示了該搜索算法的原理。

圖4　二維搜索算法的原理

2.3.8評(píng)估結(jié)果統(tǒng)計(jì)與報(bào)告生成

本模塊包括評(píng)估結(jié)果統(tǒng)計(jì)和報(bào)告生成功能。其中，主要算法是評(píng)估結(jié)果的統(tǒng)計(jì)算法。此算法與可信度缺陷檢測(cè)算法類似，支持同時(shí)在深度和廣度上搜索指標(biāo)體系的所有節(jié)點(diǎn)評(píng)估結(jié)果的遍歷功能。

3　可信度評(píng)估工具的實(shí)現(xiàn)

為充分說(shuō)明面向虛擬試驗(yàn)的可信度評(píng)估工具，本節(jié)將結(jié)合工具的使用流程，說(shuō)明該工具的功能實(shí)現(xiàn)情況。

首先，打開可信度工具界面，選擇“模型與專家管理”子選項(xiàng)，即可實(shí)現(xiàn)對(duì)評(píng)估專家、評(píng)估指標(biāo)體系的增加、刪除、修改等操作與管理，這樣便于評(píng)估過(guò)程各模型節(jié)點(diǎn)狀態(tài)的過(guò)程監(jiān)控、歷史查詢等；

然后，選擇“可信度評(píng)估”子選項(xiàng)，接下來(lái)以某次飛行器仿真系統(tǒng)的虛擬試驗(yàn)可信度評(píng)估為例進(jìn)行說(shuō)明軟件實(shí)現(xiàn)情況。

1)點(diǎn)擊“指標(biāo)體系創(chuàng)建”，將特定的評(píng)估專家指派到評(píng)估對(duì)象，并分配評(píng)估專家權(quán)重；

2)按照逐級(jí)、分層思想當(dāng)前評(píng)估對(duì)象的可信度評(píng)估指標(biāo)體系；

3)由評(píng)估專家執(zhí)行當(dāng)前對(duì)象的可信度評(píng)估，在定性節(jié)點(diǎn)上可使用專家評(píng)定法和模糊綜合評(píng)價(jià)法，在定量節(jié)點(diǎn)上則需先完成服務(wù)器端虛擬試驗(yàn)數(shù)據(jù)和實(shí)物試驗(yàn)數(shù)據(jù)的接入，再根據(jù)數(shù)據(jù)情況使用圖靈測(cè)試、參數(shù)估計(jì)、假設(shè)檢驗(yàn)、TIC、灰色關(guān)聯(lián)、譜窗估計(jì)、最大熵譜估計(jì)、特征匹配等方法，圖5給出了熵譜分析法的界面操作窗口；

圖5　熵譜分析法窗口操作

4)點(diǎn)擊“缺陷節(jié)點(diǎn)檢測(cè)”，即可完成檢測(cè)結(jié)果輸出，如圖6所示；

圖6　可信度缺陷檢測(cè)結(jié)果輸出

5)點(diǎn)擊“評(píng)估結(jié)果顯示”，則自動(dòng)收集所有的后臺(tái)數(shù)據(jù)，計(jì)算量化可信度結(jié)果和標(biāo)定可信度等級(jí)，完成可信度結(jié)果統(tǒng)計(jì)；

6)點(diǎn)擊“評(píng)估結(jié)果顯示”，自動(dòng)生成評(píng)估報(bào)告。

4　結(jié)論

虛擬試驗(yàn)可信度評(píng)估工具作為試驗(yàn)分析階段的重要工具，通過(guò)采用可視化界面和向?qū)綉?yīng)用，提供評(píng)估對(duì)象定義、指標(biāo)體系建立、數(shù)據(jù)一致性分析、輔助評(píng)估等功能，為模型驗(yàn)證、VV&A等工作提供支撐，幫助解決虛擬試驗(yàn)仿真模型可信度評(píng)估的問(wèn)題，為該虛擬試驗(yàn)的正確應(yīng)用提供支持。同時(shí)，該工具還可擴(kuò)展應(yīng)用至其它建模與仿真可信度評(píng)估工作中，尤其是對(duì)大型復(fù)雜仿真系統(tǒng)的幫助作用更大。

[1] 楊亮,沈志軍,胡葉楠. 虛擬試驗(yàn)技術(shù)研究及平臺(tái)應(yīng)用[A].中國(guó)宇航學(xué)會(huì)計(jì)算機(jī)應(yīng)用專業(yè)委員會(huì)2013年度技術(shù)交流會(huì)文集[C].2003: 204-209.

[2] 趙雯,彭健. 復(fù)雜軍工產(chǎn)品虛擬試驗(yàn)驗(yàn)證技術(shù)研究與發(fā)展[J].計(jì)算機(jī)測(cè)量與控制,2011,19(6)：1257-1259,1277.

[3] 趙雯,胡德風(fēng). 武器系統(tǒng)虛擬試驗(yàn)驗(yàn)證技術(shù)發(fā)展研究[J].計(jì)算機(jī)測(cè)量與控制,2008,16(1)：1-3,7.

[4] Follen G,Buchon M.Numerical zooming between a NPSS engine system simulation and a one-dimensional high compressor analysis code[M].NASA. 2000.

[5] 吳靜，吳曉燕，高忠長(zhǎng). 復(fù)雜仿真系統(tǒng)可信性評(píng)估的特點(diǎn)及評(píng)估對(duì)策[J]. 系統(tǒng)仿真技術(shù)，2009，5(4)：247-254.

[6] 鄭幫濤,胡云. 國(guó)外武器裝備建模與仿真可信度評(píng)估方法研究[J]. 質(zhì)量與可靠性,2015,2(176):6-9.

[7] 鄧紅莉,楊韜. 定性定量及半定量綜合評(píng)估方法[J]. 信息通信,2015(4):42-43.

[8] 王濤,歐陽(yáng)林濤,畢增軍,等.一種雷達(dá)質(zhì)量評(píng)估結(jié)果可信度分析方法[J]. 空軍雷達(dá)學(xué)院學(xué)報(bào),2015(1):27-29.

Design and Implementation of a Reliability Evaluating Tool in Virtual Test

Yang Liang，Shen Zhijun，Hu Yenan，Wanyan Zhenhai，Nie Rongmei

(Beijing Institute of Aerospace Systems Engineering，Beijing100076,China)

Virtual test techniques have been more and more widely utilized in the aerospace field,especially about multidisciplinary coupling simulation. However,the study on reliability evaluating tool has not been paid enough attention to in virtual test. In consideration of the engineering requirement during test analyzing phase,we have designed and implemented a reliability evaluating tool,which includes functional modules like evaluating-objects management,evaluating-experts management,index-system construction. Moreover,it offers interfaces to virtual test and physical test databases,which effectively helps the contrast work between the two tests,standardizes the analyzing flow and content of virtual test,and highlights the work efficiency.

virtual test；reliability evaluation; data analysis

1671-4598(2016)04-0275-03DOI：10.16526/j.cnki.11-4762/tp.2016.04.079

TB114.3

A

2015-11-04；

2015-11-26。

楊亮(1983-)，男，山西五臺(tái)人，博士，工程師，主要從事虛擬試驗(yàn)方向的研究。