邱 濤，趙旭東，席建民，謝瑞云

（中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引 言

模擬訓(xùn)練的主要目的是通過反復(fù)操作，使參訓(xùn)人員能夠熟練掌握使用流程和規(guī)則，提高裝備使用效率。如何評(píng)估模擬訓(xùn)練的成效一直是模擬訓(xùn)練面臨的難點(diǎn)問題，其根本原因在于不同的模擬訓(xùn)練科目，缺乏標(biāo)準(zhǔn)的評(píng)估模型，很難利用統(tǒng)一的評(píng)估指標(biāo)體系進(jìn)行評(píng)估，從而造成不同評(píng)估模型需要采用不同的評(píng)估算法[1-5]。

本文主要聚焦研究針對(duì)軟件類裝備的模擬訓(xùn)練評(píng)估模型和算法，提出了統(tǒng)一的模擬訓(xùn)練評(píng)估模型，構(gòu)建了簡(jiǎn)化的評(píng)估指標(biāo)體系，并提出了一種低復(fù)雜度的模擬訓(xùn)練評(píng)估算法，該算法采用了分層加權(quán)求和的思路對(duì)模擬訓(xùn)練結(jié)果的進(jìn)行評(píng)估，為了提升算法的準(zhǔn)確性，該方法還利用了半監(jiān)督學(xué)習(xí)方式不斷優(yōu)化不同評(píng)估指標(biāo)以及不同操作的權(quán)重值，以獲得最優(yōu)的模擬訓(xùn)練評(píng)估參數(shù)。所提模型和算法在保證評(píng)估結(jié)果準(zhǔn)確性的基礎(chǔ)上，其計(jì)算復(fù)雜度較低，而且能夠給出訓(xùn)練出錯(cuò)的具體原因，為提高后續(xù)模擬訓(xùn)練成效提供有力的參考。

1 模擬訓(xùn)練評(píng)估模型

1.1 Petri網(wǎng)簡(jiǎn)介

Petri網(wǎng)是一種圖形及數(shù)學(xué)建模工具，能較好地描述系統(tǒng)的結(jié)構(gòu)，表示系統(tǒng)中的并發(fā)、同步、沖突與順序等關(guān)系，并以圖形表示的組合模型具有直觀、易懂和易用的優(yōu)點(diǎn)，對(duì)描述并發(fā)現(xiàn)象有它獨(dú)到的優(yōu)越之處。同時(shí)，Petri網(wǎng)又是嚴(yán)格定義的數(shù)學(xué)對(duì)象，有完善的數(shù)學(xué)理論基礎(chǔ)。

Petri網(wǎng)可以描述為一個(gè)五元組，即PN={P,T,F,W,M0}，其中P表示庫(kù)所，P={P1,P2,…,Pn}，n為 庫(kù) 所 個(gè) 數(shù)，T表 示 變 遷，T={T1,T2,…,Tm}，m為變遷個(gè)數(shù)，F(xiàn)∶P×T∪T×P是轉(zhuǎn)移函數(shù)，表示從庫(kù)所到變遷的弧和從變遷到庫(kù)所的弧，W∶F→{1,2,…}是權(quán)重函數(shù)，M0∶P→{0,1,2,…}是初始標(biāo)識(shí)。

1.2 基于Petri網(wǎng)的模擬訓(xùn)練評(píng)估模型

模擬訓(xùn)練的主要目的是通過反復(fù)操作，使參訓(xùn)人員能夠熟練掌握使用流程和規(guī)則，提高裝備使用效率。模擬訓(xùn)練過程是一個(gè)離散事件過程，Petri網(wǎng)非常適合應(yīng)用于該場(chǎng)景。利用Petri網(wǎng)對(duì)模擬訓(xùn)練系統(tǒng)進(jìn)行建模實(shí)際就是對(duì)操作流程的建模。不同的模擬訓(xùn)練裝備，會(huì)有不同的操作流程，所以需要利用Petri網(wǎng)對(duì)不同模擬訓(xùn)練系統(tǒng)進(jìn)行統(tǒng)一的建模[6]。

傳統(tǒng)裝備模擬訓(xùn)練大部分以實(shí)物訓(xùn)練為主，隨著軟件在裝備中扮演著越來越重要的角色，軟件類裝備模擬訓(xùn)練成為模擬訓(xùn)練的重要組成部分。相比于實(shí)物裝備操作來說，軟件類裝備的操作大多都是通過復(fù)雜的人機(jī)交互界面完成。Petri網(wǎng)的眾多優(yōu)點(diǎn)使其非常適用于模擬復(fù)雜的人機(jī)界面交互過程。

軟件操作通常由兩個(gè)部分組成，軟件界面和界面上的按鈕，通過點(diǎn)擊界面上不同的按鈕實(shí)現(xiàn)在不同操作界面之間切換。Petri網(wǎng)非常適用于描述這種場(chǎng)景，可以將這種軟件操作過程描述為一個(gè)簡(jiǎn)單的四元組Petri網(wǎng)，PN={P,T,F,W}，其中P表示系統(tǒng)狀態(tài)，對(duì)應(yīng)于軟件操作的每個(gè)界面，T表示每個(gè)軟件界面的操作按鈕，F(xiàn)表示界面和操作按鈕之間的關(guān)系，W是與操作相對(duì)應(yīng)的權(quán)重，用于表示不同操作在整個(gè)軟件模擬訓(xùn)練評(píng)估中的重要程度。如果某個(gè)軟件非常復(fù)雜，還可以軟件建模成由多個(gè)子Petri網(wǎng)組成的總Petri網(wǎng)。

將軟件模擬訓(xùn)練建模成Petri網(wǎng)模型之后，可以利用Petri網(wǎng)理論，判斷軟件操作是否存在死循環(huán)，而且能夠驗(yàn)證軟件操作的可達(dá)性，保證每個(gè)操作或者一系列操作的操作結(jié)果都在固定的集合中，為設(shè)計(jì)模擬訓(xùn)練評(píng)估算法提供重要的理論基礎(chǔ)。

2 模擬訓(xùn)練評(píng)估算法

構(gòu)建了模擬訓(xùn)練評(píng)估模型之后，需要著重研究模擬訓(xùn)練評(píng)估算法，能夠?qū)δM訓(xùn)練進(jìn)行定量評(píng)估，并且能夠準(zhǔn)確指出作戰(zhàn)人員對(duì)于軟件裝備的操作問題，為作戰(zhàn)人員熟練掌握軟件裝備的操作提供有力支撐。

通常模擬訓(xùn)練評(píng)估的方法有兩種類型，一種是通過構(gòu)建評(píng)估指標(biāo)體系，采集不同評(píng)估指標(biāo)的執(zhí)行情況，然后利用加權(quán)求和的方法計(jì)算最后的評(píng)估結(jié)果；另一種則是定義標(biāo)準(zhǔn)操作，通過計(jì)算實(shí)際操作與標(biāo)準(zhǔn)操作之間的相似度給出最后的評(píng)估結(jié)果。第一種方法的計(jì)算復(fù)雜度低，但很難保證評(píng)估指標(biāo)體系的完備性，第二種方法能夠給出準(zhǔn)確的評(píng)估，但計(jì)算復(fù)雜度過高，與標(biāo)準(zhǔn)操作步驟數(shù)量的階乘成正比。為了充分利用這兩種方法的優(yōu)點(diǎn)，本文提出了一種全新的模擬訓(xùn)練評(píng)估算法，該方法通過定義一種極簡(jiǎn)的評(píng)估指標(biāo)體系，利用低復(fù)雜度的評(píng)估算法完成模擬訓(xùn)練評(píng)估。

2.1 評(píng)估指標(biāo)體系

評(píng)估指標(biāo)體系是由具有相互關(guān)系的若干個(gè) 評(píng)估指標(biāo)組合而成的，各指標(biāo)之間相互聯(lián)系、相互影響，而且指標(biāo)體系具有樹狀層次結(jié)構(gòu)，層次越低，指標(biāo)越具體、越明確[7]。但為了構(gòu)建一個(gè)完備、清晰的裝備訓(xùn)練評(píng)估指標(biāo)體系是一項(xiàng)很困難的工作。因此，本文提出了一種極簡(jiǎn)的評(píng)估指標(biāo)體系，僅僅定義了三種與操作直接相關(guān)的評(píng)估指標(biāo)，即操作時(shí)間、操作過程和操作結(jié)果三大類，如圖1所示。

圖1 評(píng)估指標(biāo)體系

操作時(shí)間直接反映了模擬訓(xùn)練人員對(duì)于軟件操作的熟悉程度，操作過程主要反映模擬訓(xùn)練人員是否存在誤操作、漏操作或者重復(fù)操作的情況，操作結(jié)果與具體的訓(xùn)練科目相關(guān)，能夠反映操作過程中設(shè)置的參數(shù)對(duì)操作結(jié)果影響程度。

2.2 評(píng)估指標(biāo)定量表示及歸一化

基于定義的評(píng)估指標(biāo)體系，需要針對(duì)每個(gè)單項(xiàng)指標(biāo)進(jìn)行量化，為了使不同指標(biāo)有相同的量綱，還需要對(duì)指標(biāo)進(jìn)行歸一化。

對(duì)于操作時(shí)間，記錄操作開始時(shí)間Ts和操作結(jié)束時(shí)間Te，實(shí)際的操作時(shí)間T即可表示為T=Te-Ts。定義一個(gè)操作時(shí)間門限值Tth，則操作時(shí)間T對(duì)應(yīng)的評(píng)分St可以表示為：

在式（1）中，Smax表示最高得分，可以根據(jù)實(shí)際情況而定。從式（1）可以看出，操作時(shí)間越長(zhǎng)，得分呈下降趨勢(shì)，當(dāng)操作時(shí)間超過門限值Tth，得分隨著時(shí)間增長(zhǎng)線性下降，而當(dāng)操作時(shí)間低于門限值，均認(rèn)為能夠獲得最高得分Smax。

對(duì)于操作過程，首先需要定義總操作集合O，O由軟件界面中所有能夠執(zhí)行的操作組成，假設(shè)N=|O|，表示軟件的總操作步驟數(shù)，定義標(biāo)準(zhǔn)操作集，表示為SO。通常每個(gè)訓(xùn)練科目可能會(huì)有多個(gè)不同的標(biāo)準(zhǔn)操作，因此SO可以表示為一個(gè)集合，SO={SO1,SO2,…,SOJ}，j=1,2,…,J，J表示標(biāo)準(zhǔn)操作數(shù)量，對(duì)應(yīng)每種標(biāo)準(zhǔn)操作j，其操作步驟數(shù)表示為N。定義權(quán)重向量Wo={w1,w2,…,wN}，如果操作步驟 i∈ SOj，則 wj＞0，且滿足：

否則wi≤0，表示誤操作。

最后，記錄每次實(shí)際操作集合PO，記錄每個(gè)操作步驟i在PO中出現(xiàn)的次數(shù)，并表示為向量Co={c1,c2,…,cN}，對(duì)應(yīng)于每個(gè)操作步驟的執(zhí)行次數(shù)。因此對(duì)于每次實(shí)際操作，操作過程評(píng)分So可以表示為：

這種操作過程的評(píng)分方式可以有效處理訓(xùn)練科目存在多種不同的標(biāo)準(zhǔn)操作或者某個(gè)操作存在可替代操作的情況，提供準(zhǔn)確的評(píng)分。

對(duì)于操作結(jié)果，最簡(jiǎn)單的記錄實(shí)際操作是否成功，表示為R。當(dāng)操作失敗，R=0；當(dāng)操作成功，R=1。則操作結(jié)果評(píng)分Sr可以表示為：

從式（4）可以看出，Sr，So和Sr的取值區(qū)間均在區(qū)間[0,Smax]，實(shí)現(xiàn)了評(píng)估指標(biāo)的定量及歸一化的統(tǒng)一表征。

2.3 低復(fù)雜度的模擬評(píng)估算法

一種最為直接的評(píng)估算法可以描述為每個(gè)評(píng)估指標(biāo)分?jǐn)?shù)的加權(quán)和，即綜合得分S可以表示為：

其中，St，So和Sr分別表示為操作時(shí)間、操作過程和操作結(jié)果的評(píng)分，wt，wo和wr表示各評(píng)估指標(biāo)占總評(píng)分的權(quán)重，滿足條件wt+wo+wr=1，因此S的取值范圍[0,Smax]。

模擬訓(xùn)練評(píng)估算法的關(guān)鍵就是要準(zhǔn)確計(jì)算訓(xùn)練參數(shù)W=[wt,wo,wr]以及參數(shù)WO={w1,w2,…,wN}。本文將采用一種低復(fù)雜度的模擬訓(xùn)練評(píng)估算法，該算法采用了分層加權(quán)求和的思路對(duì)模擬訓(xùn)練結(jié)果的進(jìn)行評(píng)估，為了提升算法的準(zhǔn)確性，該方法還利用了半監(jiān)督學(xué)習(xí)方式不斷優(yōu)化不同評(píng)估指標(biāo)以及不同操作的權(quán)重值，以獲得最優(yōu)的模擬訓(xùn)練評(píng)估參數(shù)。

首先，生成訓(xùn)練樣本集TS，對(duì)于每個(gè)樣本i，TSi由實(shí)際操作集合PO和對(duì)應(yīng)專家評(píng)分S組成。PO表示樣本i的實(shí)際操作步驟集合，Si表示綜合評(píng)分，S表示對(duì)應(yīng)這次操作的詳細(xì)評(píng)分，由三部分組成[S,S,S]，S表示+操作時(shí)間評(píng)分，S表示操作過程評(píng)分，S表示操作結(jié)果評(píng)分。S可以根據(jù)記錄的Ti利用式（1）計(jì)算而來，S可以根據(jù)最終結(jié)果利用式（4）計(jì)算而來，Si和S必須由行業(yè)專家進(jìn)行評(píng)分。為了保證算法的準(zhǔn)確性，訓(xùn)練樣本越多越好，但是越多的訓(xùn)練樣本意味著更高成本。因此，能夠利用越少訓(xùn)練樣本達(dá)到目標(biāo)準(zhǔn)確性凸顯其重要性，假設(shè)訓(xùn)練樣本數(shù)量表示為NTS。

然后，基于訓(xùn)練樣本集TS，形成兩個(gè)方程組：

最后，基于方程（6）和方程（7），計(jì)算W和Wo。

對(duì)于W的計(jì)算，由于訓(xùn)練樣本數(shù)量NTS＞＞|W|，|W|=3，表示集合W的勢(shì)。因此，方程（6）屬于超定方程，通常可以采用最小二乘法進(jìn)行求解。

對(duì)于Wo的計(jì)算，由于訓(xùn)練樣本數(shù)量NTS＜N，方程屬于欠定方程，存在無數(shù)可行解。但是只要方程滿足以下兩個(gè)條件，稀疏性和欠采樣性，就可以利用壓縮感知技術(shù)[8]將問題轉(zhuǎn)換為普通的線性規(guī)劃問題進(jìn)行求解，可以大大減少所需訓(xùn)練樣本的數(shù)量，降低算法復(fù)雜度。

（1）稀疏性：對(duì)于某種訓(xùn)練情況（也可以成為某個(gè)訓(xùn)練科目），矢量Wo中等于0或者約等于0的元素為大多數(shù)，則稱矢量Wo為稀疏的，假設(shè)假設(shè)不等于0的元素個(gè)數(shù)為λ，則矢量Wo稱為λ-稀疏；

（2）欠采樣性：假設(shè)訓(xùn)練樣本數(shù)量為NTS，如果NTS＜＜N，則欠定方程具備欠采樣性。

對(duì)于某個(gè)訓(xùn)練科目，只有對(duì)應(yīng)于標(biāo)準(zhǔn)操作的權(quán)重值不為0且較大，而其他操作的權(quán)重值很小，而且|SOj|＜＜|O|，因此滿足稀疏性。此外，由于訓(xùn)練樣本數(shù)NTS＜＜N，滿足欠采樣性。因此，欠定方程可以轉(zhuǎn)換為線性規(guī)劃問題，可以表示為：

優(yōu)化問題（8）可以采用經(jīng)典方法求解，比如改進(jìn)單純形法、對(duì)偶單純形法、原始對(duì)偶方法、分解算法等。

3 實(shí)驗(yàn)數(shù)據(jù)及分析

本文依托前期開發(fā)的“某型模擬訓(xùn)練評(píng)估系統(tǒng)”開展相關(guān)模型和算法的驗(yàn)證工作，該系統(tǒng)的總操作步驟數(shù)N約為1 000左右，涉及的訓(xùn)練科目多達(dá)35個(gè)。

評(píng)分誤差是評(píng)估算法優(yōu)劣的一個(gè)非常重要的指標(biāo)，由于不同訓(xùn)練科目的評(píng)估相互獨(dú)立，所以本文選擇其中一個(gè)訓(xùn)練科目進(jìn)行實(shí)驗(yàn)數(shù)據(jù)的搜集與分析。選擇的科目存在3種標(biāo)準(zhǔn)操作，即J=3，每種標(biāo)準(zhǔn)操作的步驟數(shù)大約為30，即NjSO=30；采集了100個(gè)訓(xùn)練樣本，即NTS=100。因此，對(duì)于W的求解，由于NTS＞＞|W|，屬于超定方程求解，可以利用最小二乘法進(jìn)行求解，本文直接利用MATLAB的庫(kù)函數(shù)lsqlin（）進(jìn)行求解。對(duì)于Wo的求解，滿足稀疏性（NjSO＜＜N）和欠采樣性（NTS＜＜N），因此可以利用壓縮感知方法將其轉(zhuǎn)化為普通的線性規(guī)劃問題，本文直接利用MATLAB的庫(kù)函數(shù)linprog()進(jìn)行求解。

關(guān)于本文提出模擬訓(xùn)練評(píng)估算法的評(píng)分誤差如圖2所示，描述的是與專家評(píng)分之間的方差，此處的Smax=100。從圖2中可以看出，隨著樣本數(shù)不斷增加，評(píng)分誤差逐漸縮小，當(dāng)樣本數(shù)小于60，評(píng)分誤差與樣本數(shù)量的關(guān)系密切，而當(dāng)樣本數(shù)大于或者等于60，評(píng)分誤差在5分以內(nèi)，而且通過單純?cè)黾訕颖緮?shù)很難再大幅提升整體的評(píng)估性能，這與壓縮感知理論相符合。

圖2 評(píng)分誤差

關(guān)于本文提出模擬訓(xùn)練評(píng)估算法與參考文獻(xiàn)[9]提出算法的評(píng)分誤差比較如圖3所示，此處選取了5個(gè)訓(xùn)練科目進(jìn)行對(duì)比。從圖3中可以看出，所提算法的評(píng)分誤差要高于文獻(xiàn)[9]提出的算法，但之間的差距很小，主要是因?yàn)槲墨I(xiàn)[9]的算法復(fù)雜度更高，需要對(duì)比實(shí)際操作與標(biāo)準(zhǔn)操作的每一步操作，其復(fù)雜度為O(N!)，與總操作步驟數(shù)的階乘成正比，而本文提出算法的復(fù)雜僅為O(N2)。

圖3 不同訓(xùn)練科目評(píng)分誤差對(duì)比

4 結(jié) 語(yǔ)

本文提出了一種基于Petri網(wǎng)的模擬訓(xùn)練評(píng)估模型，采用極簡(jiǎn)的評(píng)估指標(biāo)體系，利用分層的加權(quán)求和方法評(píng)估模擬訓(xùn)練的情況，所提算法在保證評(píng)估準(zhǔn)確性基礎(chǔ)上，大大降低了運(yùn)算復(fù)雜度，后續(xù)研究可以在此基礎(chǔ)上進(jìn)一步利用半監(jiān)督學(xué)習(xí)方法不斷優(yōu)化不同評(píng)估指標(biāo)以及不同操作的權(quán)重值，以獲得最優(yōu)的模擬訓(xùn)練評(píng)估參數(shù)。