王 睿，姜 寧

(海軍大連艦艇學院,遼寧 大連 116018)

深入開展軍事訓練工作,是提高部隊實戰(zhàn)能力的重要舉措。軍事訓練效果評估,作為組訓工作重要環(huán)節(jié),其成效直接影響訓練效益,評估結論將對各級決策產(chǎn)生重大影響。效果評估涉及衡量指標、權重和聚合方法等一系列要素的確定,其中,評估指標值量化更是評估工作的基礎。整體上,評估指標包括定量指標和定性指標兩類。定量指標是可以準確數(shù)量定義、精確衡量并能設定績效目標的考核指標。定性指標是指無法直接通過數(shù)據(jù)計算分析評價內(nèi)容,需對評價對象進行客觀描述和分析來反映評價結果的指標。

軍事訓練效果評估主要是對訓練對象能力和水平的評價,其大部分底層評價點的描述存在極大的不確定性和模糊性,屬于定性評估指標,實際工作中難以直接采集得到具體指標值,通常需由評估專家參照相關數(shù)據(jù)素材,并結合具體對照標準,間接轉(zhuǎn)化為可用于效果評估工作的量化值。傳統(tǒng)方法優(yōu)點在于操作簡單、便于理解,僅需要將評估專家組給定分值進行加權平均即可得到結果;其缺點也十分明顯,由于過度依賴評估專家個人綜合能力,受人為因素影響較大,簡單的加權平均處理容易掩蓋指標量值的真實屬性,進而降低評估結論的可靠性。因此,本文以確保研究成果實用性為出發(fā)點,對定性指標量化影響因子詳盡分解,將主客觀技術有機融合處理,提出一種改進的軍事訓練效能定性評估指標量化方法,為軍事訓練效果評估工作順利實施提供理論支撐。

1 效能評價描述標度

軍事訓練效果評估工作的基礎是對選用的評估指標進行工程量化,即確定評估指標的描述標度,指標描述方法直接決定評估結論的描述方式。由于軍事訓練效果評估指標類型多、數(shù)量大,在進行工程計算時需量體裁衣、選用適合的方法理論進行處理,在這一過程中,不可避免地需要人工參與(即專家評判處理),而專家主觀性差異必然會產(chǎn)生一定程度的不確定性。根據(jù)軍事訓練效果評估指標特點,涉及精確值、區(qū)間值和語言值三類描述標度[1-3]。

1)精確值描述標度

精確值描述標度即通過精確的數(shù)值實現(xiàn)對某一評估指標或評估結論的判定,通過特有模型計算得到結果。其強烈依賴于采集數(shù)據(jù),專家主觀影響較小,具有描述結果直觀、量化清晰、便于橫向?qū)Ρ鹊葍?yōu)點,缺點是需要具體的工程計算模型,對某些模糊屬性的評估指標難以實現(xiàn)量化。

為方便實用,通常取x∈[0,100],語義上取值呈正向增長,取值上限100為最理想結果,取值0為最差結果。

2)區(qū)間值描述標度

區(qū)間值從概念上是描述一定量數(shù)值的集合體,可以理解為具有模糊屬性的量,主要通過評估專家依托評判標準人為給出。其優(yōu)點是賦予評估專家一定靈活度、有效規(guī)避了人為因素引起的誤差,但區(qū)間寬度的界定是區(qū)間值描述法的關鍵點。

Q∈[a1,a2],0≤a1≤a2≤100,a1,a2∈R。

3)語言值描述標度

軍事訓練效果評估中定性指標評定,需要評估專家結合數(shù)據(jù)主觀評定,結論往往是定性的語言描述,如“優(yōu)、良、合格、較差、差”等,其中,每類語言描述標度對應相應的指標評價標準。語言值描述標度的使用有利于多種評估方法的選擇,如模糊法、灰度法、粗糙熵法等。

4)描述標度統(tǒng)一轉(zhuǎn)化

分析軍事訓練效果評估指標體系,涉及指標的度量均涵蓋精確值、區(qū)間值和語言值等,評估指標值類型決定了評估結論值的類型。由于語言型標度無法直接進行數(shù)學運算,為便于評估模型方法選用,需要將評估描述標度進行規(guī)范化處理。本文提出“語言型標度同區(qū)間型標度轉(zhuǎn)換”實施方法,具體形式如表1。

表1 語言值與區(qū)間值描述標度對應關系

注:精確值標度x表示為:[x,x]。

其中,為增加描述的精確性、減少語言模糊度,將評估技術中廣泛認可的五類語言標度描述進一步細化(每一類劃分為三個子類),形成最多十五類語言標度描述。同時,為便于運算,設定具體區(qū)間值。

2 專家可信度量化方法

評估專家對指標進行量化時,把握程度是極為重要的信息,對最終的結果會產(chǎn)生較大影響,本文“可信度”即為專家給出判斷值的可信度。合理運用專家可信度能夠最大限度降低訓練效果評估工作中的主觀誤差,其量化方法包括主觀判定和客觀判定兩類[4-8]。

1)主觀判定法

評估工作中專家可信度的主觀判定,主要是對各評估專家自身能力指標進行量化分解,并通過綜合計算得到具體值,這種方法實際上也可以理解為將專家作為度量體的評估。一般情況下,專家可信度應針對評估任務聚焦于專業(yè)能力、知識儲備、任職經(jīng)歷、評估經(jīng)驗等四個大方向。專業(yè)能力(ZY):主要涵蓋該專家在作戰(zhàn)指揮、裝備運用等領域具有的專業(yè)地位、獲得的技術成果等綜合能力。知識儲備(ZS):主要指該專家在軍事訓練具體領域的知識儲備水平。任職經(jīng)歷(RZ):主要指該專家在不同單位工作經(jīng)歷。評估經(jīng)驗(JY):主要指該專家在以往類似軍事訓練中的評估經(jīng)驗,包括參與評估的次數(shù)、時長、擔任的角色等。

專家可信度主觀判定原始模型為

ΩZ=γ1·FZY+γ2·FZS+γ3·FRZ+γ4·FJY

(1)

進行標準化處理后,得到第i個專家的可信度為

(2)

式中，m為專家數(shù)量。

采用主觀判定法計算專家可信度,可在一定程度上使結果更加科學、實用,但如何設定專家能力指標以及指標權重又成為一個難點,本文認為:為便于軍事訓練實際應用,選取過程中需重點把握整體性、清晰性、指向性等原則。

2)客觀判定法

評估工作中專家可信度的客觀判定,核心是通過評估專家組對單一目標的整體數(shù)據(jù)來計算可信度。當多位專家給出分值數(shù)據(jù)可靠性較高時,通過計算待測專家結論與專家組結論平均值的接近度得到目標值。專家i可信度基本計算模型如下:

(3)

式中:j為第j個評價指標,n為評價指標數(shù)。

進行標準化處理后,得到第i個專家的可信度為:

(4)

采用客觀判定法計算專家可信度,無需主觀評判專家能力,消除了二次評估造成的影響誤差。但對專家數(shù)量、專家數(shù)據(jù)的聚合趨勢有一定要求。

3)可信度綜合判定

無論主觀判定法,還是客觀判定法都存在自身優(yōu)勢和不足,專家可信度概念的引入目的是降低干擾誤差,因此,本文認為對兩種方法適當融合、綜合運用為妥。

專家i可信度的綜合判定如下式:

μi=aηi+bβi

(5)

式中:a+b=1。

3 軍事通信訓練效能定性評價指標量化技術

3.1 定性指標經(jīng)典量化方法

定性評估指標值雖無法直接使用數(shù)學模型進行工程化計算,為增強描述結果的客觀性,可利用一定的數(shù)學理論方法進行處理,這就涉及定型指標量化計算方法[6-12]。

直接賦值法:評估專家組根據(jù)自身專業(yè)知識及觀測情況,對待測對象直接賦值,這里的賦值為具體數(shù)字。該方法雖然理解容易、操作簡單,但對專家來講,由于軍事訓練任務的動態(tài)性和目標值的模糊性,難以保證給出結論值的可靠程度。

標度對照法:根據(jù)心理學家米勒(G.A.Miller)的試驗結論,人類對事物進行辨別時,能夠清晰、有效地區(qū)分其等級最優(yōu)在5-9級之間(最多不超過15級)。因此,定性評估指標可量化為9個語言標度等級,同時將每個語言標度等級同固定的數(shù)值建立映射關系,這樣就實現(xiàn)了評價語言與定性量化值互換,如表2所示。

表2 定性指標典型量化標尺

注:本表采用9標度等級,0和1較為極端一般不采用。

上文給出了評估工作中常用的兩類定性指標量化方法,一般性評估中還有三角模糊數(shù)、梯形模糊數(shù)、定性排序量化等多種方法,這些方法運算背景和量化過程不同,均有各自的優(yōu)缺點[5-6]。

3.2 基于專家可信度與區(qū)間值集結的定性指標量化方法

評估工作中,不同評估對象具有自身特點,可有針對性地選擇適合的定性指標量化方法。軍事訓練效果評估,所選用的定性評估指標具有明確的軍事屬性,特點十分鮮明,其采用的量化方法有別于通用的方案優(yōu)選、模糊排序評判任務。結合軍事訓練效果評估工作特點,為兼顧定性指標量化的可靠和匯算的便捷,本文將專家可信度模型與專家評價值集結模型方法相結合對定性指標進行量化計算,具體步驟如下:

Step1:針對軍事訓練評估目標、評價體系指標屬性以及指標理想化標準,詳細劃分定性指標語言描述等級并合理區(qū)分對應量化值區(qū)間,從而建立量化分級評價表。其中,該表應涵蓋目標的詳細考核要點和評價內(nèi)容,劃分類別數(shù)量適當為好,既不宜過簡造成評判模糊,也不宜超過行為人的可接受思維程度;

Step2:評估專家組成員,參照量化分級評價表給出的語言標度及量化數(shù)值,分別對不同評價指標對象分級打分區(qū)間,得到定性指標初始評價矩陣如下:

(6)

式中，m為參與打分的評估專家數(shù)量;

n為同一類別(隸屬于同一上級評價指標)定性指標數(shù)量;

Step3:進行基于專家評可信度與區(qū)間值集結的量化值融合:首先計算某一評估專家的可信度并對其進行歸一化計算,然后進行評估專家組評價值(區(qū)間)集結[4-15],最終得到各定性評價指標的綜合值。

(7)

4 應用實例

本文以某部隊某次大規(guī)模軍事訓練為例,擬對該部隊參訓兵力訓練評估定性指標進行量化,具體評價指標包括:內(nèi)容設置能力、制訂計劃能力、訓練控制能力、綜合保障能力和訓練總結能力。

參照定性指標量化分級標準,評估專家組(擬定人數(shù)5名),根據(jù)現(xiàn)場觀測和對采集數(shù)據(jù)的分析,以評價區(qū)間形式對5類評估指標進行具體打分,如表3所示。

表3 特殊情況處置能力評估指標打分表

備注:為同一標準,便于理解和計算,這里假設評估專家打分區(qū)間均以單位5為跨度,實際工作中區(qū)間跨度可靈活調(diào)整。

根據(jù)上表,得到專家組對5項指標的評價矩陣為

其中,將專家打分區(qū)間跨度格式統(tǒng)一為“[]”形式,以便于運算,不影響具體結論。

假設評估組共5位專家,各專家專業(yè)能力(ZY)、知識儲備(ZS)、任職經(jīng)歷(RZ)、評估經(jīng)驗(JY)四項指標打分如表4。

表4 各專家能力量化打分表

假設各專家子指標主觀評價權重系數(shù)γ=0.25。計算得到5位專家專家可信度主觀判定值分別約為87、91、88、85、88,歸一化后結果為0.198、0.207、0.201、0.193、0.201;參照評估指標打分表所列數(shù)值,計算得到5位專家專家可信度客觀判定值分別約為0.98,0.97,0.97,0.95,0.94,歸一化后結果為0.204,0.202、0.202、0.197、0.195;設主客觀權系數(shù)a=b=0.5,則得到各評估專家的可信度綜合值:0.201、0.204、0.202、0.195、0.198，如表5。

表5 專家可信度分值統(tǒng)計表

備注:為便于對比,將計算結果取值到小數(shù)點后三位。

將5位評估專家可信度與具體評估值進行集結,得到各定性指標具體量化值如下:

Xi=[x1,x2,x3,x4,x5]=(86.545,79.465,74.425,72.450,87.510)

對照表3,將定性指標最終量化值與初始量化區(qū)間比對可以發(fā)現(xiàn),最終值同初始量化區(qū)間值的均值(具體指標各專家、各區(qū)間的算術平均根)比較接近,見表6。

表6 綜合計算量化值與初始區(qū)間均值比對表

通過分析得到結論如下:1)提出的定性指標量化方法可靠性較高，表6中兩類算法結果差異較小原因,一方面為實例中各項權重參數(shù)都取均值,另一方面專家評價值區(qū)間跨度相同(皆為5),當上述二者之一量值變化明顯時定性指標綜合計算值能夠呈現(xiàn)一定差異;2)該方法能夠?qū)Τ跏冀Y論進行適當修正,使得結果更加客觀精確。當量化值區(qū)間、權重系數(shù)規(guī)范化要求時,運用本方法能夠?qū)υu價結果進行局域合理化處理,未出現(xiàn)偏離訓練效果評估工作整體方向,可對評估最終結論起到良好支撐。

5 結束語

定性評價指標制約因素多,不易量化判定,傳統(tǒng)量化取值方法普遍存在客觀性不強、隨機性大、精確度低等特點,嚴重制約了軍事訓練效果評估結論的可靠性。本文以軍事訓練效果評估具體任務為牽引,從專家主觀能動性的科學量化角度出發(fā),對專家可信度主客觀評價技術充分融合,提出一種基于專家可信度與區(qū)間值集結的定性指標量化方法,并通過具體實例進行驗證,可為軍事訓練效果評估工作提供可靠的基礎支撐。此外,本文提出的方法不僅適用于軍事領域,還可推廣應用于民用領域的評估工作中,從而實現(xiàn)理論成果的應用效益最大化。