王 睿，姜 寧

(海軍大連艦艇學(xué)院,遼寧 大連 116018)

深入開展軍事訓(xùn)練工作,是提高部隊(duì)實(shí)戰(zhàn)能力的重要舉措。軍事訓(xùn)練效果評估,作為組訓(xùn)工作重要環(huán)節(jié),其成效直接影響訓(xùn)練效益,評估結(jié)論將對各級決策產(chǎn)生重大影響。效果評估涉及衡量指標(biāo)、權(quán)重和聚合方法等一系列要素的確定,其中,評估指標(biāo)值量化更是評估工作的基礎(chǔ)。整體上,評估指標(biāo)包括定量指標(biāo)和定性指標(biāo)兩類。定量指標(biāo)是可以準(zhǔn)確數(shù)量定義、精確衡量并能設(shè)定績效目標(biāo)的考核指標(biāo)。定性指標(biāo)是指無法直接通過數(shù)據(jù)計算分析評價內(nèi)容,需對評價對象進(jìn)行客觀描述和分析來反映評價結(jié)果的指標(biāo)。

軍事訓(xùn)練效果評估主要是對訓(xùn)練對象能力和水平的評價,其大部分底層評價點(diǎn)的描述存在極大的不確定性和模糊性,屬于定性評估指標(biāo),實(shí)際工作中難以直接采集得到具體指標(biāo)值,通常需由評估專家參照相關(guān)數(shù)據(jù)素材,并結(jié)合具體對照標(biāo)準(zhǔn),間接轉(zhuǎn)化為可用于效果評估工作的量化值。傳統(tǒng)方法優(yōu)點(diǎn)在于操作簡單、便于理解,僅需要將評估專家組給定分值進(jìn)行加權(quán)平均即可得到結(jié)果;其缺點(diǎn)也十分明顯,由于過度依賴評估專家個人綜合能力,受人為因素影響較大,簡單的加權(quán)平均處理容易掩蓋指標(biāo)量值的真實(shí)屬性,進(jìn)而降低評估結(jié)論的可靠性。因此,本文以確保研究成果實(shí)用性為出發(fā)點(diǎn),對定性指標(biāo)量化影響因子詳盡分解,將主客觀技術(shù)有機(jī)融合處理,提出一種改進(jìn)的軍事訓(xùn)練效能定性評估指標(biāo)量化方法,為軍事訓(xùn)練效果評估工作順利實(shí)施提供理論支撐。

1 效能評價描述標(biāo)度

軍事訓(xùn)練效果評估工作的基礎(chǔ)是對選用的評估指標(biāo)進(jìn)行工程量化,即確定評估指標(biāo)的描述標(biāo)度,指標(biāo)描述方法直接決定評估結(jié)論的描述方式。由于軍事訓(xùn)練效果評估指標(biāo)類型多、數(shù)量大,在進(jìn)行工程計算時需量體裁衣、選用適合的方法理論進(jìn)行處理,在這一過程中,不可避免地需要人工參與(即專家評判處理),而專家主觀性差異必然會產(chǎn)生一定程度的不確定性。根據(jù)軍事訓(xùn)練效果評估指標(biāo)特點(diǎn),涉及精確值、區(qū)間值和語言值三類描述標(biāo)度[1-3]。

1)精確值描述標(biāo)度

精確值描述標(biāo)度即通過精確的數(shù)值實(shí)現(xiàn)對某一評估指標(biāo)或評估結(jié)論的判定,通過特有模型計算得到結(jié)果。其強(qiáng)烈依賴于采集數(shù)據(jù),專家主觀影響較小,具有描述結(jié)果直觀、量化清晰、便于橫向?qū)Ρ鹊葍?yōu)點(diǎn),缺點(diǎn)是需要具體的工程計算模型,對某些模糊屬性的評估指標(biāo)難以實(shí)現(xiàn)量化。

為方便實(shí)用,通常取x∈[0,100],語義上取值呈正向增長,取值上限100為最理想結(jié)果,取值0為最差結(jié)果。

2)區(qū)間值描述標(biāo)度

區(qū)間值從概念上是描述一定量數(shù)值的集合體,可以理解為具有模糊屬性的量,主要通過評估專家依托評判標(biāo)準(zhǔn)人為給出。其優(yōu)點(diǎn)是賦予評估專家一定靈活度、有效規(guī)避了人為因素引起的誤差,但區(qū)間寬度的界定是區(qū)間值描述法的關(guān)鍵點(diǎn)。

Q∈[a1,a2],0≤a1≤a2≤100,a1,a2∈R。

3)語言值描述標(biāo)度

軍事訓(xùn)練效果評估中定性指標(biāo)評定,需要評估專家結(jié)合數(shù)據(jù)主觀評定,結(jié)論往往是定性的語言描述,如“優(yōu)、良、合格、較差、差”等,其中,每類語言描述標(biāo)度對應(yīng)相應(yīng)的指標(biāo)評價標(biāo)準(zhǔn)。語言值描述標(biāo)度的使用有利于多種評估方法的選擇,如模糊法、灰度法、粗糙熵法等。

4)描述標(biāo)度統(tǒng)一轉(zhuǎn)化

分析軍事訓(xùn)練效果評估指標(biāo)體系,涉及指標(biāo)的度量均涵蓋精確值、區(qū)間值和語言值等,評估指標(biāo)值類型決定了評估結(jié)論值的類型。由于語言型標(biāo)度無法直接進(jìn)行數(shù)學(xué)運(yùn)算,為便于評估模型方法選用,需要將評估描述標(biāo)度進(jìn)行規(guī)范化處理。本文提出“語言型標(biāo)度同區(qū)間型標(biāo)度轉(zhuǎn)換”實(shí)施方法,具體形式如表1。

表1 語言值與區(qū)間值描述標(biāo)度對應(yīng)關(guān)系

注:精確值標(biāo)度x表示為:[x,x]。

其中,為增加描述的精確性、減少語言模糊度,將評估技術(shù)中廣泛認(rèn)可的五類語言標(biāo)度描述進(jìn)一步細(xì)化(每一類劃分為三個子類),形成最多十五類語言標(biāo)度描述。同時,為便于運(yùn)算,設(shè)定具體區(qū)間值。

2 專家可信度量化方法

評估專家對指標(biāo)進(jìn)行量化時,把握程度是極為重要的信息,對最終的結(jié)果會產(chǎn)生較大影響,本文“可信度”即為專家給出判斷值的可信度。合理運(yùn)用專家可信度能夠最大限度降低訓(xùn)練效果評估工作中的主觀誤差,其量化方法包括主觀判定和客觀判定兩類[4-8]。

1)主觀判定法

評估工作中專家可信度的主觀判定,主要是對各評估專家自身能力指標(biāo)進(jìn)行量化分解,并通過綜合計算得到具體值,這種方法實(shí)際上也可以理解為將專家作為度量體的評估。一般情況下,專家可信度應(yīng)針對評估任務(wù)聚焦于專業(yè)能力、知識儲備、任職經(jīng)歷、評估經(jīng)驗(yàn)等四個大方向。專業(yè)能力(ZY):主要涵蓋該專家在作戰(zhàn)指揮、裝備運(yùn)用等領(lǐng)域具有的專業(yè)地位、獲得的技術(shù)成果等綜合能力。知識儲備(ZS):主要指該專家在軍事訓(xùn)練具體領(lǐng)域的知識儲備水平。任職經(jīng)歷(RZ):主要指該專家在不同單位工作經(jīng)歷。評估經(jīng)驗(yàn)(JY):主要指該專家在以往類似軍事訓(xùn)練中的評估經(jīng)驗(yàn),包括參與評估的次數(shù)、時長、擔(dān)任的角色等。

專家可信度主觀判定原始模型為

ΩZ=γ1·FZY+γ2·FZS+γ3·FRZ+γ4·FJY

(1)

進(jìn)行標(biāo)準(zhǔn)化處理后,得到第i個專家的可信度為

(2)

式中，m為專家數(shù)量。

采用主觀判定法計算專家可信度,可在一定程度上使結(jié)果更加科學(xué)、實(shí)用,但如何設(shè)定專家能力指標(biāo)以及指標(biāo)權(quán)重又成為一個難點(diǎn),本文認(rèn)為:為便于軍事訓(xùn)練實(shí)際應(yīng)用,選取過程中需重點(diǎn)把握整體性、清晰性、指向性等原則。

2)客觀判定法

評估工作中專家可信度的客觀判定,核心是通過評估專家組對單一目標(biāo)的整體數(shù)據(jù)來計算可信度。當(dāng)多位專家給出分值數(shù)據(jù)可靠性較高時,通過計算待測專家結(jié)論與專家組結(jié)論平均值的接近度得到目標(biāo)值。專家i可信度基本計算模型如下:

(3)

式中:j為第j個評價指標(biāo),n為評價指標(biāo)數(shù)。

進(jìn)行標(biāo)準(zhǔn)化處理后,得到第i個專家的可信度為:

(4)

采用客觀判定法計算專家可信度,無需主觀評判專家能力,消除了二次評估造成的影響誤差。但對專家數(shù)量、專家數(shù)據(jù)的聚合趨勢有一定要求。

3)可信度綜合判定

無論主觀判定法,還是客觀判定法都存在自身優(yōu)勢和不足,專家可信度概念的引入目的是降低干擾誤差,因此,本文認(rèn)為對兩種方法適當(dāng)融合、綜合運(yùn)用為妥。

專家i可信度的綜合判定如下式:

μi=aηi+bβi

(5)

式中:a+b=1。

3 軍事通信訓(xùn)練效能定性評價指標(biāo)量化技術(shù)

3.1 定性指標(biāo)經(jīng)典量化方法

定性評估指標(biāo)值雖無法直接使用數(shù)學(xué)模型進(jìn)行工程化計算,為增強(qiáng)描述結(jié)果的客觀性,可利用一定的數(shù)學(xué)理論方法進(jìn)行處理,這就涉及定型指標(biāo)量化計算方法[6-12]。

直接賦值法:評估專家組根據(jù)自身專業(yè)知識及觀測情況,對待測對象直接賦值,這里的賦值為具體數(shù)字。該方法雖然理解容易、操作簡單,但對專家來講,由于軍事訓(xùn)練任務(wù)的動態(tài)性和目標(biāo)值的模糊性,難以保證給出結(jié)論值的可靠程度。

標(biāo)度對照法:根據(jù)心理學(xué)家米勒(G.A.Miller)的試驗(yàn)結(jié)論,人類對事物進(jìn)行辨別時,能夠清晰、有效地區(qū)分其等級最優(yōu)在5-9級之間(最多不超過15級)。因此,定性評估指標(biāo)可量化為9個語言標(biāo)度等級,同時將每個語言標(biāo)度等級同固定的數(shù)值建立映射關(guān)系,這樣就實(shí)現(xiàn)了評價語言與定性量化值互換,如表2所示。

表2 定性指標(biāo)典型量化標(biāo)尺

注:本表采用9標(biāo)度等級,0和1較為極端一般不采用。

上文給出了評估工作中常用的兩類定性指標(biāo)量化方法,一般性評估中還有三角模糊數(shù)、梯形模糊數(shù)、定性排序量化等多種方法,這些方法運(yùn)算背景和量化過程不同,均有各自的優(yōu)缺點(diǎn)[5-6]。

3.2 基于專家可信度與區(qū)間值集結(jié)的定性指標(biāo)量化方法

評估工作中,不同評估對象具有自身特點(diǎn),可有針對性地選擇適合的定性指標(biāo)量化方法。軍事訓(xùn)練效果評估,所選用的定性評估指標(biāo)具有明確的軍事屬性,特點(diǎn)十分鮮明,其采用的量化方法有別于通用的方案優(yōu)選、模糊排序評判任務(wù)。結(jié)合軍事訓(xùn)練效果評估工作特點(diǎn),為兼顧定性指標(biāo)量化的可靠和匯算的便捷,本文將專家可信度模型與專家評價值集結(jié)模型方法相結(jié)合對定性指標(biāo)進(jìn)行量化計算,具體步驟如下:

Step1:針對軍事訓(xùn)練評估目標(biāo)、評價體系指標(biāo)屬性以及指標(biāo)理想化標(biāo)準(zhǔn),詳細(xì)劃分定性指標(biāo)語言描述等級并合理區(qū)分對應(yīng)量化值區(qū)間,從而建立量化分級評價表。其中,該表應(yīng)涵蓋目標(biāo)的詳細(xì)考核要點(diǎn)和評價內(nèi)容,劃分類別數(shù)量適當(dāng)為好,既不宜過簡造成評判模糊,也不宜超過行為人的可接受思維程度;

Step2:評估專家組成員,參照量化分級評價表給出的語言標(biāo)度及量化數(shù)值,分別對不同評價指標(biāo)對象分級打分區(qū)間,得到定性指標(biāo)初始評價矩陣如下:

(6)

式中，m為參與打分的評估專家數(shù)量;

n為同一類別(隸屬于同一上級評價指標(biāo))定性指標(biāo)數(shù)量;

Step3:進(jìn)行基于專家評可信度與區(qū)間值集結(jié)的量化值融合:首先計算某一評估專家的可信度并對其進(jìn)行歸一化計算,然后進(jìn)行評估專家組評價值(區(qū)間)集結(jié)[4-15],最終得到各定性評價指標(biāo)的綜合值。

(7)

4 應(yīng)用實(shí)例

本文以某部隊(duì)某次大規(guī)模軍事訓(xùn)練為例,擬對該部隊(duì)參訓(xùn)兵力訓(xùn)練評估定性指標(biāo)進(jìn)行量化,具體評價指標(biāo)包括:內(nèi)容設(shè)置能力、制訂計劃能力、訓(xùn)練控制能力、綜合保障能力和訓(xùn)練總結(jié)能力。

參照定性指標(biāo)量化分級標(biāo)準(zhǔn),評估專家組(擬定人數(shù)5名),根據(jù)現(xiàn)場觀測和對采集數(shù)據(jù)的分析,以評價區(qū)間形式對5類評估指標(biāo)進(jìn)行具體打分,如表3所示。

表3 特殊情況處置能力評估指標(biāo)打分表

備注:為同一標(biāo)準(zhǔn),便于理解和計算,這里假設(shè)評估專家打分區(qū)間均以單位5為跨度,實(shí)際工作中區(qū)間跨度可靈活調(diào)整。

根據(jù)上表,得到專家組對5項(xiàng)指標(biāo)的評價矩陣為

其中,將專家打分區(qū)間跨度格式統(tǒng)一為“[]”形式,以便于運(yùn)算,不影響具體結(jié)論。

假設(shè)評估組共5位專家,各專家專業(yè)能力(ZY)、知識儲備(ZS)、任職經(jīng)歷(RZ)、評估經(jīng)驗(yàn)(JY)四項(xiàng)指標(biāo)打分如表4。

表4 各專家能力量化打分表

假設(shè)各專家子指標(biāo)主觀評價權(quán)重系數(shù)γ=0.25。計算得到5位專家專家可信度主觀判定值分別約為87、91、88、85、88,歸一化后結(jié)果為0.198、0.207、0.201、0.193、0.201;參照評估指標(biāo)打分表所列數(shù)值,計算得到5位專家專家可信度客觀判定值分別約為0.98,0.97,0.97,0.95,0.94,歸一化后結(jié)果為0.204,0.202、0.202、0.197、0.195;設(shè)主客觀權(quán)系數(shù)a=b=0.5,則得到各評估專家的可信度綜合值:0.201、0.204、0.202、0.195、0.198，如表5。

表5 專家可信度分值統(tǒng)計表

備注:為便于對比,將計算結(jié)果取值到小數(shù)點(diǎn)后三位。

將5位評估專家可信度與具體評估值進(jìn)行集結(jié),得到各定性指標(biāo)具體量化值如下:

Xi=[x1,x2,x3,x4,x5]=(86.545,79.465,74.425,72.450,87.510)

對照表3,將定性指標(biāo)最終量化值與初始量化區(qū)間比對可以發(fā)現(xiàn),最終值同初始量化區(qū)間值的均值(具體指標(biāo)各專家、各區(qū)間的算術(shù)平均根)比較接近,見表6。

表6 綜合計算量化值與初始區(qū)間均值比對表

通過分析得到結(jié)論如下:1)提出的定性指標(biāo)量化方法可靠性較高，表6中兩類算法結(jié)果差異較小原因,一方面為實(shí)例中各項(xiàng)權(quán)重參數(shù)都取均值,另一方面專家評價值區(qū)間跨度相同(皆為5),當(dāng)上述二者之一量值變化明顯時定性指標(biāo)綜合計算值能夠呈現(xiàn)一定差異;2)該方法能夠?qū)Τ跏冀Y(jié)論進(jìn)行適當(dāng)修正,使得結(jié)果更加客觀精確。當(dāng)量化值區(qū)間、權(quán)重系數(shù)規(guī)范化要求時,運(yùn)用本方法能夠?qū)υu價結(jié)果進(jìn)行局域合理化處理,未出現(xiàn)偏離訓(xùn)練效果評估工作整體方向,可對評估最終結(jié)論起到良好支撐。

5 結(jié)束語

定性評價指標(biāo)制約因素多,不易量化判定,傳統(tǒng)量化取值方法普遍存在客觀性不強(qiáng)、隨機(jī)性大、精確度低等特點(diǎn),嚴(yán)重制約了軍事訓(xùn)練效果評估結(jié)論的可靠性。本文以軍事訓(xùn)練效果評估具體任務(wù)為牽引,從專家主觀能動性的科學(xué)量化角度出發(fā),對專家可信度主客觀評價技術(shù)充分融合,提出一種基于專家可信度與區(qū)間值集結(jié)的定性指標(biāo)量化方法,并通過具體實(shí)例進(jìn)行驗(yàn)證,可為軍事訓(xùn)練效果評估工作提供可靠的基礎(chǔ)支撐。此外,本文提出的方法不僅適用于軍事領(lǐng)域,還可推廣應(yīng)用于民用領(lǐng)域的評估工作中,從而實(shí)現(xiàn)理論成果的應(yīng)用效益最大化。