丁曉劍，程文迪

(信息系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210007)

基于ELM的作戰(zhàn)方案樣本驗(yàn)證及評(píng)估方法*

丁曉劍，程文迪

(信息系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210007)

針對(duì)專家制定作戰(zhàn)方案訓(xùn)練樣本時(shí)容易受主觀性影響的問(wèn)題，提出了基于ELM的樣本驗(yàn)證及評(píng)估方法。首先根據(jù)ELM建立作戰(zhàn)方案樣本的預(yù)測(cè)模型，然后更正錯(cuò)誤標(biāo)記的樣本。仿真實(shí)驗(yàn)表明，利用ELM模型訓(xùn)練更正后的樣本集能有效降低均方根誤差值和提高預(yù)測(cè)的準(zhǔn)確率。與RBF神經(jīng)網(wǎng)絡(luò)相比，訓(xùn)練ELM模型的時(shí)間縮短了98.8%，而且無(wú)需調(diào)節(jié)激活函數(shù)的參數(shù)就可以得到足夠好的泛化性能。

超限學(xué)習(xí)機(jī); 徑向基函數(shù)；作戰(zhàn)方案；評(píng)估；泛化性能

0 引言

現(xiàn)代化作戰(zhàn)需要在戰(zhàn)前經(jīng)過(guò)嚴(yán)格論證，建立多個(gè)可行的作戰(zhàn)方案，并從中選取最優(yōu)方案，該過(guò)程也稱為作戰(zhàn)方案評(píng)估。傳統(tǒng)的方法是由作戰(zhàn)參謀對(duì)方案進(jìn)行推演分析，然后做出決策，給出作戰(zhàn)效果[1-2]。這種方法受人的主觀因素影響較大，決策結(jié)果具有不確定性。一個(gè)可行的方法是軍事專家根據(jù)經(jīng)驗(yàn)對(duì)該任務(wù)建立訓(xùn)練樣本，給出可信的打擊效果。然后利用機(jī)器學(xué)習(xí)方法對(duì)作戰(zhàn)方案訓(xùn)練樣本集進(jìn)行學(xué)習(xí)，得到預(yù)測(cè)網(wǎng)絡(luò)，再對(duì)不同的作戰(zhàn)方案進(jìn)行預(yù)測(cè)。

上述方法會(huì)衍生一個(gè)重要的問(wèn)題，如果根據(jù)經(jīng)驗(yàn)建立的訓(xùn)練樣本的標(biāo)簽值出現(xiàn)錯(cuò)誤，是否會(huì)對(duì)未知的測(cè)試樣本預(yù)測(cè)造成影響。機(jī)器學(xué)習(xí)方法的成功率受訓(xùn)練樣本準(zhǔn)確性的依賴較大，如果訓(xùn)練樣本的標(biāo)簽值被錯(cuò)誤地賦值，預(yù)測(cè)出的測(cè)試樣本可能也會(huì)出現(xiàn)錯(cuò)誤，在訓(xùn)練樣本集較小的情況錯(cuò)誤率會(huì)明顯放大。

針對(duì)這個(gè)問(wèn)題，本文利用一種新型神經(jīng)網(wǎng)絡(luò)方法ELM (extreme learning machine)[3-6]對(duì)作戰(zhàn)方案進(jìn)行建模，尋找可能標(biāo)記錯(cuò)誤的訓(xùn)練樣本，并測(cè)試ELM網(wǎng)絡(luò)在未知樣本上的泛化性能。

1 相關(guān)工作

神經(jīng)網(wǎng)絡(luò)類型算法由于其模式識(shí)別和函數(shù)逼近能力較強(qiáng)，在軍事作戰(zhàn)方案領(lǐng)域有較多成功的應(yīng)用。文獻(xiàn)[7]利用基于神經(jīng)網(wǎng)絡(luò)的集成方法建立了合成旅作戰(zhàn)方案評(píng)估網(wǎng)絡(luò)，有效降低了評(píng)價(jià)過(guò)程中認(rèn)為因素的影響。文獻(xiàn)[8]設(shè)計(jì)了基于BP神經(jīng)網(wǎng)絡(luò)對(duì)一般性機(jī)動(dòng)發(fā)射導(dǎo)彈作戰(zhàn)方案評(píng)估的方法，在短時(shí)間對(duì)多個(gè)作戰(zhàn)方案評(píng)估可以有效節(jié)約時(shí)間。文獻(xiàn)[9]利用徑向基(radial basis function, RBF)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了聯(lián)合作戰(zhàn)方案的評(píng)估網(wǎng)絡(luò)，并給出了應(yīng)用實(shí)例。RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱層和輸出層3層組成的典型前饋式神經(jīng)網(wǎng)絡(luò)，不但具有最佳逼近性能和全局最優(yōu)性，而且結(jié)構(gòu)簡(jiǎn)單，學(xué)習(xí)速度較快。然而RBF神經(jīng)網(wǎng)絡(luò)需要調(diào)節(jié)隱層節(jié)點(diǎn)個(gè)數(shù)、隱層節(jié)點(diǎn)中徑向基函數(shù)的中心和寬度、隱層到輸出層連接權(quán)值等多個(gè)參數(shù)才能得到最優(yōu)訓(xùn)練網(wǎng)絡(luò)，不僅耗時(shí)，而且網(wǎng)絡(luò)性能對(duì)參數(shù)值比較比較敏感。

ELM和RBF同屬于單隱層神經(jīng)網(wǎng)絡(luò)(single-hidden layer feedforward neural network,SLFN)，但是ELM網(wǎng)絡(luò)可以表示為線性方程組的形式，而且線性方程組中的隱藏矩陣是隨機(jī)生成的，與訓(xùn)練樣本無(wú)關(guān)。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，ELM網(wǎng)絡(luò)能在最小化訓(xùn)練樣本錯(cuò)誤的同時(shí)獲得較好的泛化性能。ELM網(wǎng)絡(luò)主要用于函數(shù)的逼近，既可以用于分類學(xué)習(xí)，也可以用于回歸分析。文獻(xiàn)[10]證明了當(dāng)激活函數(shù)是Sigmoid函數(shù)g(x)=1/1+e-x時(shí)，SLFN可以以任意精度逼近任意的連續(xù)函數(shù)。文獻(xiàn)[11]已證明幾乎所有的分段連續(xù)函數(shù)(可微的或者不可微的)用于ELM時(shí)都具有全局逼近性質(zhì)。

2 ELM方法與方案建模

2.1 ELM方法

j=1,…,N，

(1)

(2)

這N個(gè)方程可稱為線性方程組的形式：

Hβ=T，

(3)

式中：

(4)

(5)

(6)

式中：H?為矩陣H的Moore-Penrose廣義逆。

ELM是基于參數(shù)隨機(jī)化和最小二乘解思想的SLFN，ELM算法可描述如下：

步驟1：隨機(jī)賦值輸入權(quán)wi和偏置bi，i=1,…,N；

步驟2：計(jì)算隱藏層輸出矩陣H；

步驟3：計(jì)算輸出權(quán)值β=H?T，其中T=(t1,…,tN)T。

算法步驟1中輸入權(quán)wi和偏置bi在(-1,1)N×(0,1)中基于平均概率分布隨機(jī)取值。步驟2矩陣H的計(jì)算參考式(4)，激活函數(shù)g(x)可選取sigmoidal函數(shù)或者指數(shù)函數(shù)等等。步驟3輸出權(quán)值β的計(jì)算參考式(6)，利用廣義逆矩陣的方法不但能最小化訓(xùn)練樣本的錯(cuò)誤，還能最小化β模的值，能夠保證ELM算法具有較好的泛化性能。

2.2 ELM與RBF的比較

(7)

式中：βi=(βi1,βi2,…,βim)T為連接第i個(gè)核和輸出神經(jīng)元的權(quán)向量；μi=(μi1,μi2,…,μim)T為第i個(gè)核的中心；σi為核的寬度。一般用高斯函數(shù)的形式來(lái)表示核φ：

(8)

訓(xùn)練RBF網(wǎng)絡(luò)需要進(jìn)行2個(gè)階段的學(xué)習(xí)：核參數(shù)和權(quán)值向量。首先確定核函數(shù)的中心和寬度，然后再進(jìn)行連接權(quán)值的學(xué)習(xí)。核參數(shù)的確定通常需要額外的算法和多次迭代才能找到最優(yōu)值。

與RBF網(wǎng)絡(luò)相比，ELM網(wǎng)絡(luò)中的核函數(shù)參數(shù)由隨機(jī)分布函數(shù)產(chǎn)生，并且與訓(xùn)練樣本無(wú)關(guān)。訓(xùn)練ELM網(wǎng)絡(luò)即連接權(quán)值β的學(xué)習(xí)，只需簡(jiǎn)單地計(jì)算線性方程組，無(wú)需迭代過(guò)程。

3 實(shí)驗(yàn)仿真與結(jié)果分析

本節(jié)實(shí)驗(yàn)的目的是驗(yàn)證ELM網(wǎng)絡(luò)在作戰(zhàn)方案評(píng)估中的效果以及與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)的學(xué)習(xí)性能比較。ELM的激活函數(shù)使用常用的sigmoid函數(shù)，即g(x)=1/(1+exp(-x))。文獻(xiàn)[3]指出BP網(wǎng)絡(luò)由于其學(xué)習(xí)機(jī)制需要花費(fèi)大量時(shí)間迭代得到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，并且泛化性能較差，在趨向于實(shí)時(shí)效果的作戰(zhàn)方案評(píng)估應(yīng)用中不太適合，本文不采用BP網(wǎng)絡(luò)進(jìn)行試驗(yàn)比較。

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)的數(shù)據(jù)來(lái)自文獻(xiàn)[9]的航空兵火力打擊作戰(zhàn)方案數(shù)據(jù)，分為訓(xùn)練樣本集和擬評(píng)估測(cè)試樣本集。訓(xùn)練樣本集有8個(gè)樣本，見(jiàn)表1。測(cè)試樣本集有4個(gè)樣本，見(jiàn)表2。

表1 作戰(zhàn)方案訓(xùn)練樣本集Table 1 Training samples of battle scheme

表2 作戰(zhàn)方案測(cè)試樣本集Table 2 Testing samples of battle scheme

3.2 方案建模

借鑒文獻(xiàn)[9]中的航空兵火力打擊方案數(shù)據(jù)，ELM網(wǎng)絡(luò)的訓(xùn)練樣本xi可選取飛機(jī)機(jī)型、數(shù)量、攜彈威力、命中精度、突防高度、突擊速度等10個(gè)參數(shù)作為屬性，ti可選值有“襲擾”、“壓制”和“摧毀”。由ti的可選值可以看出，對(duì)方案的建模實(shí)際上是回歸學(xué)習(xí)的過(guò)程。將火力打擊效果 “襲擾”、“壓制”和“摧毀”量化為1，2和3。對(duì)測(cè)試樣本進(jìn)行學(xué)習(xí)時(shí)，預(yù)測(cè)的火力打擊效果模型為

(9)

式中：f(xi)為ELM網(wǎng)絡(luò)對(duì)測(cè)試樣本xi的預(yù)測(cè)值。

3.3 訓(xùn)練樣本實(shí)驗(yàn)分析

本節(jié)實(shí)驗(yàn)的目的是驗(yàn)證訓(xùn)練樣本的健壯性。訓(xùn)練樣本是由專家組聽(tīng)取多方意見(jiàn)，共同決策而形成的較為可信的樣本。然而在戰(zhàn)前籌劃階段，由于時(shí)間緊任務(wù)重，專家制定的訓(xùn)練樣本也可能出現(xiàn)誤差。將訓(xùn)練樣本分為2組，用ELM網(wǎng)絡(luò)訓(xùn)練一組樣本，再用訓(xùn)練好的ELM網(wǎng)絡(luò)測(cè)試另一組樣本。每次實(shí)驗(yàn)將樣本次序隨機(jī)打亂，取前4個(gè)樣本訓(xùn)練，后4個(gè)樣本測(cè)試。一共進(jìn)行10次實(shí)驗(yàn)，利用均方根誤差(root mean square error, RMSE)、預(yù)測(cè)正確率(test rate，TR)、預(yù)測(cè)錯(cuò)誤的樣本(test error data, TED)和預(yù)測(cè)的值(prediction value, PV)作為測(cè)試指標(biāo)。

從表3可以看出，在10次實(shí)驗(yàn)中，預(yù)測(cè)錯(cuò)誤的樣本以4號(hào)和8號(hào)居多。在第1，5，8次實(shí)驗(yàn)中，8號(hào)樣本為訓(xùn)練樣本，4號(hào)樣本作為測(cè)試樣本預(yù)測(cè)的值接近于2，即8號(hào)樣本的標(biāo)簽值。在第2，4，6，7，10次實(shí)驗(yàn)中，4號(hào)樣本為訓(xùn)練樣本，8號(hào)樣本作為測(cè)試樣本預(yù)測(cè)的值接近于1，即4號(hào)樣本的標(biāo)簽值。從表1分析4號(hào)樣本和8號(hào)樣本的特點(diǎn)，可以看出這兩個(gè)樣本在8個(gè)屬性上是完全一樣的，只有飛機(jī)數(shù)量和攜彈威力2個(gè)屬性的值上有少許不同，這說(shuō)明2個(gè)樣本是很相似的，應(yīng)該賦予相同的標(biāo)簽值。在第9次實(shí)驗(yàn)中，雖然2個(gè)樣本都預(yù)測(cè)正確，但是8號(hào)樣本偏離標(biāo)簽的值較4號(hào)樣本大一些。結(jié)合第3次實(shí)驗(yàn)，8號(hào)樣本的標(biāo)簽值應(yīng)賦予“襲擾”，即數(shù)值1。

下面比較ELM網(wǎng)絡(luò)在原始訓(xùn)練樣本和更正后的訓(xùn)練樣本上的泛化性能，實(shí)驗(yàn)采用本節(jié)的配置，結(jié)果見(jiàn)圖1。

表3 訓(xùn)練樣本實(shí)驗(yàn)結(jié)果Table 3 Training samples simulation results

圖1 ELM在2個(gè)數(shù)據(jù)集上泛化性能比較Fig.1 Generalization performance comparison of ELM on two datasets

從圖1 a)可以看出，修正訓(xùn)練樣本的標(biāo)簽值以后，RMSE值更小，這表明ELM網(wǎng)絡(luò)在更正后的樣本集上預(yù)測(cè)準(zhǔn)度更高一些。在10次實(shí)驗(yàn)中ELM網(wǎng)絡(luò)在原始訓(xùn)練樣本集上的只有1次完全預(yù)測(cè)正確，而在更正后的訓(xùn)練樣本集上只有2次預(yù)測(cè)不正確。

3.4 ELM與RBF的泛化性能比較

本節(jié)的目的是分析ELM與RBF對(duì)表2測(cè)試樣本的泛化性能。測(cè)試指標(biāo)包括訓(xùn)練時(shí)間(training time，TT)、均方根誤差(root mean square error, RMSE)和預(yù)測(cè)的值(prediction value, PV)。由于文獻(xiàn)[4]中沒(méi)有給出樣本的標(biāo)簽值，我們通過(guò)多次實(shí)驗(yàn)比較和屬性值的分析，得出4個(gè)樣本的標(biāo)簽值為：“壓制”、“摧毀”、“襲擾”和“襲擾”，分別量化為：2，3，1，1。RBF網(wǎng)絡(luò)的學(xué)習(xí)利用Matlab軟件提供的神經(jīng)網(wǎng)絡(luò)工具箱，對(duì)4個(gè)樣本的PV為(2.045 7, 3.000 0, 1.192 6, 1.056 3)，RMSE值為0.102 9，TT為0.039 8 s。訓(xùn)練ELM網(wǎng)絡(luò)得到的PV為(1.808 2, 3.000 0, 1.048 5, 1.005 7)，RMSE值為0.099 0，TT為4.746 1e-4 s。

從上面的結(jié)果看出，RBF網(wǎng)絡(luò)的泛化性能和ELM相差不大，但是訓(xùn)練網(wǎng)絡(luò)的時(shí)間是ELM的83.86倍。這是由于訓(xùn)練RBF網(wǎng)絡(luò)首先要確定核函數(shù)的中心和寬度，然后再進(jìn)行連接權(quán)值的學(xué)習(xí)。核參數(shù)的確定通常需要額外的算法和多次迭代才能找到最優(yōu)值，所以網(wǎng)絡(luò)訓(xùn)練時(shí)間很長(zhǎng)。當(dāng)訓(xùn)練樣本較大時(shí)，將會(huì)極大增加網(wǎng)絡(luò)訓(xùn)練的時(shí)間，影響方案決策的效率。由于ELM網(wǎng)絡(luò)中的核函數(shù)參數(shù)由隨機(jī)分布函數(shù)產(chǎn)生，與訓(xùn)練樣本無(wú)關(guān)，所以ELM網(wǎng)絡(luò)無(wú)需迭代即可完成訓(xùn)練過(guò)程，所需訓(xùn)練時(shí)間很短。另外ELM網(wǎng)絡(luò)的所有參數(shù)都是由某分布隨機(jī)產(chǎn)生，與訓(xùn)練樣本無(wú)關(guān)，比較使用于時(shí)效性要求較高的軍事應(yīng)用場(chǎng)合。

4 結(jié)束語(yǔ)

作戰(zhàn)方案訓(xùn)練樣本集通常由專家根據(jù)經(jīng)驗(yàn)制定，含有主觀因素，可能含有錯(cuò)誤的標(biāo)簽值。利用錯(cuò)誤的訓(xùn)練樣本預(yù)測(cè)未知的樣本集，可能會(huì)得到錯(cuò)誤的預(yù)測(cè)結(jié)果。而這種標(biāo)記錯(cuò)誤的樣本通常難以檢測(cè)，而且會(huì)加大作戰(zhàn)方案的評(píng)估誤差?；贓LM網(wǎng)絡(luò)的訓(xùn)練樣本檢測(cè)方法，能夠彌補(bǔ)專家決策方法的不足，消除由主觀因素帶來(lái)的影響，提高對(duì)未知作戰(zhàn)方案樣本的預(yù)測(cè)精度。

[1] 王鋒,李遠(yuǎn)華,許長(zhǎng)鵬. 基于動(dòng)態(tài)推演的合同戰(zhàn)斗作戰(zhàn)方案評(píng)估研究 [J]. 裝備指揮技術(shù)學(xué)院學(xué)報(bào)，2012, 23(1): 40-44. WANG Feng, LI Yuan-hua, XU Chang-peng. Research on the Combined Combat Operational Plan Assessment Based on Dynamic Evolvement [J]. Journal of the Academy of Equipment Command & Technology, 2012, 23(1): 40-44.

[2] 齊燕博,王平. 基于推理的作戰(zhàn)方案評(píng)估系統(tǒng)研究 [J]. 計(jì)算機(jī)與數(shù)字工程, 2010, 38(1): 78-102. QI Yan-bo, WANG Ping. Reasoning Based Operational Scheme Assessment System [J]. Computer & Digital Engineering, 2010, 38(1): 78-102.

[3] HUANG G B, ZHU Q Y, SIEW CK. Extreme Learning Machine: Theory and Applications [J]. Neurocomputing, 2006, 70 (1-3): 489-501.

[4] HUANG G B, DING X J, ZHOU H M. Optimization Method Based Extreme Learning Machine for Classification[J]. Neurocomputing, 2010, 74(1-3):155-163.

[5] 丁曉劍,趙銀亮. 優(yōu)化極限學(xué)習(xí)機(jī)的序列最小優(yōu)化方法[J]. 西安交通大學(xué)學(xué)報(bào), 2011, 45(6): 7-12. DING Xiao-jian; ZHAO Yin-liang. A Sequential Minimal Optimization Method for Optimization Extreme Learning Machine [J]. Journal of Xi′an Jiaotong University, 2011, 45(6): 7-12.

[6] HUANG G-B, ZHOU H, DING X, et al. Extreme Learning Machine for Regression and Multiclass Classification [J]. IEEE Trans Syst Man Cybern Part B，2012, 42(2): 513-529.

[7] 王靜巖,鄭建軍,吳裕樹(shù). 一種基于神經(jīng)網(wǎng)絡(luò)的作戰(zhàn)方案評(píng)估方法[J]. 軍事運(yùn)籌與系統(tǒng)工程, 2005, 19(1): 57-61. WANG Jing-yan, ZHEN Jian-jun, WU Yu-shu. A Neural Network Method for Battle Scheme Evaluation [J]. Military Operations Research and Systems Engineering, 2005, 19(1): 57-61.

[8] 高桂清,施旭鑫,李治,等. 基于BP神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈作戰(zhàn)方案評(píng)估方法[J]. 四川兵工學(xué)報(bào), 2011, 32(11): 6-9. GAO Gui-qing, SHI Xu-xin, LI Zhi, et al. Evaluation Method of Missile Operation Scheme Based on BP Neural Network [J]. Journal of Sichuan Ordnance, 2011, 32(11): 6-9.

[9] 劉祖煌,程啟月.徑向基神經(jīng)網(wǎng)絡(luò)的聯(lián)合作戰(zhàn)方案評(píng)估仿真[J]. 火力指揮與控制, 2013, 38(1): 14-17. LIU Zu-huang, CHENG Qi-yue. Research on Evaluation Model of Joint Operation Scheme Based on RBF Nenral Network [J]. Fire Control & Command Control, 2013, 38(1): 14-17.

[10] LLANAS B, SAINZ F J. Constructive Approximate Interpolation by Neural Networks [J]. Joumal of Computational and Applied Mathematics, 2006, 188(2):283-308.

[11] HUANG G B, CHEN L. Enhanced Random Search Based Incremental Extreme Learning Machine [J]. Neurocomputing, 2008, 71(16-18):3460-3468.

[12] HUANG G B, BABRI H A. Upper Bounds on the Number of Hidden Neurons in Feedforward Networks with Arbitrary Bounded Nonlinear Activation Functions [J]. IEEE Transactions on Neural Networks, 1998, 9 (1): 224-229.

Verification and Evaluation Method Research of Battle Scheme Samples Based on Extreme Learning Machine

DING Xiao-jian, CHENG Wen-di

(Science and Technology on Information Systems Engineering Laboratory,Jiangsu Nanjing 210007, China)

In order to overcome the deficiency of subjectivity in deciding the label of battle scheme training samples by experts, a verification and evaluation method based on extreme learning machine (ELM) is proposed. The prediction model of battle scheme samples is constructed based on ELM and the wrong samples are corrected. The simulation experimental results show that lower root mean square error and better testing rate can be obtained by training ELM model on correct samples. In contrast with RBF neural network, the training time of ELM is reduced by 98.8%, and a good generalization ability can be obtained without parameters of activation function needing to be adjusted.

extreme learning machine(ELM); radial basis function(RBF); battle scheme; evaluation; generalization ability

2014-09-13；

2014-10-20

丁曉劍(1982-)，男，江蘇南京人。工程師，博士，研究方向?yàn)槁?lián)合作戰(zhàn)推演評(píng)估技術(shù)。

通信地址：210007 江蘇省南京市1406信箱69分箱 E-mail：wjswsl@163.com

10.3969/j.issn.1009-086x.2015.04.034

E917; TP18；TP39

A

1009-086X(2015)-04-0204-06